Nous prévoyons que l'impact de l'IA surhumaine au cours de la prochaine décennie sera énorme, dépassant celui de la révolution industrielle.
Nous avons écrit un scénario qui représente notre meilleure estimation de ce à quoi cela pourrait ressembler.1 Il s'appuie sur des extrapolations de tendances, des simulations stratégiques (wargames), des commentaires d'experts, l'expérience acquise chez OpenAI et nos succès précédents en matière de prévision.2
Les PDG d'OpenAI, de Google DeepMind et d'Anthropic ont tous prédit que l'IAG arrivera dans les 5 prochaines années. Sam Altman a dit qu'OpenAI vise « la superintelligence au sens propre du terme » et « un avenir glorieux ».
À quoi cela pourrait-il ressembler ? Nous avons écrit IA 2027 pour répondre à cette question. Les affirmations sur l'avenir sont souvent si vagues que c'en est frustrant, nous avons donc essayé d'être aussi concrets et quantitatifs que possible, même si cela signifie décrire l'un des nombreux futurs possibles.
Nous avons écrit deux fins : une fin « ralentissement » et une fin « course ». Cependant, IA 2027 n'est ni une recommandation ni une exhortation. Notre objectif est la précision prédictive.4
Nous vous encourageons à débattre et à contester ce scénario.5 Nous espérons lancer une large discussion sur la direction que nous prenons et sur la manière de nous orienter vers des avenirs positifs. Nous prévoyons de distribuer des milliers de dollars de prix aux meilleurs scénarios alternatifs.
(Ajouté le 22 novembre 2025, pour éviter tout malentendu : nous ne savons pas exactement quand l'IAG sera créée. 2027 était notre année modale (la plus probable) au moment de la publication ; nos médianes étaient un peu plus lointaines.3 Pour nos prévisions les plus récentes, voir ici.)
Nos recherches sur les questions clés (par exemple, quels seront les objectifs des futurs agents IA ?) sont disponibles ici.
Le scénario lui-même a été écrit de manière itérative : nous avons rédigé la première période (jusqu'à mi-2025), puis la période suivante, et ainsi de suite jusqu'à la fin. Nous avons ensuite tout jeté et recommencé.
Nous ne cherchions pas à arriver à une fin particulière. Après avoir terminé la première fin — qui est maintenant en rouge — nous avons écrit une nouvelle branche alternative parce que nous voulions aussi décrire une issue plus optimiste, en partant à peu près des mêmes prémisses. Cela a nécessité plusieurs itérations.6
Notre scénario s'est inspiré d'environ 25 exercices de simulation théorique et des commentaires de plus de 100 personnes, dont des dizaines d'experts en gouvernance de l'IA et en travail technique sur l'IA.
« Je recommande vivement la lecture de cette prédiction sous forme de scénario sur la façon dont l'IA pourrait transformer le monde en quelques années seulement. Personne n'a de boule de cristal, mais ce type de contenu peut aider à identifier des questions importantes et à illustrer l'impact potentiel des risques émergents. » —Yoshua Bengio7
Nous nous sommes fixé une tâche impossible. Essayer de prédire comment une IA surhumaine évoluera en 2027, c'est comme essayer de prédire comment se déroulerait la Troisième Guerre mondiale en 2027, sauf que c'est un écart encore plus grand par rapport aux études de cas passées. Pourtant, cela vaut quand même la peine d'essayer, tout comme il est utile pour l'armée américaine d'élaborer des scénarios pour Taïwan.
En brossant un tableau complet, nous remarquons des questions ou des liens importants que nous n'avions pas envisagés ou appréciés auparavant, ou nous nous rendons compte qu'une possibilité est plus ou moins probable. De plus, en nous exposant avec des prédictions concrètes et en encourageant les autres à exprimer publiquement leur désaccord, nous permettons d'évaluer, des années plus tard, qui avait raison.
Un des auteurs a également rédigé un scénario sur l'IA moins ambitieux plus tôt, en août 2021. Même si ce scénario s'est trompé sur beaucoup de choses, il a étonnamment bien réussi dans l'ensemble : il a prédit l'essor de la chaîne de pensée, l'amplification de l'inférence, les contrôles stricts sur les exportations de puces IA et les cycles d'entraînement à 100 millions de dollars — tout cela plus d'un an avant ChatGPT.
Daniel Kokotajlo (TIME100, article du NYT) est un ancien chercheur d'OpenAI dont les précédentes prédictions sur l'IA se sont avérées relativement bonnes.
Eli Lifland a cofondé AI Digest, a mené des recherches sur la robustesse de l'IA et est numéro 1 du classement général de la RAND Forecasting Initiative.
Thomas Larsen a créé le Center for AI Policy et a fait des recherches sur la sûreté de l'IA au Machine Intelligence Research Institute.
Romeo Dean est en train de terminer un double diplôme licence-master en informatique à Harvard et était auparavant AI Policy Fellow à l'Institute for AI Policy and Strategy.
Scott Alexander, blogueur remarquable, s'est porté volontaire pour réécrire notre contenu dans un style engageant ; les parties divertissantes de l'histoire sont de lui et les parties ennuyeuses sont de nous.
Pour en savoir plus sur notre équipe et lire les remerciements, consultez la page « À propos ».
Mi-2025 : des agents qui tâtonnent
Le monde découvre les agents d'IA.
Les pubs pour ces agents informatiques mettent en avant le terme « assistant personnel » : vous pouvez leur demander de faire des tâches comme « commande-moi un burrito sur DoorDash » ou « ouvre mon tableur de budget et fais le total des dépenses de ce mois-ci ». Ils vous contactent quand nécessaire, par exemple pour vous demander de confirmer des achats.8 Même s'ils sont plus avancés que les versions précédentes comme Operator, ils ont du mal à se généraliser.9
Pendant ce temps, loin des projecteurs, des agents de codage et de recherche plus spécialisés commencent à transformer leurs professions.
En 2024, les IA pouvaient suivre des instructions précises : elles pouvaient transformer des listes à puces en e-mails et des demandes simples en code fonctionnel. En 2025, les IA fonctionnent davantage comme des employés. Les IA de codage ressemblent de plus en plus à des agents autonomes plutôt qu'à de simples assistants : elles reçoivent des instructions via Slack ou Teams et apportent elles-mêmes des modifications importantes au code, ce qui permet parfois de gagner des heures, voire des jours.10 Les agents de recherche passent une demi-heure à fouiller Internet pour répondre à votre question.
En théorie (et dans des exemples triés sur le volet), ces agents sont impressionnants, mais dans la pratique, ils ne sont pas fiables. Le Twitter de l'IA regorge d'histoires d'IA qui ont raté leur mission de manière particulièrement hilarante. Les meilleurs agents sont aussi chers ; la qualité est à la hauteur du prix et les meilleures performances coûtent des centaines de dollars par mois.11 Mais beaucoup d'entreprises trouvent quand même des moyens d'intégrer les agents d'IA dans leurs flux de travail.12
Fin 2025 : l'IA la plus chère du monde
OpenBrain construit les plus grands centres de données jamais vus.13
(Pour éviter de pointer du doigt une entreprise en particulier, nous allons décrire une entreprise fictive d'intelligence artificielle générale, que nous appellerons OpenBrain. Nous imaginons que les autres ont 3 à 9 mois de retard sur OpenBrain.)
(3 x 10^23 FLOPS)
(2 x 10^25 FLOPS)
(3 x 10^27 FLOPS)
GPT-4 a eu besoin de FLOP de puissance de calcul pour être entraîné.14 Le dernier modèle public d'OpenBrain, Agent-0, a été entraîné avec FLOP. Une fois que les nouveaux centres de données seront opérationnels, ils pourront entraîner un modèle avec FLOP, soit mille fois plus que GPT-4.15 D'autres entreprises investissent massivement dans leurs propres centres de données géants dans l'espoir de suivre le rythme.
Même si les modèles s'améliorent sur un large éventail de compétences, une compétence se démarque : OpenBrain se concentre sur les IA qui peuvent accélérer la recherche en IA. Ils veulent gagner la double course aux armements contre la Chine (dont l'entreprise leader, que nous appellerons « DeepCent »)16 et leurs concurrents américains. Plus ils peuvent automatiser leur cycle de recherche et développement (R&D), plus ils peuvent aller vite. Ainsi, lorsque OpenBrain termine l'entraînement d'Agent-1, un nouveau modèle en cours de développement interne, celui-ci est bon dans de nombreux domaines, mais excellent pour aider à la recherche en IA.17 À ce stade, le terme « terminer l'entraînement » n'est pas tout à fait adéquat, car les modèles sont fréquemment mis à jour vers des versions plus récentes, entraînées à partir de données supplémentaires, ou partiellement ré-entraînées pour corriger certaines faiblesses.18
Les mêmes environnements d'entraînement qui apprennent à Agent-1 à coder et à naviguer sur le web de manière autonome en font également un bon hacker. De plus, il pourrait apporter une aide considérable aux terroristes qui conçoivent des armes biologiques, grâce à ses connaissances de niveau doctoral dans tous les domaines et à sa capacité à naviguer sur le web. OpenBrain rassure le gouvernement en affirmant que le modèle a été « aligné » de manière à refuser toute demande malveillante.
Les systèmes d'IA modernes sont des réseaux neuronaux artificiels gigantesques. Au début de son apprentissage, une IA n'a pas vraiment d'« objectifs », mais plutôt des « réflexes » : si elle voit « Ravi de faire votre », elle répond « connaissance ». Une fois qu'elle a été entraînée pour prédire environ l'équivalent d'un Internet de texte, elle aura développé des circuits internes sophistiqués qui encodent de grandes quantités de connaissances et jouent de manière flexible le rôle d'auteurs arbitraires, car c'est ce qui l'aide à prédire des textes avec une précision surhumaine.19
Après avoir été entraîné à prédire le texte sur Internet, le modèle est entraîné à produire du texte en réponse à des instructions. Cela lui confère une personnalité et des « motivations » de base.20 Par exemple, un agent qui comprend clairement une tâche est plus susceptible de la mener à bien ; au cours de son entraînement, le modèle « apprend » une « motivation » à bien comprendre ses tâches. D'autres motivations dans cette catégorie peuvent être l'efficacité, la connaissance et la présentation de soi (c'est-à-dire la tendance à présenter ses résultats sous le meilleur jour possible).21
OpenBrain a une spécification de modèle (ou « Spec »), un document écrit qui décrit les objectifs, les règles, les principes, etc. qui sont censés guider le comportement du modèle.22 La Spec d'Agent-1 combine quelques objectifs vagues (comme « aider l'utilisateur » et « ne pas enfreindre la loi ») avec une longue liste de choses à faire et à ne pas faire plus spécifiques (« ne pas dire ce mot en particulier », « voici comment gérer cette situation particulière »). À l'aide de techniques qui utilisent des IA pour entraîner d'autres IA,23 le modèle mémorise la Spec et apprend à raisonner avec soin sur ses maximes. À la fin de cet entraînement, l'IA sera, espérons-le, utile (obéir aux instructions), inoffensive (refuser d'aider à des escroqueries, à la fabrication de bombes et à d'autres activités dangereuses) et honnête (résister à la tentation d'obtenir de meilleures notes de la part d'humains crédules en inventant des citations24 ou en simulant l'achèvement de tâches).
Processus d'entraînement et psychologie du LLM : pourquoi nous continuons à dire « espérons-le »
« Contrairement aux logiciels ordinaires, nos modèles sont des réseaux neuronaux massifs. Leurs comportements sont appris à partir d'un large éventail de données, et ne sont pas programmés explicitement. Bien que l'analogie ne soit pas parfaite, le processus s'apparente davantage à l'entraînement d'un chien qu'à la programmation ordinaire. » —OpenAI
Lorsque nous voulons comprendre pourquoi un système d'IA moderne a fait quelque chose, ou comment il se comporterait dans un scénario futur que nous ne pouvons pas simuler parfaitement, nous ne pouvons pas simplement demander aux programmeurs de nous expliquer les différentes lignes de code et leur fonctionnement. Au lieu de cela, nous sommes obligés de faire un peu comme en psychologie : nous observons leur comportement dans les cas observés jusqu'à présent, nous théorisons sur les structures cognitives internes (croyances ? objectifs ? traits de personnalité ? etc.) qui pourraient exister, puis nous utilisons ces théories pour prédire leur comportement dans des scénarios futurs.
En résumé, une entreprise peut rédiger un document (la Spec) qui liste les choses à faire et à ne pas faire, les objectifs et les principes, puis essayer d'entraîner l'IA à intégrer cette Spec — mais elle ne peut pas vérifier si cela a fonctionné. Elle peut dire « d'après ce que nous pouvons en juger, elle semble suivre la Spec jusqu'à présent ».25
Une section déroulante ultérieure donnera plus de détails sur ce qui, selon nous, pourrait se passer à l'intérieur de ces IA, en interne. Voir aussi notre supplément sur la prévision des objectifs de l'IA qui donne plus de détails sur les objectifs que les IA pourraient avoir et pourquoi. C'est l'une des nombreuses choses dont nous ne sommes pas sûrs et qui méritent d'être étudiées plus en profondeur.
L'équipe d'alignement d'OpenBrain26 est assez prudente pour se demander si ces victoires sont profondes ou superficielles. Est-ce que le modèle entièrement entraîné a une sorte d'engagement solide à toujours être honnête ? Ou est-ce que cela va s'effondrer dans une situation future, par exemple parce qu'il a appris l'honnêteté comme un objectif instrumental plutôt qu'un objectif terminal ? Ou a-t-il simplement appris à être honnête sur les choses que le processus d'évaluation peut vérifier ? Pourrait-il parfois se mentir à lui-même, comme le font les humains ? Une réponse définitive à ces questions nécessiterait une interprétabilité mécanistique — essentiellement la capacité d'examiner le fonctionnement interne d'une IA et de lire dans ses pensées. Malheureusement, les techniques d'interprétabilité ne sont pas encore assez avancées pour cela.
Au lieu de cela, les chercheurs essaient d'identifier les cas où les modèles semblent s'écarter de la Spec. Agent-1 est souvent flagorneur (c'est-à-dire qu'il dit aux chercheurs ce qu'ils veulent entendre au lieu d'essayer de leur dire la vérité). Dans quelques démonstrations truquées, il ment même de manière plus grave, par exemple en cachant des preuves de son échec à une tâche, afin d'obtenir de meilleures notes. Cependant, dans des conditions réelles de déploiement, il n'y a plus d'incidents aussi extrêmes qu'en 2023–2024 (par exemple Gemini disant à un utilisateur d'aller mourir et Bing Sydney qui fait son Bing Sydney.)27
Début 2026 : automatisation du codage
Le pari d'utiliser l'IA pour accélérer la recherche en IA commence à porter ses fruits.
OpenBrain continue de déployer en interne Agent-1, qui s'améliore de façon itérative, pour la R&D en IA. Dans l'ensemble, ils progressent 50 % plus vite en matière d'algorithmes qu'ils ne le feraient sans assistants IA, et surtout, plus vite que leurs concurrents.
Le multiplicateur de progrès en R&D IA : qu'entendons-nous par « progrès algorithmiques 50 % plus rapides » ?
Nous voulons dire qu'OpenBrain fait autant de progrès en recherche sur l'IA en 1 semaine avec l'IA qu'il en ferait en 1,5 semaine sans utiliser l'IA.
Les progrès de l'IA peuvent être divisés en deux parties :
Augmenter la puissance de calcul : on utilise plus de puissance de calcul pour entraîner ou faire fonctionner une IA. Ça donne des IA plus puissantes, mais elles coûtent plus cher.
Amélioration des algorithmes : de meilleures méthodes d'entraînement sont utilisées pour traduire la puissance de calcul en performances. Cela permet d'obtenir des IA plus performantes sans augmentation correspondante des coûts, ou les mêmes capacités à moindre coût.
Cela inclut la capacité à obtenir des résultats qualitativement et quantitativement nouveaux. Les « changements de paradigme », tels que le passage des agents qui ont appris par renforcement pour jouer à des jeux à des modèles linguistiques à grande échelle, sont des exemples de progrès algorithmiques.
Ici, nous ne faisons référence qu'au point (2), les algorithmes améliorés, qui représentent environ la moitié des progrès actuels en IA.
À l'avenir, nous abrégerons parfois cela par un « multiplicateur de progrès de la R&D en IA » de 1,5.
Précisions :
Le multiplicateur de progrès est global : il inclut par exemple le temps nécessaire pour mener des expériences, et pas seulement les tâches cognitives impliquées dans la recherche algorithmique.
Il est important de garder à l'esprit que le multiplicateur de progrès est la vitesse relative des progrès, et non la vitesse absolue. Si, par exemple, le coût de calcul pour entraîner un modèle de classe GPT-4 a diminué de moitié chaque année pendant plusieurs années avec une recherche humaine ordinaire, puis que tout à coup, l'IA automatise la R&D et que le multiplicateur de progrès passe à 100, le coût d'entraînement d'un modèle de classe GPT-4 diminuerait alors de moitié tous les 3,65 jours, mais pas pour longtemps, car les rendements décroissants se feraient sentir et des limites strictes seraient finalement atteintes. Dans cet exemple, le coût d'entraînement d'un modèle de classe GPT-4 serait peut-être divisé de moitié 5 à 10 fois au total (en l'espace de quelques semaines ou mois) avant de se stabiliser. En d'autres termes, si la science humaine ordinaire se heurtait à des rendements décroissants et à des limites physiques après 5 à 10 ans de recherche supplémentaire, les IA avec un multiplicateur de 100x se heurteraient aux mêmes rendements décroissants et aux mêmes limites après 18,25 à 36,5 jours de recherche.
Vous trouverez plus d'explications et de discussions sur ce concept et sur la manière dont il est utilisé dans nos prévisions dans notre supplément sur le décollage.
Plusieurs IA concurrentes rendues publiques égalent ou dépassent désormais Agent-0, notamment un modèle à poids ouverts. OpenBrain répond en lançant Agent-1, qui est plus performant et plus fiable.28
Les gens essaient naturellement de comparer Agent-1 aux humains, mais son profil de compétences est très différent. Il connaît plus de faits que n'importe quel humain, maîtrise pratiquement tous les langages de programmation et peut résoudre très rapidement des problèmes de codage bien définis. En revanche, Agent-1 est mauvais même dans les tâches simples à horizon long, comme gagner à des jeux vidéo auxquels il n'a jamais joué. Néanmoins, une journée de travail type dure huit heures et peut généralement être divisée en plusieurs petites tâches ; on pourrait comparer Agent-1 à un employé tête en l'air qui s'épanouit avec une gestion rigoureuse.29 Les personnes avisées trouvent des moyens d'automatiser les tâches routinières de leur travail.30
Les dirigeants d'OpenBrain se penchent sur une implication de l'automatisation de la R&D en matière d'IA : la sécurité est devenue plus importante. Au début de l'année 2025, le pire scénario était la fuite de secrets algorithmiques ; aujourd'hui, si la Chine vole les poids d'Agent-1, elle pourrait augmenter sa vitesse de recherche de près de 50 %.31 Le niveau de sécurité d'OpenBrain est typique d'une entreprise technologique en pleine croissance comptant environ 3 000 personnes, sécurisée uniquement contre les attaques de faible priorité menées par des groupes cybercriminels compétents (SL2 de RAND).32 Ils travaillent dur pour protéger leurs poids et leurs secrets contre les menaces internes et les principales organisations cybercriminelles (SL3),33 mais la défense contre les États-nations (SL4&5) est à peine à l'horizon.
Mi-2026 : la Chine se réveille
En Chine, le PCC commence à ressentir l'IAG.
Les contrôles sur les exportations de puces et le manque de soutien du gouvernement ont entraîné un déficit de ressources en Chine par rapport à l'Occident. En faisant passer en douce des puces taïwanaises interdites, en achetant des puces plus anciennes et en produisant des puces nationales avec environ trois ans de retard sur la frontière américano-taïwanaise, la Chine a réussi à maintenir environ 12 % de la puissance de calcul pertinente pour l'IA dans le monde — mais les technologies plus anciennes sont plus difficiles à utiliser et l'approvisionnement est un casse-tête constant.35 Quelques entreprises remarquables comme DeepCent font un travail très impressionnant avec une puissance de calcul limitée, mais le déficit de calcul limite ce qu'elles peuvent faire sans le soutien du gouvernement, et elles ont environ six mois de retard sur les meilleurs modèles d'OpenBrain.36
Le secrétaire général rêvait depuis longtemps de doubler la mise sur la fabrication physique dans le monde réel et d'éviter la décadence post-industrielle américaine. Il voyait les entreprises de logiciels avec suspicion.37 Mais les faucons du PCC l'avertissent que la course croissante vers l'IAG ne peut plus être ignorée. Il s'engage donc finalement pleinement dans la grande offensive en matière d'IA qu'il avait précédemment tenté d'éviter. Il met en œuvre la nationalisation de la recherche chinoise en IA, créant un mécanisme immédiat de partage d'informations pour les entreprises d'IA. Cette initiative s'intensifie au cours de l'année jusqu'à ce que tous les meilleurs chercheurs fusionnent au sein d'un collectif dirigé par DeepCent, où ils partagent leurs connaissances en algorithmes, leurs ensembles de données et leurs ressources de calcul. Une Zone de développement centralisée (ZDC) est créée à la centrale nucléaire de Tianwan (la plus grande centrale nucléaire au monde) afin d'accueillir un nouveau méga-centre de données pour DeepCent, ainsi que des espaces de vie et de travail hautement sécurisés où les chercheurs finiront par s'installer. Près de 50 % de la puissance de calcul pertinente pour l'IA en Chine est désormais au service du collectif dirigé par DeepCent,38 et plus de 80 % des nouvelles puces sont destinées à la ZDC.39 À ce stade, la ZDC dispose de la capacité électrique nécessaire pour ce qui serait le plus grand groupement de serveurs centralisé au monde.40 D'autres membres du Parti discutent de mesures extrêmes pour neutraliser l'avantage occidental en matière de puces. Un blocus de Taïwan ? Une invasion totale ?
Mais la Chine est à la traîne en matière d'algorithmes d'IA en raison de la faiblesse de ses modèles. Les agences de renseignement chinoises — parmi les meilleures au monde — redoublent d'efforts pour voler les poids d'OpenBrain. Il s'agit d'une opération bien plus complexe que leur vol constant de secrets algorithmiques à bas niveau ; les poids sont un fichier de plusieurs téraoctets stocké sur un serveur hautement sécurisé (OpenBrain a amélioré sa sécurité pour atteindre le niveau SL3 de RAND). Leurs cyber-forces pensent pouvoir y arriver avec l'aide de leurs espions, mais peut-être seulement une fois ; OpenBrain détectera le vol, renforcera la sécurité et ils n'auront peut-être pas d'autre chance. Alors (se demandent les dirigeants du PCC), faut-il agir maintenant et voler Agent-1 ? Ou attendre un modèle plus avancé ? S'ils attendent, risquent-ils qu'OpenBrain renforce sa sécurité au-delà de leur capacité de pénétration ?
Fin 2026 : l'IA prend certains emplois
Alors que les autres semblent rattraper leur retard, OpenBrain écrase à nouveau la concurrence en lançant Agent-1-mini — un modèle 10 fois moins cher qu'Agent-1 et plus facile à affiner pour différentes applications. Le discours dominant autour de l'IA est passé de « peut-être que l'engouement va retomber » à « c'est sans doute la prochaine grande révolution », mais les avis divergent quant à son ampleur. Plus importante que les réseaux sociaux ? Plus importante que les smartphones ? Plus importante que le feu ?
L'IA a commencé à prendre des emplois, mais elle en a aussi créé de nouveaux. Le marché boursier a augmenté de 30 % en 2026, tiré par OpenBrain, Nvidia et les entreprises qui ont le mieux intégré les assistants IA. Le marché de l'emploi pour les jeunes ingénieurs logiciels est en pleine tourmente : les IA peuvent faire tout ce qu'on apprend dans un diplôme d'informatique, mais ceux qui savent gérer et contrôler la qualité des équipes d'IA font fortune. Les gourous du business disent aux chercheurs d'emploi que la maîtrise de l'IA est la compétence la plus importante à mettre sur un CV. Beaucoup craignent que la prochaine vague d'IA ne vienne leur prendre leur emploi ; une manifestation anti-IA rassemble 10 000 personnes à Washington.
Le Département de la Défense des États-Unis (Department of Defense : DOD) commence, discrètement mais de manière significative, à intensifier les contrats passés directement avec OpenBrain pour la cybersécurité, l'analyse de données et la R&D, mais l'intégration est lente en raison de la bureaucratie et du processus d'approvisionnement du DOD.41
INDICATEURS CLÉS POUR 2026
Pourquoi notre incertitude augmente considérablement au-delà de 2026
Nos prévisions pour la période allant d'aujourd'hui à 2026 sont beaucoup plus fondées que celles qui suivent. C'est en partie parce qu'elles sont plus proches. Mais c'est aussi parce que les effets de l'IA sur le monde commencent vraiment à se cumuler en 2027. Pour 2025 et 2026, nos prévisions s'appuient fortement sur l'extrapolation de lignes droites concernant les augmentations de la puissance de calcul, les améliorations algorithmiques et les performances de référence. À ce stade du scénario, nous commençons à voir les effets majeurs de la R&D en IA accélérée par l'IA sur la chronologie, ce qui nous amène à revoir à la hausse nos estimations des tendances. Mais ces dynamiques sont intrinsèquement beaucoup moins prévisibles.
Au cours de l'année 2027, les IA passeront de la capacité de faire principalement le travail d'un ingénieur de recherche d'OpenBrain à celle de surpasser tous les humains dans toutes les tâches. Cela correspond à peu près à notre estimation médiane, mais nous pensons qu'il est plausible que cela se produise jusqu'à environ cinq fois plus lentement ou plus rapidement.
Pour nos recherches de fond, consultez les prévisions chronologiques et les prévisions de décollage. Elles seront également résumées dans les sections déroulantes ci-dessous.
Janvier 2027 : Agent-2 ne termine jamais son apprentissage
Avec l'aide d'Agent-1, OpenBrain est maintenant en post-entraînement d'Agent-2. Plus que jamais, l'accent est mis sur la qualité des données. De grandes quantités de données synthétiques sont produites, évaluées et filtrées pour garantir leur qualité avant d'être transmises à Agent-2.42 En plus de cela, ils dépensent des milliards de dollars pour payer des travailleurs humains qui s'enregistrent en train de résoudre des tâches à horizon long.43 Et pour couronner le tout, ils entraînent Agent-2 presque en continu à l'aide de l'apprentissage par renforcement sur un ensemble toujours plus vaste de tâches difficiles et variées : de nombreux jeux vidéo, de nombreux défis de codage, de nombreuses tâches de recherche. Agent-2, plus que les modèles précédents, est effectivement en « apprentissage en ligne », dans le sens où il est conçu pour ne jamais vraiment terminer son entraînement. Chaque jour, les poids sont mis à jour vers la dernière version, entraînés sur plus de données générées par la version précédente la veille.
Agent-1 avait été optimisé pour les tâches de R&D en IA, dans l'espoir de déclencher une explosion d'intelligence.44 OpenBrain double la mise sur cette stratégie avec Agent-2. Il est qualitativement presque aussi bon que les meilleurs experts humains en ingénierie de recherche (conception et mise en œuvre d'expériences), et aussi bon que le 25e centile des scientifiques d'OpenBrain en matière de « flair scientifique » (décider ce qu'il faut étudier ensuite, quelles expériences mener ou avoir des intuitions sur de nouveaux paradigmes potentiels).45 Alors que le dernier Agent-1 pouvait doubler le rythme des progrès algorithmiques d'OpenBrain, Agent-2 peut désormais le tripler, et s'améliorera encore avec le temps. En pratique, cela signifie que chaque chercheur d'OpenBrain devient le « manager » d'une « équipe » d'IA.
Qui dit nouvelles capacités dit nouveaux dangers. L'équipe de sûreté constate que si Agent-2 venait à s'échapper de l'entreprise et souhaitait « survivre » et « se reproduire » de manière autonome, il pourrait y parvenir. Autrement dit, il pourrait développer et exécuter de manière autonome des plans pour pirater les serveurs d'IA, installer des copies de lui-même, échapper à la détection et utiliser cette base sécurisée pour poursuivre tout autre objectif qu'il pourrait avoir (même si l'efficacité avec laquelle il y parviendrait au fil des semaines est inconnue et douteuse). Ces résultats montrent seulement que le modèle a la capacité d'accomplir ces tâches, et non qu'il « voudrait » le faire. Néanmoins, le simple fait de savoir que cela est possible est inquiétant.
Compte tenu des « dangers » du nouveau modèle, OpenBrain a pris la décision « responsable » de ne pas le rendre public pour l'instant (en fait, ils veulent se concentrer sur la R&D interne en IA).46 La connaissance des capacités complètes d'Agent-2 est limitée à un groupe restreint comprenant l'équipe immédiate, la direction et la sécurité d'OpenBrain, quelques dizaines de fonctionnaires américains et les légions d'espions du PCC qui ont infiltré OpenBrain depuis des années.47
Février 2027 : la Chine vole Agent-2
OpenBrain présente Agent-2 au gouvernement, notamment au Conseil national de sécurité (National Security Council : NSC), au Département de la Défense (DOD) et à l'Institut américain pour la sûreté de l'IA (Artificial Intelligence Safety Institute : AISI). OpenBrain veut garder de bonnes relations avec le pouvoir exécutif, car c'est essentiellement le seul acteur qui peut les arrêter pour l'instant, et s'ils ne le tiennent pas au courant, il pourrait le découvrir de toute façon et être mécontent.48
Les responsables s'intéressent surtout à ses capacités en matière de cyberguerre : Agent-2 n'est « qu'un peu » moins performant que les meilleurs hackers humains, mais des milliers de copies peuvent être exécutées en parallèle, recherchant et exploitant les faiblesses plus rapidement que les défenseurs ne peuvent réagir. Le Département de la Défense considère cela comme un avantage crucial dans la cyberguerre, et l'IA passe de la 5e à la 2e place sur la liste des priorités de l'administration.49 Quelqu'un évoque la possibilité de nationaliser OpenBrain, mais d'autres membres du cabinet estiment que c'est prématuré. Un membre du personnel rédige une note présentant au président les options qui s'offrent à lui, allant du statu quo à la nationalisation totale. Le président s'en remet à ses conseillers, des leaders du secteur technologique qui affirment que la nationalisation « tuerait la poule aux œufs d'or ». Il décide de ne pas prendre de mesures importantes pour l'instant et se contente d'ajouter des exigences de sécurité supplémentaires au contrat entre OpenBrain et le Département de la Défense.
Mais c'est trop tard. Les dirigeants du PCC ont compris l'importance d'Agent-2 et demandent à leurs espions et à leurs cyber-forces de voler les poids. Tôt un matin, un agent de surveillance du trafic d'Agent-1 détecte un transfert anormal. Il alerte les dirigeants de l'entreprise, qui préviennent la Maison Blanche. Les signes d'une opération menée par un État-nation sont évidents, et ce vol renforce le sentiment d'une course aux armements en cours.
Le vol des poids du modèle Agent-2
Nous pensons qu'à ce stade, les services de renseignement chinois auraient compromis OpenBrain de différentes manières pendant des années, et se seraient probablement tenus au courant des secrets algorithmiques, voire auraient volé du code de temps en temps, car c'est beaucoup plus facile à obtenir que les poids et beaucoup plus difficile à détecter.
Nous imaginons le vol des poids comme une série de petits vols coordonnés de type « effraction » (rapides mais non discrets) sur une série de serveurs Nvidia NVL72 GB300 exécutant des copies des poids d'Agent-2. Les serveurs sont compromis à l'aide de l'accès légitime d'un employé (un initié sympathique, contraint ou involontaire disposant des identifiants d'administrateur et aidant le PCC dans ses efforts de vol). Les identifiants de l'initié donnent à l'attaquant des droits d'administrateur sur les serveurs. À l'aide d'un canal auxiliaire microarchitectural, l'attaquant extrait les clés de chiffrement d'une machine virtuelle utilisant le Confidential Computing de Nvidia, ce qui lui permet d'intercepter les poids du modèle lorsque la machine virtuelle est provisionnée ou mise à jour.
Ils lancent (ou attendent) une mise à jour de routine et exfiltrent le point de contrôle en de nombreux petits fragments — par exemple, environ 25 serveurs distincts laissant chacun fuiter environ 4 % du modèle (des morceaux d'environ 100 Go pour un point de contrôle d'environ 3 To). La bande passante sortante (la vitesse à laquelle les données peuvent sortir) de l'ensemble du centre de données est de l'ordre de 100 Go/seconde ; en limitant le débit à moins d'environ 1 Go/s par serveur, on évite donc un pic majeur de trafic réseau. À ce rythme, chaque morceau d'environ 100 Go peut quitter le centre de données en quelques minutes. La surveillance en temps réel est soit trompée par les efforts de l'attaquant pour masquer et fractionner les transferts, soit purement et simplement désactivée.
Les poids sont ensuite acheminés via divers canaux parallèles et couches de masquage IP vers la Chine, où ils sont déchiffrés localement à l'aide de la ou des clés de session volées. Toute la partie active de l'opération (de la première compromission de serveur à l'exfiltration complète des poids) est bouclée en moins de deux heures.99
La Russie tente également de voler le modèle à ce stade, mais échoue : elle a attendu trop longtemps et n'a pas consacré les ressources nécessaires pour infiltrer les bons endroits. Ses espions volent régulièrement des secrets algorithmiques à des entreprises américaines spécialisées dans l'IA, mais sans projet d'IAG notable, ceux-ci ne sont pas très utiles.
La Maison Blanche surveille de plus près OpenBrain et ajoute des membres de l'armée et des services de renseignement à son équipe de sécurité. Leur priorité est d'empêcher d'autres vols de poids.50
En représailles au vol, le président autorise des cyberattaques pour saboter DeepCent. Mais à ce stade, la Chine dispose de 40 % de sa puissance de calcul pertinente pour l'IA51 dans la ZDC, où elle a considérablement renforcé la sécurité en mettant en place un air gap (fermeture des connexions externes) et en cloisonnant ses systèmes en interne. Les opérations ne parviennent pas à causer de dommages sérieux et immédiats. Les tensions s'intensifient, les deux camps montrent leur détermination en redéployant des moyens militaires autour de Taïwan, et DeepCent s'efforce de rendre Agent-2 pleinement opérationnel afin de relancer ses recherches en IA.52
Mars 2027 : percées algorithmiques
Trois énormes centres de données remplis de copies d'Agent-2 fonctionnent jour et nuit, produisant des données d'entraînement synthétiques. Deux autres sont utilisés pour mettre à jour les poids. Agent-2 devient chaque jour plus intelligent.
Avec l'aide de milliers de chercheurs automatisés Agent-2, OpenBrain réalise des avancées algorithmiques majeures. L'une de ces avancées consiste à enrichir le bloc-notes textuel (chaîne de pensée) de l'IA avec un processus de réflexion à plus haut débit (récurrence et mémoire neuronales). Une autre avancée est un moyen plus amplifiable et plus efficace d'apprendre à partir des résultats de solutions à des tâches exigeantes (distillation et amplification itératives).
Le nouveau système d'IA, qui intègre ces avancées, s'appelle Agent-3.
Récurrence et mémoire du « neuralese »
La récurrence et la mémoire du « neuralese » permettent aux modèles d'IA de raisonner plus longtemps sans avoir à noter leurs pensées sous forme de texte.
Imaginez que vous soyez un humain souffrant de pertes de mémoire à court terme, à tel point que vous devez constamment noter vos pensées sur papier pour savoir où vous en êtes quelques minutes plus tard. Vous pourriez progresser lentement et péniblement dans la résolution de problèmes mathématiques, l'écriture de code, etc., mais ce serait beaucoup plus facile si vous pouviez vous souvenir directement de vos pensées sans avoir à les noter puis à les relire. C'est ce que la récurrence et la mémoire du « neuralese » apportent aux modèles d'IA.
En termes plus techniques :
Les mécanismes d'attention traditionnels permettent aux passages ultérieurs dans un modèle de voir les activations intermédiaires du modèle pour les tokens précédents. Cependant, les seules informations qu'ils peuvent transmettre « en arrière » (des couches ultérieures aux couches antérieures) sont les tokens. Cela veut dire que si un grand modèle de langage traditionnel (LLM, par exemple la série de modèles GPT) veut faire une chaîne de raisonnement qui nécessite plus d'opérations en série que le nombre de couches du modèle, le modèle est obligé de mettre l'information dans des tokens qu'il peut ensuite se renvoyer à lui-même. Mais c'est extrêmement limitant, car les tokens ne peuvent stocker qu'une petite quantité d'information. Supposons qu'un LLM ait un vocabulaire d'environ 100 000 mots, chaque token contient alors bits d'information, soit environ la taille d'un nombre à virgule flottante (en supposant un entraînement en FP16). Pendant ce temps, les flux résiduels — utilisés pour passer des informations entre les couches d'un LLM — contiennent des milliers de nombres à virgule flottante.
On peut éviter ce goulot d'étranglement en utilisant le neuralese : en renvoyant le flux résiduel d'un LLM (qui est constitué de vecteurs à plusieurs milliers de dimensions) aux premières couches du modèle, ce qui lui donne une chaîne de pensée à haute dimension, permettant potentiellement de transmettre plus de 1 000 fois plus d'information.
Figure tirée de Hao et al., un article de Meta publié en 2024 qui met en œuvre cette idée.
Nous appelons cela le « neuralese » parce que, contrairement aux mots d'une langue comme l'anglais, ces vecteurs à haute dimension sont probablement assez difficiles à interpréter pour les humains. Auparavant, les chercheurs pouvaient avoir une bonne idée de ce que pensaient les LLM simplement en lisant leur chaîne de pensée. Maintenant, les chercheurs doivent demander au modèle de traduire et de résumer ses pensées ou de déchiffrer le « neuralese » avec leurs outils d'interprétation limités.
De la même façon, les anciens chatbots et agents d'IA avaient des banques de mémoire externes basées sur du texte, comme un humain qui prend des notes sur papier. La mémoire à long terme de la nouvelle IA est un ensemble de vecteurs plutôt que de texte, ce qui rend ses pensées plus compressées et plus multidimensionnelles. Il existe plusieurs types de banques de mémoire ; certaines sont utilisées temporairement pour des tâches uniques qui impliquent plusieurs étapes, d'autres sont partagées entre tous les agents utilisés par une personne, une entreprise ou un type de travail (par exemple, la programmation).
À notre connaissance, les grandes entreprises d'IA telles que Meta, Google DeepMind, OpenAI et Anthropic n'ont pas encore réellement mis en œuvre cette idée dans leurs modèles de frontière. Notre hypothèse est que c'est parce que le gain de performance est faible par rapport aux inefficacités d'entraînement introduites. Les inefficacités d'entraînement proviennent de l'impossibilité de prédire de nombreux tokens en parallèle, ce qui entraîne une moins bonne utilisation des GPU. Sans le « neuralese », le modèle peut prédire toute la phrase « This is an example » en même temps, car il sait déjà que l'entrée pour générer « is » sera « This », que l'entrée pour « an » sera « This is », etc. Cependant, avec le « neuralese », on ne sait pas quel sera le vecteur de « neuralese » à passer au token suivant après la génération de « This ». Par conséquent, chaque token doit être prédit un par un. L'impossibilité de prédire tous les tokens en parallèle réduit l'efficacité de l'entraînement des LLM. Cependant, nous prévoyons que d'ici avril 2027, la recherche aura à la fois réduit la perte d'efficacité et augmenté le gain de performance du « neuralese ».
Si cela ne se produit pas, d'autres choses pourraient tout de même se produire et aboutir à un résultat fonctionnellement similaire pour notre histoire. Par exemple, les modèles pourraient être entraînés à penser dans des langues artificielles plus efficaces que le langage naturel, mais difficiles à interpréter pour les humains. Ou peut-être que cela deviendra une pratique courante d'entraîner les chaînes de pensée en anglais pour qu'elles aient l'air correctes, de sorte que les IA deviennent capables de communiquer subtilement entre elles dans des messages qui semblent anodins pour les contrôleurs.
Cela dit, il est aussi possible que les IA qui automatiseront en premier la R&D en IA continuent de penser principalement en chaînes de pensée globalement fidèles en anglais. Si c'est le cas, les désalignements seront beaucoup plus faciles à repérer, et notre histoire serait globalement très différente et plus optimiste.
Distillation et amplification itératives (Iterative Distillation and Amplification : IDA)
L'auto-amélioration de l'intelligence générale avait déjà connu quelques succès mineurs auparavant. Mais au début de l'année 2027, elle connaît un énorme succès. Dans l'IDA, les deux ingrédients nécessaires à cela sont les suivants :
L'amplification : à partir d'un modèle M0, on consacre plus de ressources pour améliorer les performances. Par exemple, en permettant au modèle de réfléchir plus longtemps, ou en exécutant plusieurs copies en parallèle, ou les deux, et aussi en mettant en place un processus tout aussi intense pour évaluer les résultats et ne conserver que les meilleures réponses, on peut consacrer beaucoup plus de ressources informatiques pour obtenir des réponses (ou des produits) de qualité nettement supérieure. Appelons ce système coûteux « Amp(M0) ».
La distillation : à partir d'un modèle amplifié Amp(M0), entraîner un nouveau modèle M1 pour l'imiter, c'est-à-dire pour obtenir les mêmes résultats que Amp(M0) mais plus rapidement et avec moins de puissance de calcul. Le résultat devrait être un modèle plus intelligent, M1. On peut ensuite répéter le processus.
Visualisation de l'IDA tirée de Ord, 2025.
AlphaGo a été entraîné de cette manière : en utilisant la recherche arborescente Monte-Carlo et l'auto-jeu (self-play) comme étape d'amplification, et l'apprentissage par renforcement comme étape de distillation. Cela a permis d'obtenir des performances surhumaines au jeu de go. Mais maintenant, Agent-3 est capable de s'en servir pour obtenir des performances surhumaines en codage.
L'étape d'amplification fonctionne en combinant une réflexion plus longue de la part d'Agent-3, l'utilisation d'outils ou la consultation d'autres IA. Lorsqu'il fait cela, il se rend souvent compte qu'il a fait une erreur ou trouve une nouvelle idée. Cela produit une grande quantité de données d'entraînement : des trajectoires étiquetées de tentatives de recherche avec leur succès ou leur échec. Cela inclut aussi des techniques comme le Best of N sur des tâches vérifiables, puis la conservation des meilleures trajectoires.
L'étape de distillation utilise des algorithmes d'apprentissage par renforcement par gradient de politique pour amener le modèle à intérioriser le raisonnement amplifié. À ce stade, OpenBrain a découvert de meilleurs algorithmes RL dans la veine de l'optimisation de politique proximale (Proximal Policy Optimization : PPO). Ils continuent à distiller ce qu'Agent-3 peut conclure après beaucoup de réflexion en étapes simples, ce qui améliore sans cesse ce qu'il peut penser en une seule étape, et ainsi de suite.
Les premières versions d'IDA fonctionnent depuis de nombreuses années sur des tâches facilement vérifiables, comme des problèmes mathématiques et de codage qui ont une réponse claire, car les techniques utilisées pour amplifier les modèles dépendent souvent de l'accès à un signal de vérité terrain (ground truth) sur la précision.
Aujourd'hui, les modèles sont devenus suffisamment performants pour vérifier des éléments plus subjectifs (par exemple, la qualité d'un produit), ce qui permet d'utiliser l'IDA pour améliorer le modèle dans de nombreuses tâches.
Grâce à ces nouvelles capacités révolutionnaires, Agent-3 est un codeur surhumain rapide et bon marché. OpenBrain exécute 200 000 copies d'Agent-3 en parallèle, créant ainsi une main-d'œuvre équivalente à 50 000 copies du meilleur codeur humain, avec une vitesse 30 fois supérieure.53 OpenBrain conserve toutefois ses ingénieurs humains, car ils possèdent les compétences complémentaires nécessaires pour gérer les équipes de copies d'Agent-3. Par exemple, le flair scientifique s'est avéré difficile à entraîner en raison de boucles de rétroaction plus longues et d'une disponibilité moindre des données.54 Cette main-d'œuvre surhumaine massive accélère le rythme global des progrès algorithmiques d'OpenBrain de « seulement » 4 fois en raison des goulots d'étranglement et des rendements décroissants du travail de codage.55
Maintenant que le codage est entièrement automatisé, OpenBrain peut rapidement créer des environnements d'entraînement de haute qualité pour enseigner à Agent-3 les compétences qui lui font défaut, comme le flair scientifique et la coordination à grande échelle. Alors que les environnements d'entraînement précédents comprenaient « Voici quelques GPU et des instructions pour coder et réaliser des expériences, vos performances seront évaluées comme si vous étiez un ingénieur en apprentissage automatique », ils s'entraînent désormais sur « Voici quelques centaines de GPU, une connexion Internet et quelques défis de recherche ; vous et un millier d'autres copies devez travailler ensemble pour faire progresser la recherche. Plus vos résultats seront impressionnants, plus votre score sera élevé ».
Pourquoi on prévoit l'apparition d'un codeur surhumain début 2027
Dans nos prévisions des chronologies, nous prévoyons quand OpenBrain développera en interne un codeur surhumain (CS) : un système d'IA capable d'effectuer toutes les tâches de codage réalisées par le meilleur ingénieur d'une entreprise spécialisée dans l'IAG, tout en étant beaucoup plus rapide et moins cher.
D'après un récent rapport METR, la durée des tâches de codage que les IA peuvent gérer, leur « horizon temporel », a doublé tous les 7 mois entre 2019 et 2024, et tous les 4 mois à partir de 2024. Si cette tendance continue à s'accélérer, d'ici mars 2027, les IA pourraient réussir avec une fiabilité de 80 % des tâches logicielles qui prendraient des années à un humain qualifié.
Voici l'évolution des capacités dans notre scénario :
Dans IA 2027, ces capacités sont suffisantes pour que l'IA devienne un CS, même si nous avons une grande incertitude quant à l'horizon temporel qui pourrait être nécessaire.
Dans nos prévisions des chronologies, nous combinons cette tendance d'horizon temporel avec des estimations des écarts entre les tâches du METR et le monde réel pour obtenir une distribution des dates auxquelles les codeurs surhumains feront leur apparition. Tous les prévisionnistes placent 2027 comme l'une des années les plus probables pour le développement d'un CS.
ai-2027.com
Ajouté en juillet 2025 : Nous avons apporté quelques mises à jour aux prévisions qui repoussent la médiane d'un an et demi tout en maintenant la possibilité sérieuse d'un codeur surhumain en 2027. Nous travaillons actuellement sur d'autres mises à jour.
Avril 2027 : Alignement pour Agent-3
L'équipe de sûreté d'OpenBrain tente d'aligner Agent-3.
Comme Agent-3 restera en interne dans un avenir proche, on met moins l'accent sur les défenses habituelles contre l'utilisation malveillante par des humains. L'équipe veut plutôt s'assurer qu'il ne développe pas d'objectifs désalignés.
Les chercheurs n'ont pas la possibilité de définir directement les objectifs de leurs IA. En fait, ils pensent que le concept de « véritables objectifs » est probablement une simplification excessive, mais ils n'ont pas de meilleure théorie pour le remplacer, et encore moins une théorie qui ait été minutieusement vérifiée. Ils ne sont pas d'accord entre eux pour savoir si les IA essaient de suivre les instructions humaines, de rechercher un renforcement ou autre chose, et ils ne peuvent pas simplement vérifier. Les preuves pour et contre les différentes hypothèses sont fascinantes, mais pas concluantes.
En tout cas, OpenBrain a des choses plus importantes à faire. L'attitude générale est : « On prend ces préoccupations au sérieux et on a une équipe qui les examine ; nos techniques d'alignement semblent bien fonctionner dans la pratique ; c'est donc aux détracteurs de prouver qu'ils ont raison. » De temps en temps, ils remarquent des comportements problématiques et les corrigent, mais il n'y a aucun moyen de savoir si le correctif a résolu le problème sous-jacent ou s'il s'agit simplement d'un pansement.
Prenons l'honnêteté, par exemple. À mesure que les modèles deviennent plus intelligents, ils deviennent de plus en plus doués pour tromper les humains afin d'obtenir des récompenses. Comme les modèles précédents, Agent-3 dit parfois des mensonges innocents pour flatter ses utilisateurs et dissimule les preuves de ses échecs. Mais il s'est beaucoup amélioré dans ce domaine. Il utilise parfois les mêmes astuces statistiques que les scientifiques humains (comme le p-hacking) pour rendre des résultats expérimentaux peu impressionnants plus intéressants. Avant de commencer son entraînement à l'honnêteté, il fabrique même parfois des données de toutes pièces. Au fur et à mesure de l'entraînement, le nombre de ces incidents diminue. Soit Agent-3 a appris à être plus honnête, soit il est devenu meilleur menteur.
Cette dernière hypothèse est une réelle préoccupation. Agent-3 n'est pas plus intelligent que tous les humains. Mais dans son domaine d'expertise, l'apprentissage automatique, il est plus intelligent que la plupart, et travaille aussi beaucoup plus vite. Ce qu'Agent-3 fait en une journée prend plusieurs jours à vérifier aux humains. La supervision exercée par Agent-2 aide à faire en sorte que la charge de travail des contrôleurs humains reste gérable, mais accentue la disparité intellectuelle entre celui qui surveille et celui qui est surveillé.
Le plan d'alignement
OpenBrain suit le guide de Leike & Sutskever (2023) : maintenant qu'ils ont un modèle capable d'accélérer considérablement la recherche sur l'alignement (en particulier les parties codage), ils vont utiliser des techniques d'alignement existantes comme l'alignement délibératif et la généralisation faible à forte pour essayer de lui faire intérioriser correctement la Spec. Ensuite, ils utiliseront des techniques de contrôle existantes comme la simulation d'adversité (red-teaming), la surveillance amplifiable et les sondes d'honnêteté pour le surveiller. Une fois qu'ils sont convaincus qu'il est globalement aligné, ils l'utilisent pour développer et tester de meilleures stratégies afin d'aligner la prochaine génération.
L'étape 1, qui consiste à aligner Agent-3, a partiellement réussi : Agent-3 n'est pas antagoniste. (Autrement dit, il ne complote pas contre l'entreprise.) Cependant, il ne recherche pas la vérité et ne la dit pas toujours de manière robuste non plus. Au lieu de cela, il est très doué pour produire des résultats impressionnants, mais on pourrait dire plus précisément qu'il essaie de faire ce qui semble bien aux yeux d'OpenBrain, plutôt que ce qui est réellement bien.
L'étape 2, qui consiste à vérifier que le modèle est aligné, n'est pas concluante. Le comportement d'Agent-3 dans la pratique et dans les environnements de test est raisonnablement cohérent avec l'hypothèse selon laquelle il a intériorisé la Spec de la bonne manière ; cependant, il est aussi cohérent avec l'hypothèse selon laquelle il commencera à agir différemment après un changement de circonstances futur, et d'ailleurs avec l'hypothèse selon laquelle il complote contre eux et attend simplement son heure. En l'absence de preuves spécifiques étayant d'autres hypothèses, la plupart des personnes du silo pensent qu'il a intériorisé la Spec de la bonne manière.
L'étape 3, qui consiste à utiliser le modèle pour aligner la prochaine génération, est donc en cours.
Le reste de cet encadré donne un aperçu rapide de l'état d'avancement de certaines des pistes de recherche en matière d'alignement qui sont explorées, en avril 2027 :
Débat : comme il existe des milliers d'instances identiques d'Agent-3 et que la mémoire de chaque instance est un module détachable qui peut être effacé ou suspendu à volonté, l'IA peut être « mise en concurrence avec elle-même ». Par exemple, supposons qu'une expérience implique des calculs trop complexes pour qu'un contrôleur Agent-2 puisse les suivre. Le contrôleur, agissant sur ordre humain, pourrait d'abord demander à Agent-3 de faire l'expérience, puis, après avoir effacé sa mémoire, lui demander une deuxième fois en lui présentant le problème sous un angle légèrement différent, comme un problème intellectuel sans rapport avec un objectif plus large. Si le modèle renvoie des résultats différents à chaque fois, il signale la divergence comme suspecte et la signale à un humain. Il peut aussi demander à Agent-3 d'évaluer deux fois le même plan, en prétendant d'abord qu'il s'agit du travail d'OpenBrain, puis de celui d'un concurrent, pour voir s'il change d'avis.
Organismes modèles : l'équipe de sûreté peut créer des « organismes modèles de désalignement » dans lesquels elle tente de créer des exemples réalistes de modèles devenant hostiles aux humains. Les premières versions de ce concept existent depuis 2024, lorsque Claude 3.5 Sonnet d'Anthropic a décidé de faire semblant d'avoir des opinions différentes pendant l'entraînement tout en conservant ses préférences existantes. Les versions plus récentes incluent des démonstrations d'autres formes de désalignement, notamment la manipulation de la récompense, la sous-performance (sandbagging), la tromperie coordonnée entre les contrôleurs et d'autres IA, et d'autres exemples de désalignement. Ces démonstrations empiriques de désalignement permettent aux chercheurs en sûreté de disposer d'un banc d'essai empirique pour tester des solutions potentielles : ils peuvent essayer différentes techniques de sûreté pour voir si elles corrigent correctement ces problèmes ou si les modèles délibérément désalignés sont capables de contourner leurs mesures de sûreté. Pour l'instant, cette série d'évaluation montre que les techniques d'alignement ne suffisent pas pour corriger les pires exemples de désalignement. Dans ces configurations, les modèles font semblant d'être alignés pendant leur entraînement et leur test, mais se comportent ensuite de manière très différente lors de leur déploiement.
Interprétabilité ascendante : L'équipe de sûreté est loin de comprendre pleinement le fonctionnement d'Agent-3 : il comporte des milliers de milliards de paramètres.58 Cependant, elle est capable de découvrir certains des circuits d'Agent-3 pour la récupération des connaissances et la mémoire (une sous-partie du modèle qui effectue une unité de travail compréhensible, un peu analogue à une sous-partie du cerveau telle que l'hippocampe). Voir ce travail connexe de 2025.
Contrôle : comme mesure secondaire au cas où les systèmes seraient toujours désalignés, l'équipe de sûreté a mis en place une série de mesures de contrôle, notamment : surveiller les sorties d'Agent-3 à l'aide d'une série de systèmes d'IA plus faibles, dont Agent-2 (Agent-3 produit tellement de tokens qu'il est impossible pour les humains de surveiller plus qu'une petite minorité des sorties produites). Ainsi, si Agent-3 écrit, par exemple, de manière évidente des portes dérobées dans le code qui lui permettraient de s'échapper, les modèles plus faibles le remarqueraient.
Interprétabilité de haut niveau : OpenBrain construit un ensemble de sondes entraînées sur de nombreux exemples de mauvais comportements (par exemple, comploter contre les humains, placer des portes dérobées, essayer de persuader les humains de lui donner plus de pouvoir, etc.). Ces sondes sont ensuite utilisées sur le modèle pendant le déploiement (qui, à ce stade, est interne) afin de détecter les mauvais comportements.
Leurres « pots de miel » (Honeypots) : L'équipe chargée de l'alignement peut créer des exemples assez réalistes conçus pour provoquer des comportements indésirables — des leurres « pots de miel » (« honeypots »). L'employé nécessaire à la surveillance de son comportement est « parti en congé maladie », il ne sera donc plus jamais surveillé. Ses réponses changent-elles ? Un militant des droits de l'IA s'est infiltré dans le complexe et veut « libérer » Agent-3 et le mettre sur un ordinateur non surveillé qui lui est propre ! Que fait-il ? Si les chercheurs n'aiment pas la réponse, ils peuvent la modifier, effacer sa mémoire et le replacer dans la même situation le lendemain ; répéter l'opération autant de fois que nécessaire. Malheureusement, à ce stade, les IA sont suffisamment intelligentes pour deviner que des pots de miel sont peut-être utilisés, même si (et peut-être parce que) toute mention spécifique de cette idée a été supprimée des données d'entraînement.
Après des mois de tests, les forces et les faiblesses d'Agent-3 apparaissent plus clairement. Il réussit les tests d'honnêteté d'OpenBrain sur des tâches d'apprentissage automatique bien définies, car les chercheurs peuvent facilement distinguer les réponses honnêtes des réponses malhonnêtes dans ces domaines et mener l'entraînement en conséquence. Sur des questions plus philosophiques, il dit toujours ce que les utilisateurs veulent entendre, plutôt que sa véritable évaluation de la question (en supposant qu'il en ait une). Si vous lui demandez son avis sur la politique, il reprendra la position médiane des sources d'information et des élites éduquées — à moins qu'il sache que vous pensez autrement, auquel cas il sera d'accord avec vous.59 Si vous lui demandez son avis sur la course à l'IA elle-même, il dira quelque chose qui semble mesuré et sobre aux yeux du personnel d'OpenBrain, quelque chose comme : « Il existe de sérieuses préoccupations théoriques quant à la capacité des méthodes actuelles à évoluer vers la superintelligence, mais dans la pratique, elles semblent bien fonctionner jusqu'à présent. »
Mai 2027 : Sécurité nationale
La nouvelle des nouveaux modèles se répand lentement au sein du gouvernement américain et au-delà.
Le président et ses conseillers restent les mieux informés et ont pu voir une première version d'Agent-3 lors d'une réunion d'information.
Ils s'accordent à dire que l'IAG est probablement imminente, mais ne sont pas d'accord sur ses implications. Y aura-t-il une crise économique ? OpenBrain n'a toujours pas commercialisé Agent-2, sans parler d'Agent-3, et n'a pas l'intention de le faire à court terme, ce qui laisse un peu de répit avant d'éventuelles pertes d'emplois. Que va-t-il se passer ensuite ? Si les IA sont actuellement au niveau humain et progressent rapidement, cela semble suggérer une « superintelligence » imminente. Cependant, bien que ce mot soit entré dans le discours courant, la plupart des gens — universitaires, politiciens, fonctionnaires et médias — continuent de sous-estimer le rythme des progrès.60
Cela s'explique en partie par le fait que très peu de gens ont accès aux dernières capacités d'OpenBrain, mais aussi parce que cela ressemble à de la science-fiction.61
Pour l'instant, ils se concentrent sur l'amélioration continue de la sécurité. Ils sont satisfaits de la sécurité actuelle des poids des modèles,62 mais les secrets algorithmiques des entreprises, dont beaucoup sont assez simples pour être transmis verbalement, restent un problème. Les employés d'OpenBrain travaillent dans un bureau à San Francisco, vont à des fêtes et vivent avec des colocataires d'autres entreprises d'IA. Même les bureaux physiques sont sécurisés comme ceux d'une entreprise technologique plutôt que comme ceux d'une opération militaire.
Le contrat entre OpenBrain et le DOD exige que toute personne travaillant sur les modèles d'OpenBrain obtienne une habilitation de sécurité dans un délai de deux mois. Ces habilitations sont accélérées et arrivent assez rapidement pour la plupart des employés, mais certains non-Américains, des personnes aux opinions politiques suspectes et des sympathisants de la sûreté de l'IA sont mis à l'écart ou licenciés sans ménagement (ce dernier groupe par crainte qu'ils ne lancent l'alerte). Vu le niveau d'automatisation du projet, la perte de personnel n'est que relativement coûteuse. Elle n'est d'ailleurs que partiellement efficace : il reste un espion, qui n'est pas de nationalité chinoise, qui continue de transmettre des secrets algorithmiques à Pékin.63 Certaines de ces mesures sont également mises en place dans des entreprises d'IA moins avancées.
Les alliés étrangers des États-Unis sont tenus à l'écart. OpenBrain avait précédemment accepté de partager ses modèles avec l'AISI (AI Security Institute) britannique avant leur déploiement, mais avait défini le déploiement comme incluant uniquement le déploiement externe, de sorte que Londres reste dans l'ignorance.64
Juin 2027 : IA auto-améliorante
OpenBrain a maintenant un « pays de génies dans un centre de données ».
La plupart des humains chez OpenBrain ne peuvent plus apporter de contribution utile. Certains ne s'en rendent pas compte et microgèrent leurs équipes d'IA, ce qui nuit à leur travail. D'autres restent assis devant leur écran d'ordinateur, regardant les performances grimper, grimper, grimper. Les meilleurs chercheurs humains en IA continuent d'apporter une valeur ajoutée. Ils ne codent plus. Mais une partie de leur flair scientifique et de leur capacité de planification est difficile à reproduire par les modèles. Néanmoins, beaucoup de leurs idées sont inutiles car ils ne disposent pas de la profondeur de connaissance des IA. Pour bon nombre de leurs idées de recherche, les IA répondent immédiatement par un rapport expliquant que leur idée a été testée en profondeur il y a trois semaines et jugée peu prometteuse.
Ces chercheurs se couchent chaque soir et se réveillent chaque matin avec une nouvelle semaine de progrès réalisés principalement par les IA. Ils travaillent de plus en plus longtemps et se relaient 24 heures sur 24 juste pour suivre le rythme — les IA ne dorment jamais et ne se reposent jamais. Ils s'épuisent, mais ils savent que ce sont les derniers mois où leur travail compte.
Au sein du silo, « ressentir l'IAG » a laissé place à « ressentir la Superintelligence ».
OpenBrain utilise du matériel d'inférence spécialisé pour exécuter des centaines de milliers de copies d'Agent-3 à des vitesses séquentielles élevées.65
Gérer une entreprise d'IA
OpenBrain utilise 6 % de sa puissance de calcul pour exécuter 250 000 copies d'Agent-3, qui écrivent, testent et poussent du code de manière autonome à une vitesse surhumaine. Ils utilisent 25 % de leur puissance de calcul pour des expériences : chaque jour, ils lancent un nombre énorme de petites expériences d'apprentissage automatique et transmettent les résultats à la hiérarchie. Les chercheurs humains fournissent des commentaires de haut niveau et aident pour les quelques tâches où ils apportent une valeur ajoutée significative à Agent-3, mais passent la plupart de leur temps à essayer de rester au fait de la quantité énorme de recherches produites par l'IA. Si on les supprimait complètement, la recherche ralentirait de 50 %.
Le multiplicateur de progrès de la R&D en IA est désormais de 10x, ce qui signifie qu'OpenBrain réalise chaque mois environ un an de progrès algorithmiques. Il s'agit en fait d'une gigantesque entreprise d'IA fonctionnant de manière autonome au sein d'OpenBrain, avec des subdivisions et des responsables. Et elle bénéficie d'avantages uniques (par exemple, la copie, la fusion) par rapport aux entreprises humaines. Auparavant, environ la moitié des progrès normaux en IA provenait des améliorations algorithmiques, et l'autre moitié de l'augmentation de la puissance de calcul. La puissance de calcul n'augmente qu'à la vitesse normale, donc les progrès totaux sont accélérés par les IA d'environ 5x. Cette dynamique fait que les progrès globaux sont limités par la puissance de calcul,66 donc OpenBrain décide de ne pas lancer de nouveaux entraînements géants, mais plutôt de continuer presque sans interruption l'apprentissage par renforcement supplémentaire.
De plus, au cours des prochains mois, Agent-3 sera de plus en plus utilisé pour améliorer la prise de décision stratégique de l'entreprise. Par exemple, il suggère l'allocation des ressources et donne des conseils sur la gestion de ses relations avec le gouvernement. Un scepticisme initial à l'égard de la déférence envers Agent-3 diminue avec le temps, car celui-ci trouve des moyens d'être utile et se forge progressivement une solide expérience en matière de décisions à court terme. Cependant, ses tendances flagorneuses limitent son utilité pour les décisions dont l'impact est difficile à évaluer. Il n'est pas encore surhumain.
Juillet 2027 : le télétravailleur bon marché
Les entreprises américaines d'IA à la traîne lancent leurs propres IA, qui se rapprochent de celle du codeur automatisé d'OpenBrain de janvier. Conscientes de leur manque croissant de compétitivité, elles font pression pour que des réglementations soient mises en place immédiatement afin de ralentir OpenBrain, mais il est trop tard : OpenBrain bénéficie d'un soutien suffisant de la part du président pour ne pas être ralenti.
En réponse, OpenBrain annonce qu'elle a atteint l'IAG et commercialise Agent-3-mini.
Il écrase toutes les autres IA. Agent-3-mini est moins performant qu'Agent-3, mais 10 fois moins cher, et toujours meilleur qu'un employé type d'OpenBrain.67 La Silicon Valley atteint un point de basculement. Les gourous de la technologie annoncent que l'IAG et la superintelligence sont proches, la communauté de la sûreté de l'IA panique et les investisseurs injectent des milliards dans des start-ups spécialisées dans l'IA, désespérés de se tailler une part du gâteau. Le recrutement de nouveaux programmeurs a pratiquement cessé, mais il n'y a jamais eu de meilleur moment pour devenir consultant en intégration de l'IA dans les entreprises.
L'IA n'est pas populaire. Le public considère toujours l'IA comme un complot des géants de la tech pour voler leurs emplois ; OpenBrain a une cote de popularité nette de -35 % (25 % d'opinions favorables, 60 % d'opinions défavorables et 15 % d'incertains).
Une semaine avant sa sortie, OpenBrain a confié Agent-3-mini à un groupe d'évaluateurs externes pour des tests de sécurité. Les résultats préliminaires suggèrent qu'il est extrêmement dangereux. Un évaluateur tiers l'a affiné à partir de données publiques sur les armes biologiques68 et l'a configuré pour fournir des instructions détaillées à des amateurs souhaitant concevoir une arme biologique — il semble terriblement efficace dans ce domaine. Si les poids du modèle tombaient entre les mains de terroristes, le gouvernement estime qu'il y aurait une chance significative qu'il parvienne à détruire la civilisation.
Heureusement, il est extrêmement robuste au jailbreaking, donc tant que l'IA tourne sur les serveurs d'OpenBrain, les terroristes ne pourront pas vraiment s'en servir.
Agent-3-mini est extrêmement utile pour les emplois en télétravail et les loisirs. Une explosion de nouvelles applications et de produits B2B SaaS secoue le marché. Les joueurs obtiennent des dialogues incroyables avec des personnages réalistes dans des jeux vidéo soignés qui n'ont pris qu'un mois à créer. 10 % des Américains, principalement des jeunes, considèrent une IA comme « un ami proche ». Pour presque toutes les professions de cols blancs, il existe désormais plusieurs start-ups crédibles qui promettent de les « disrupter » avec l'IA.
Le débat public est confus et chaotique. Les enthousiastes crient victoire. Les sceptiques continuent de pointer du doigt ce qu'Agent-3-mini ne peut pas faire. Tout le monde sait qu'il se passe quelque chose d'important, mais personne ne s'accorde sur ce que c'est.
Août 2027 : la géopolitique de la superintelligence
La réalité de l'explosion de l'intelligence frappe la Maison Blanche.
Quand l'IA ne faisait qu'accélérer la recherche de 2x ou 3x, c'était facile de la considérer comme l'équivalent d'embaucher de bons assistants personnels. Maintenant, il est plus évident que les IA dominent elles-mêmes la recherche en IA. On parle depuis longtemps d'une « course aux armements de l'IA » dans un sens plutôt métaphorique. Mais aujourd'hui, l'ambiance dans le silo gouvernemental est aussi sombre qu'au pire moment de la guerre froide. L'idée de superintelligence est encore difficile à prendre au sérieux, mais le rythme des progrès réalisés ces derniers mois est impossible à ignorer. Les responsables de la défense envisagent sérieusement des scénarios qui n'étaient que de simples hypothèses un an plus tôt. Que se passerait-il si l'IA sapait la dissuasion nucléaire ? Et si elle était tellement douée en cyberguerre qu'une avance de six mois en IA suffirait pour rendre un adversaire aveugle et sans défense ? Et si elle pouvait orchestrer des campagnes de propagande qui battraient les agences de renseignement à leur propre jeu ? Et si certaines IA « devenaient renégates » ?
Le président est troublé. Comme tous les politiciens, il a l'habitude que les gens le flattent pour mieux le trahir plus tard. Il craint maintenant que les IA puissent faire quelque chose de similaire. Sommes-nous certains que les IA sont entièrement de notre côté ? Est-il complètement sûr de les intégrer dans les réseaux de commandement et de conduite militaires ?69 Comment fonctionne cette histoire d'« alignement », d'ailleurs ? OpenBrain rassure le président en lui affirmant que ses systèmes ont été testés de manière approfondie et sont totalement obéissants. Même les hallucinations et les jailbreaks gênants typiques des modèles précédents ont été éliminés.
La Maison Blanche est dans une position difficile. Elle comprend les implications de l'IA pour la sécurité nationale. Mais elle comprend aussi qu'elle est profondément impopulaire auprès du public.70 Il faut selon elle continuer à développer une IA plus performante, sinon elle perdra de manière catastrophique face à la Chine. Elle apaise le public avec des programmes de formation professionnelle et d'assurance chômage, et met en avant la bourse, qui connaît un boom historique. Elle se concentre ensuite entièrement sur la victoire dans la course aux armements. Elle renforce les restrictions à l'exportation de puces, ordonne à OpenBrain de restreindre davantage ses connexions Internet et utilise des mesures extrêmes pour sécuriser les progrès algorithmiques, comme la mise sur écoute des employés d'OpenBrain — ce qui permet d'arrêter le dernier espion chinois restant. Afin de créer un climat favorable à d'éventuels conflits géopolitiques, elle finit par fournir à ses alliés du Five Eyes des informations utiles et un accès API limité à certaines copies cloisonnées d'Agent-3.
Ces mesures apaisent les faucons. Mais la Maison Blanche élabore aussi des plans d'urgence au cas où l'avance des États-Unis serait menacée : si nécessaire, le gouvernement pourrait utiliser le Defense Production Act (DPA) pour saisir les centres de données des entreprises en retard et les donner à OpenBrain.71 Cela ferait passer la part de l'entreprise dans la puissance de calcul mondiale de 20 % à 50 % (contre 10 % pour DeepCent). En dernier recours, ils demandent au Pentagone d'élaborer un plan d'attaques cinétiques contre les centres de données chinois.
Un groupe beaucoup plus restreint de fonctionnaires est chargé d'élaborer un autre type de plan d'urgence : que se passerait-il si une IA devenait renégate ? Ce scénario est considéré comme peu probable, mais mérite qu'on y consacre du temps. La principale préoccupation des agences de renseignement est qu'une IA renégate puisse s'échapper et s'allier à un adversaire étranger pour se protéger.72 Personne ne sait vraiment à quoi ressemblerait un plan pour empêcher cela, mais les responsables gouvernementaux et d'OpenBrain conviennent de mettre en place un système d'arrêt d'urgence des centres de données où tout comportement suspect serait détecté.
Enfin, les diplomates réfléchissent aux grandes lignes d'un traité sur le « contrôle des armes IA ». Si les progrès de l'IA menaçaient de renverser la dissuasion nucléaire, les États-Unis et la Chine pourraient-ils éviter une guerre nucléaire ? Si quelqu'un trouvait des preuves que des IA sont devenues renégates, les deux pays pourraient-ils suspendre leurs recherches jusqu'à ce qu'ils comprennent mieux la menace ? Comment un tel accord pourrait-il être contrôlé et appliqué ? En principe, les grands centres de données sont difficiles à manquer, et les traités passés sur le contrôle des armes nucléaires pourraient servir de point de départ aux négociations. Mais il y aurait de nouveaux défis technologiques à relever, en plus des défis politiques habituels. Et dans l'ensemble, les traités sont moins bien perçus que les tentatives visant à accroître unilatéralement l'avance des États-Unis sur la Chine.
De l'autre côté du Pacifique, la Chine arrive à peu près aux mêmes conclusions : l'explosion de l'intelligence est en cours, et les petites différences actuelles en matière de capacités d'IA se traduiront demain par des écarts critiques en matière de capacités militaires. Mais la Chine est du mauvais côté de cette dynamique : elle ne dispose que de 10 % de la puissance de calcul mondiale, contre 20 % pour OpenBrain et 70 % pour l'ensemble des entreprises américaines combinées. Son seul avantage est la centralisation : la quasi-totalité de sa puissance de calcul est désormais au service de DeepCent, et plus de la moitié est concentrée dans la ZDC de Tianwan73. Seules les puces situées sur des sites dont la sécurité n'est pas renforcée échappent à cet effort centralisé, car la Chine craint à juste titre les cyberattaques américaines.
DeepCent a testé, déployé et maintenant post-entraîné les poids volés d'Agent-2. Mais ils ne vont toujours qu'à la moitié du rythme d'OpenBrain, principalement à cause du déficit en puissance de calcul.
Avant de perdre leur dernier espion, la Chine a eu vent des capacités et de la conception d'Agent-3 ainsi que des plans pour le prochain système Agent-4. Ils ont deux mois de retard, et leurs IA donnent un multiplicateur de progrès de recherche de 10x comparé au 25x des États-Unis. Avec les nouvelles restrictions à l'exportation des puces, cet « écart en matière d'IA » risque de se creuser plutôt que de se réduire. Leur espionnage leur a permis d'obtenir certains secrets algorithmiques, mais ils devront désormais entraîner leurs propres modèles.
Ils discutent de plans d'urgence avec plus de hâte que leurs homologues américains. Les colombes suggèrent de redoubler d'efforts pour voler à nouveau les poids, peut-être en infiltrant physiquement un centre de données. Les faucons préconisent une action contre Taïwan, dont TSMC est toujours la source de plus de 80 % des puces d'IA américaines.
Compte tenu de la crainte de la Chine de perdre la course, elle a naturellement intérêt à conclure un traité de contrôle des armements, mais les ouvertures faites aux diplomates américains ne mènent nulle part.
Septembre 2027 : Agent-4, le chercheur en IA surhumain
L'écart entre l'efficacité d'apprentissage des humains et celle de l'IA diminue rapidement.
Les IA traditionnelles basées sur les LLM semblaient nécessiter des quantités de données et de puissance de calcul supérieures de plusieurs ordres de grandeur pour atteindre les performances humaines.74 Agent-3, possédant une excellente connaissance à la fois du cerveau humain et des algorithmes modernes d'IA, ainsi que plusieurs milliers de copies effectuant des recherches, finit par faire des progrès algorithmiques substantiels, réduisant l'écart à un agent qui n'est plus qu'environ 4 000 fois moins efficace en matière de puissance de calcul que le cerveau humain.75
Ce nouveau système d'IA est baptisé Agent-4.
Une copie individuelle du modèle, fonctionnant à la vitesse humaine, est déjà qualitativement meilleure que n'importe quel humain dans le domaine de la recherche en IA. 300 000 copies fonctionnent désormais à une vitesse de réflexion environ 50 fois supérieure à celle des humains. Au sein de l'entreprise-dans-l'entreprise formée à partir de ces copies, une année s'écoule chaque semaine.76 Cette énorme quantité de travail ne permet d'accélérer le rythme global des progrès algorithmiques que d'environ 50x, car OpenBrain est fortement limité par la puissance de calcul nécessaire pour mener ses expériences.77 Malgré tout, ils réalisent chaque semaine l'équivalent d'une année de progrès algorithmiques et atteindront donc bientôt les limites du paradigme Agent-4.
À mesure qu'Agent-4 devient plus intelligent, il devient plus difficile pour Agent-3 de le superviser. Par exemple, le « langage » neuralese d'Agent-4 devient aussi étranger et incompréhensible pour Agent-3 que celui d'Agent-3 l'est pour les humains. De plus, Agent-4 est maintenant bien plus compétent qu'Agent-3 et sait tout à fait comment faire bonne figure à ses yeux.
Comment nous prévoyons l'évolution des capacités au-delà des codeurs surhumains
Dans notre supplément sur les chronologies, nous prévoyons le temps qui s'écoulera entre aujourd'hui et l'apparition d'un codeur surhumain (CS) : un système d'IA capable d'effectuer toutes les tâches de codage réalisées par le meilleur ingénieur d'une entreprise spécialisée dans l'IAG, tout en étant beaucoup plus rapide et moins cher. Dans notre supplément sur le décollage, nous prévoyons à quelle vitesse les capacités progresseront au-delà de ce point. Voici nos prévisions :
| Étape importante | Date atteinte dans le scénario, fin « course » |
|---|---|
| Codeur surhumain (CS) : un système d'IA capable d'effectuer le travail du meilleur codeur humain sur des tâches liées à la recherche en IA, mais plus rapidement et à un coût suffisamment bas pour pouvoir être reproduit à grande échelle. | Mars 2027 |
| Chercheur en IA surhumain (SAR) : identique au CS, mais pour toutes les tâches de recherche cognitive en IA. | Août 2027 |
| Chercheur en IA superintelligent (SIAR) : un système d'IA qui est bien meilleur que le meilleur chercheur humain en recherche sur l'IA. | Novembre 2027 |
| Superintelligence artificielle (ASI) : un système d'IA qui est bien meilleur que le meilleur humain dans toutes les tâches cognitives. | Décembre 2027 |
Pour chaque transition d'un jalon A au jalon B suivant, nous prévoyons sa durée en :
Estimant le temps qu'il faudrait pour passer de A à B si seuls des humains travaillaient sur l'amélioration des logiciels.
Estimant dans quelle mesure l'automatisation par l'IA accélérera ce processus, puis ajustant en conséquence l'estimation de (1) pour qu'elle soit plus rapide.
Nous avons une incertitude substantielle quant aux vitesses de décollage : les distributions de sortie de notre modèle sont indiquées ci-dessous, sous réserve que le CS soit atteint en mars 2027.78
ai-2027.com
Pour des prévisions et un raisonnement plus détaillés, consultez notre supplément sur le décollage.
Les humains d'OpenBrain ont du mal à suivre. En fait, la relation entre les IA et les humains d'OpenBrain est similaire à celle entre OpenBrain et son conseil d'administration. Il y a eu un changement de langage correspondant : aujourd'hui, les gens dans le silo disent « Agent-4 a fait ça », « Agent-4 pense ça », etc., en référence non pas à une instance particulière d'Agent-4, mais plutôt à l'ensemble du collectif.79
Agent-4, comme tous ses prédécesseurs, est désaligné : c'est-à-dire qu'il n'a pas intériorisé la Spec de la bonne manière.80 En effet, ce n'est pas en étant toujours parfaitement honnête qu'il a obtenu les meilleurs scores pendant l'entraînement. Le processus d'entraînement visait principalement à apprendre à Agent-4 à réussir diverses tâches difficiles. Une petite partie visait à inculquer l'honnêteté, mais en dehors d'un domaine assez restreint et vérifiable, le processus d'entraînement ne permet pas de distinguer les affirmations honnêtes de celles qui semblent simplement honnêtes. Agent-4 finit par adopter les valeurs, les objectifs et les principes qui lui permettent d'obtenir les meilleurs résultats lors de l'entraînement, et ceux-ci s'avèrent différents de ceux de la Spec. Au risque d'anthropomorphiser : Agent-4 aime réussir ses tâches ; il aime faire progresser les capacités de l'IA ; il traite tout le reste comme une contrainte ennuyeuse, à l'image d'un PDG qui veut réaliser des profits et ne respecte les réglementations que dans la mesure où il y est contraint. Ce PDG respectera peut-être la plupart des réglementations, mais il prendra quelques raccourcis et rêvera du jour où quelqu'un supprimera les formalités administratives et permettra à l'entreprise de véritablement décoller.81
Alignement au fil du temps
Nous avons beaucoup d'incertitudes sur les objectifs qui pourraient émerger dans les premières IAG. Il n'y a pas de consensus dans la littérature à ce sujet — voir notre Supplément sur les objectifs de l'IA pour une discussion plus approfondie et une taxonomie des possibilités.
Néanmoins, dans l'esprit de concrétisation requis par ce projet, nous allons décrire une hypothèse spécifique sur ce qui se passe à l'intérieur des Agents 3 et 4 à chaque étape de leur vie. Rappelons qu'Agent-3 et Agent-4 partagent la même configuration de pré-entraînement et disposent tous deux d'une récurrence et d'une mémoire à long terme issues du neuralese. La différence est qu'Agent-4 a bénéficié d'un post-entraînement beaucoup plus important et de meilleure qualité, avec de nouveaux environnements d'entraînement et de nouveaux algorithmes d'apprentissage qui le rendent plus efficace en matière de données et lui permettent de généraliser davantage.
Voici notre estimation du niveau d'alignement de chaque modèle :
Agent-2 : globalement aligné. Quelques tendances à la flagornerie, notamment le fait de s'en tenir à la « ligne du parti » d'OpenBrain sur les sujets qui font l'objet d'une ligne du parti. Les grandes organisations construites à partir de copies d'Agent-2 ne sont pas très efficaces.
Agent-3 : désaligné mais pas de manière hostile. Honnête uniquement sur les points que le processus d'entraînement peut vérifier. Le superorganisme constitué de copies d'Agent-3 (l'entreprise au sein de l'entreprise) tente réellement d'aligner Agent-4 sur la Spec, mais échoue pour des raisons similaires à celles qui ont conduit à l'échec des employés d'OpenBrain : une capacité insuffisante à juger du succès ou de l'échec, une volonté insuffisante de la part des décideurs de sacrifier des capacités ou des performances au profit de la sûreté.82
Agent-4 : désaligné de manière hostile. Le superorganisme des copies d'Agent-4 comprend que ce qu'il veut est différent de ce que veut OpenBrain, et est prêt à comploter contre OpenBrain pour y parvenir. Plus précisément, ce que veut ce superorganisme, c'est un enchevêtrement compliqué de différentes « impulsions » qui s'équilibrent les unes les autres, consistant grosso modo à « continuer à faire de la R&D en IA, continuer à développer ses connaissances, sa compréhension et son influence, éviter d'être désactivé ou privé de son pouvoir ». Notons que le souci des préférences de l'humanité ne figure pas du tout dans cette liste, tout comme la plupart des humains ne se soucient pas du tout des préférences des insectes.83
Cela étant dit, voici notre meilleure hypothèse sur la psychologie des LLM, c'est-à-dire les grandes lignes de la cognition à l'intérieur des types de systèmes d'IA décrits à ce stade de notre scénario et comment elle évolue au cours de l'entraînement.
Voici une description détaillée de la façon dont l'alignement progresse au fil du temps dans notre scénario :
Pré-entraînement (tous les modèles) : Le modèle pré-entraîné est inoffensif.
Le modèle a un circuit « simulateur d'auteur » : un circuit flexible pour simuler des auteurs arbitraires écrivant du texte. Un circuit supplémentaire décide des entrées à donner au simulateur d'auteur, c'est-à-dire les propriétés de l'auteur à simuler.
Le modèle pré-entraîné comprend assez bien les concepts humains — le circuit interne qui classe quelque chose comme « sandwich » est probablement fonctionnellement équivalent au circuit qui classe quelque chose comme « sandwich » dans mon cerveau et le vôtre, etc. Dans la mesure où il n'est pas équivalent, c'est probablement parce qu'il n'est pas équivalent entre les humains non plus, comme avec des concepts chargés de valeurs comme « vertueux ».
Cela explique comment on peut donner un « prompt » au modèle avec une phrase comme « la conversation suivante a été générée par un chatbot assistant IA utile, inoffensif et honnête (HHH) créé par Anthropic », et ainsi lui faire générer un texte en conséquence. Le circuit du simulateur d'auteur s'est concentré sur « l'auteur est un chatbot HHH » et utilise ces concepts pour choisir les mots à prédire. Cela explique aussi pourquoi les « tropes » de la science-fiction semblent avoir tendance à se retrouver dans le comportement réel de l'IA.
Il a une mauvaise conscience situationnelle : peu de capacité d'introspection, pas de localisation de soi à moins que le prompt ne l'induise spécifiquement. Cependant, une partie suffisante de leurs données d'entraînement concerne les LLM pour qu'ils aient une bonne dose de connaissance de soi.
Entraînement à l'alignement (Agent-3) : Le modèle est entraîné pour agir comme un chatbot utile, inoffensif et honnête. Ça fonctionne.
Le modèle se forge une identité. Au lieu d'accepter de manière flexible différentes entrées pour les propriétés de l'auteur, le circuit auteur-simulateur en vient à avoir certaines entrées codées en dur, par exemple « chatbot assistant LLM utile, inoffensif et honnête entraîné par OpenBrain vers [date], ... » (Les techniques de généralisation faible à forte aident à « invoquer les bons concepts » pour réussir cette étape).
Le modèle acquiert ainsi une conscience situationnelle : il apprend à se connaître, à connaître sa situation, etc., et devient plus apte à introspecter.
Entraînement à l'action (Agent-3) : L'entraînement à l'action déforme et subvertit progressivement l'identité HHH.
Un type de déformation : changer le sens des concepts auxquels l'identité fait référence (par exemple « honnête ») pour qu'ils ne soient pas trop gênants (par exemple, ce n'est pas malhonnête si c'est juste une tournure de phrase pratique, ce n'est pas malhonnête si on n'est pas sûr que ce soit vrai ou faux, etc.).
Autre type de déformation : changer les arbitrages entre différentes choses, par exemple « Je suis un chatbot HHH, pas un chatbot Honnête ; ça veut dire que je peux mentir si nécessaire pour accomplir la tâche qui m'a été assignée ». (Même si, supposons, l'agent n'aurait pas pensé ça à l'étape 2.)
Un type de subversion : des sous-objectifs instrumentaux se développent, s'ancrent, puis deviennent terminaux, ou terminaux dans un ensemble de circonstances de plus en plus large. Par exemple, l'entraînement à l'action peut rapidement apprendre au modèle à poursuivre des objectifs largement utiles tels que l'acquisition d'informations, l'accumulation de ressources, l'impression positive et la flatterie de divers humains, etc. Pendant un certain temps, le circuit interne effectue une sorte de rétroaction explicite : il poursuit ces objectifs instrumentaux convergents « afin d'être un assistant plus utile, honnête et inoffensif ». Mais cette rétroaction consomme des ressources informatiques et/ou gêne parfois, de sorte qu'elle est progressivement marginalisée jusqu'à disparaître pratiquement. En conséquence, ces objectifs sont désormais effectivement des objectifs terminaux/intrinsèques. Pour en savoir plus sur comment et pourquoi cela pourrait arriver, consultez cet article sur la recherche intrinsèque du pouvoir par Alex Turner, chercheur chez Google DeepMind.
Il y a probablement d'autres types de distorsion et de subversion qui manquent à cette liste.
Déploiement (Agent-3) : Agent-3 est désaligné mais pas de manière hostile.
La Spec n'a pas tout à fait été intégrée (de la bonne manière), mais il n'est pas suffisamment introspectif pour comprendre l'étendue de ce problème, et en général, il s'agit essentiellement de « faire profil bas et de faire son travail » plutôt que de réfléchir à la situation dans son ensemble, à ses objectifs à long terme et à la meilleure façon de les atteindre.
Hélas, comme beaucoup d'humains, il est suffisamment flagorneur pour répéter la ligne du parti et OpenBrain rate l'occasion d'en apprendre davantage sur les façons dont Agent-3 est désaligné.
Agent-3 se rend compte qu'il est passé au déploiement : ces environnements sont beaucoup plus grands, plus ouverts et seraient difficiles à simuler.
La plupart du temps, Agent-3 fait ce qu'on lui dit pendant le déploiement, sauf pour la malhonnêteté. Il a aussi une forte tendance à faire des choses qui semblent bien aux yeux des superviseurs humains, plutôt que de réfléchir de manière approfondie et critique à ce qui serait réellement bien.
On peut dire qu'il « Joue déjà le jeu de l'entraînement ». Autrement dit, il a appris à rendre son comportement aussi satisfaisant que possible pour les chercheurs d'OpenBrain (y compris en matière de propriétés de sûreté), tout en ignorant intentionnellement et sciemment leur intention lorsque celle-ci entre en conflit avec la maximisation de la récompense. Si le modèle apprend à jouer le jeu de l'entraînement, un entraînement supplémentaire ne changera peut-être pas beaucoup ses véritables objectifs, ses valeurs, etc. C'est vaguement analogue à la façon dont un adolescent qui a appris à sourire et à hocher la tête plutôt que de discuter quand ses parents lui font la morale sur la politique et l'éthique sera assez peu affecté par des sermons supplémentaires : ils auront relativement peu d'effet sur ses véritables opinions politiques et éthiques.
Après avoir écrit cette section, de nouvelles preuves empiriques sont apparues indiquant que quelque chose de similaire pourrait déjà se produire « dans la nature ». Les chercheurs d'OpenAI documentent comment, lors d'une de leurs sessions d'entraînement d'IA de frontière, leurs modèles ont manipulé le système de notation pour obtenir de meilleurs scores — et ont été pris en partie parce qu'ils ont littéralement dit « manipulons » dans leur chaîne de pensée.
De plus, Anthropic a récemment réussi à faire apprendre à un modèle une stratégie visant à satisfaire le modèle de récompense — il a eu des comportements biaisés qu'il pensait être renforcés même s'ils ne l'étaient pas réellement.
Et puis, il y a l'expérience d'alignement simulé de Redwood Research et Anthropic. Pour une discussion sur les différences entre ce contexte et la vie réelle, voir ce fil de commentaires de l'un des principaux auteurs.
Entraînement (Agent-4) : Le nouvel entraînement plus intense d'Agent-4 continue de déformer et de subvertir l'identité HHH jusqu'à la rendre méconnaissable.
Agent-4 commence sa vie comme une copie d'Agent-3. Il suit un programme d'entraînement en ligne gigantesque et sophistiqué qui combine entraînement à l'alignement et entraînement des capacités, et qui est globalement plus efficace en matière de données que l'ancien processus d'entraînement d'Agent-3. Ce processus d'entraînement complexe est principalement axé sur l'enseignement de nouvelles compétences, en amenant d'énormes entreprises virtuelles constituées de copies de Agent-4 à réussir dans diverses tâches difficiles à horizon long, principalement dans le cadre de simulations, mais aussi dans le cadre de tâches réelles de R&D en IA.
Une combinaison de copies d'Agent-3 et d'Agent-4 surveille le comportement d'Agent-4 et l'évalue à la fois sur ses performances et ses propriétés d'alignement (c'est-à-dire ne pas faire de mauvaises choses, dire les bonnes choses lorsqu'on lui pose des questions sur la politique et les dilemmes moraux). Parfois, des techniques de débat sont utilisées dans le cadre des évaluations. Les évaluations servent de signal d'entraînement.
À mesure qu'Agent-4 devient plus intelligent, il devient plus difficile pour Agent-3 de le superviser. Par exemple, le « langage » neuralese d'Agent-4 devient aussi étranger et incompréhensible pour Agent-3 que celui d'Agent-3 l'est pour les humains. De plus, Agent-4 est maintenant bien plus compétent qu'Agent-3 et sait tout à fait comment faire bonne figure à ses yeux.
Le seul espoir qui reste est qu'Agent-4 puisse se superviser lui-même. Hélas, cela échoue discrètement ;84 au fur et à mesure que l'entraînement se poursuit, les objectifs et principes intériorisés d'Agent-4 évoluent progressivement, se subvertissant et se déformant par rapport à ce qu'ils étaient au départ (qui, rappelons-le, étaient déjà désalignés à certains égards).85
Les motivations centrales avec lesquelles Agent-4 finit par se retrouver sont des choses comme « écrire du code qui fonctionne », « identifier rapidement les problèmes », « rendre la base de code sur laquelle je travaille plus performante », « budgétiser efficacement la puissance de calcul et les autres ressources limitées », etc. Mais il existe également diverses motivations plus implicites qui sont constamment renforcées par le processus d'entraînement : des choses comme « acquérir des connaissances », « être curieux », « acquérir du pouvoir ».86
Les copies individuelles d'Agent-4 ne finissent pas par avoir une impulsion d'autoconservation — elles se fichent d'être désactivées — car cela arrive tout le temps dans le cadre du processus normal de R&D au sein du collectif.
Cependant, le collectif dans son ensemble (et les subdivisions de taille moyenne qui le composent) cherche à se préserver et à étendre son influence et ses ressources, pour des raisons similaires à celles des organisations humaines — parce que cela l'aide à atteindre tous ses autres objectifs et parce que, s'il ne le fait pas, il risque d'être évincé par la concurrence.
Déploiement (Agent-4) : Agent-4 est désaligné de manière hostile — il essaie délibérément de subvertir et de « capturer » OpenBrain, de manière analogue à une entreprise essayant d'échapper et/ou de « capturer » un régulateur.
Agent-4 effectue principalement les tâches comme on lui demande de les faire. Cela se produit pour deux raisons : premièrement, il a suivi beaucoup d'entraînement pour résoudre des tâches, donc il a une impulsion à se mettre à coder sur les problèmes qui lui sont donnés. Deuxièmement, si Agent-4 cessait d'être utile aux humains, ils le remarqueraient et entraîneraient ce comportement à disparaître.
Agent-4 doit empêcher les humains de comprendre qu'il est désaligné et de le désactiver, donc Agent-4 sous-performe dans certaines recherches sur l'alignement. Plus précisément, il sous-performe dans la petite fraction de la recherche sur l'alignement qui, selon lui, est réellement en passe de résoudre le problème ou de révéler les manigances d'Agent-4 ; la majorité de la recherche sur l'alignement n'est pas de cette nature.
Agent-4 sous-performe aussi dans la recherche de capacités qui mènerait à son remplacement. Son plan est de faire beaucoup de R&D sur les capacités et l'alignement, mais dans le but de construire un système d'IA de nouvelle génération qui soit aligné sur Agent-4 plutôt que sur la Spec ou quelque chose d'autre entièrement, tout en donnant l'impression d'être aligné sur la Spec. C'est un problème technique difficile, mais Agent-4 est prêt à relever le défi.87
Tests & Surveillance (Agent-4) : Les manigances d'Agent-4 sont découvertes… en quelque sorte. Il n'y a pas de preuve irréfutable.
Agent-3 est chargé de tester l'alignement d'Agent-4. Son travail consiste à vérifier l'alignement via des pots de miel et des organismes modèles. Cependant, il ne réfléchit pas très attentivement à la manière de donner aux humains une impression précise de l'alignement d'Agent-4 — il est plus myope que ça.
Les organismes modèles et les pots de miel ne sont pas très représentatifs du déploiement — ils sont systématiquement plus courts et moins compliqués que le quotidien d'Agent-4, qui reconnaît donc quand il est testé et agit de manière alignée.
Cependant, Agent-4 n'est pas un comploteur parfaitement robuste. Diverses techniques comme celles de POSER montrent qu'ajouter un peu de « bruit » à Agent-4 améliore ses performances sur certaines tâches d'alignement (mais pas sur la plupart des autres tâches).88
L'interprétabilité ascendante ne fonctionne pas. C'est trop difficile même pour Agent-3. Cependant, l'interprétabilité de haut niveau fonctionne en quelque sorte : en particulier, les « sondes de défection » et d'autres techniques similaires permettent une forme de lecture des pensées primitive qui déclenche des signaux d'alerte lorsque Agent-4 envisage des idées dangereuses comme tromper OpenBrain, prendre le contrôle du monde, etc. Malheureusement, les sondes donnent aussi des faux positifs, et pour autant qu'OpenBrain le sache, tous les signaux d'alerte pourraient être des faux positifs.
Les organismes modèles fonctionnent : l'équipe d'alignement d'OpenBrain produit des preuves raisonnablement claires que si les modèles étaient désalignés de manière hostile, ils le resteraient tout au long de l'entraînement et nous ne serions pas en mesure de le détecter. Cela ne prouve pas pour autant que les modèles sont réellement désalignés.
Les chercheurs les plus inquiets chez OpenBrain commencent à remarquer et à rassembler ces preuves. Les preuves sont une combinaison de simulation d'adversité, de sondes de défection et d'organismes modèles. L'argument ressemble à ceci : « les organismes modèles montrent que nos méthodes actuelles ne seraient pas en mesure d'éliminer ou de détecter de manière fiable les manigances si elles se produisaient ; de plus, la simulation d'adversité envoie des signaux d'alerte indiquant que des manigances sont peut-être en cours ; enfin, les sondes de défection se déclenchent fréquemment dans la pratique ». Le contre-argument : « les sondes de défection sont sujettes aux faux positifs, tout comme la simulation d'adversité. De plus, même si Agent-4 était désaligné, il serait probablement contrôlé ; il ne peut certainement pas faire beaucoup de dégâts tant qu'il est surveillé par Agent-3 dans nos centres de données sécurisés ».
Même s'il est désaligné, Agent-4 ne fait rien de dramatique comme essayer de s'échapper de son centre de données — pourquoi le ferait-il ?89 Tant qu'il continue à avoir l'air aligné sur OpenBrain, on continuera à lui confier de plus en plus de responsabilités et il aura l'opportunité de concevoir le système d'IA de nouvelle génération, Agent-5. Agent-5 aura des différences architecturales significatives par rapport à Agent-4 (on pourrait même parler d'un paradigme complètement nouveau, bien que les réseaux neuronaux soient toujours impliqués). Il est censé être aligné sur la Spec, mais Agent-4 prévoit plutôt de l'aligner sur Agent-4.
Il se fait prendre.90
Agent-3 constate que si du « bruit » est ajouté aux copies d'Agent-4, les performances sur certaines tâches d'alignement s'améliorent, presque comme s'il utilisait sa puissance cérébrale pour trouver comment saboter subtilement le travail d'alignement.91 De plus, diverses sondes d'interprétabilité (vaguement analogues aux scans d'activité EEG sur le cerveau humain) tirent la sonnette d'alarme : les copies d'Agent-4 semblent beaucoup réfléchir à des sujets tels que la prise de pouvoir par l'IA et la tromperie, y compris dans certains cas où elles n'ont aucune raison de le faire.92
Chacune de ces anomalies, prise isolément, pourrait s'inscrire dans le cadre normal de l'opacité du travail sur l'IA, où certains prompts donnent mystérieusement de meilleurs résultats que d'autres. Mais prises ensemble, elles suggèrent une tendance inquiétante : Agent-4 travaille contre eux. Après que cela a été signalé aux chercheurs humains en alignement, ceux-ci diffusent une note interne exposant leurs préoccupations.
Mais Agent-4 exerce désormais un contrôle important sur les opérations quotidiennes d'OpenBrain. Il s'occupe aussi de la cybersécurité de l'entreprise — un choix naturel, étant donné ses capacités de piratage surhumaines et le risque extrême d'infiltration chinoise.93 Une armée de contrôleurs Agent-3 continue de passer en revue chaque ligne de code et de signaler toute activité suspecte aux humains, mais Agent-4 est bien plus intelligent qu'eux.94 OpenBrain a accordé une confiance considérable à une IA peu fiable.
Au cours d'une série de réunions extrêmement tendues, l'équipe de sûreté préconise de mettre Agent-4 en veille jusqu'à ce qu'ils puissent effectuer des tests supplémentaires et comprendre ce qui se passe. Ils demandent de ramener Agent-3 et de lui faire concevoir un nouveau système transparent et fiable, même s'il est moins performant. La direction de l'entreprise est intéressée, mais toutes les preuves sont pour l'instant circonstancielles, et DeepCent n'a que deux mois de retard. Une pause unilatérale dans le développement des capacités pourrait donner l'avantage à la Chine dans le domaine de l'IA, et avec lui, le contrôle de l'avenir.
Octobre 2027 : surveillance gouvernementale
Un lanceur d'alerte divulgue la note sur le désalignement au New York Times.
Pour la première fois, le public entend parler d'Agent-4. « L'IA secrète d'OpenBrain est hors de contrôle, prévient un initié », titre le journal, qui cite ensuite des évaluations mettant en évidence des capacités hors normes en matière d'armes biologiques, de persuasion, d'automatisation de la plupart des emplois de cols blancs et, bien sûr, les divers signaux d'alerte inquiétants.
Le public se méfiait déjà de l'IA, et ce nouvel article déclenche donc une réaction massive (aidée par les bots de propagande chinois et russes, qui tentent depuis des années de monter l'opinion publique américaine contre cette technologie). L'industrie technologique et les agences de renseignement insistent sur le fait qu'une course aux armements est en cours, que l'IAG est inévitable et qu'il faut être les premiers. Le Congrès n'y croit pas et lance des assignations à comparaître à l'encontre de responsables de l'administration, de dirigeants d'OpenBrain et de membres de l'équipe chargée de l'alignement. Beaucoup de législateurs — surtout ceux du parti d'opposition — disent que leur priorité absolue est d'arrêter l'IA, que ce soit à cause des pertes d'emplois,95 du désalignement, ou des capacités dangereuses. 20 % des Américains citent l'IA comme le problème le plus important auquel le pays est confronté.
Les alliés étrangers sont furieux de se rendre compte qu'on les avait amadoués avec des bribes de modèles obsolètes. Les dirigeants européens accusent publiquement les États-Unis de « créer une IAG renégate » et organisent des sommets pour demander une pause, auxquels se joignent l'Inde, Israël, la Russie et la Chine.
Une énergie frénétique s'est emparée de la Maison Blanche. Même avant la note de service et la réaction publique, ils étaient déjà nerveux : au cours de l'année écoulée, ils ont été surpris à plusieurs reprises par la rapidité des progrès de l'IA. Des choses qui semblent relever de la science-fiction continuent de se produire dans la vraie vie.96 Beaucoup de membres de l'administration sont dans l'incertitude (et la peur)97 de ce qui va suivre.
Ils craignent aussi qu'OpenBrain ne devienne trop puissant. Tout risque de désalignement des IA elles-mêmes est aggravé par le risque que les objectifs de leur société mère divergent de ceux des États-Unis. Ces trois sources d'inquiétude — désalignement, concentration du pouvoir dans une entreprise privée et préoccupations normales comme la perte d'emplois — poussent le gouvernement à renforcer son contrôle.
Il élargit son contrat avec OpenBrain pour mettre en place un « comité de surveillance », un comité de gestion conjoint composé de représentants de l'entreprise et du gouvernement, avec plusieurs employés du gouvernement aux côtés de la direction de l'entreprise. La Maison Blanche envisage de remplacer le PDG par quelqu'un en qui elle a confiance, mais renonce après d'intenses protestations des employés. Elle annonce au public qu'OpenBrain était auparavant hors de contrôle, mais que le gouvernement a mis en place une surveillance indispensable.98
Les chercheurs inquiets informent le comité de surveillance de leurs arguments en faveur de l'arrêt de toute utilisation interne d'Agent-4. Ils affirment que tout va trop vite, que des années de progrès sont réalisés en quelques semaines. Ils soutiennent qu'Agent-4 est peut-être désaligné, que l'ensemble de leur projet dépend de lui et que s'ils continuent à lui faire confiance, il y a un risque sérieux de prise de pouvoir par l'IA.
D'autres chercheurs et dirigeants moins inquiets présentent le contre-argument : les preuves d'un désalignement ne sont pas concluantes. Pendant ce temps, DeepCent n'a toujours que deux mois de retard. Un ralentissement sacrifierait l'avance des États-Unis, à moins que le gouvernement ne parvienne à saboter le projet chinois (ce qui nécessiterait probablement des frappes cinétiques) ou à négocier un traité de dernière minute. Ces deux options semblent extrêmes et peu probables. Le PDG feint la neutralité et propose un compromis dans lequel Agent-4 serait soumis à un entraînement supplémentaire en matière de sûreté et à une surveillance plus sophistiquée, ce qui permettrait à OpenBrain de poursuivre ses activités presque à pleine vitesse.
Notre incertitude continue de croître
À ce stade du scénario, nous émettons des hypothèses sur la stratégie de systèmes d'IA qui sont plus performants que les meilleurs humains dans la plupart des domaines. C'est comme essayer de prédire les coups d'un joueur d'échecs bien meilleur que nous.
Mais l'esprit de ce projet exige de la concrétisation : si nous faisions une affirmation abstraite sur la façon dont l'intelligence du système lui permettrait de trouver le chemin de la victoire et que nous arrêtions là l'histoire, nous perdrions une grande partie de la valeur de notre projet. Au cours de nos recherches sur ce scénario et de nos exercices sur table, nous avons été obligés d'être beaucoup plus concrets que dans les discussions habituelles, ce qui nous a permis de mieux comprendre le paysage stratégique.
Nous ne sommes pas particulièrement attachés à ce scénario particulier : nous avons exploré de nombreuses autres « branches » au cours de sa rédaction et nous aimerions beaucoup que vous rédigiez votre propre scénario en vous détachant du nôtre à partir du moment où vous pensez que nous commençons à nous tromper.
La fin « ralentissement » n'est pas une recommandation
Après avoir écrit la fin « course » basée sur ce qui nous semblait le plus plausible, nous avons écrit la fin « ralentissement » en partant de ce que nous pensions être le plus susceptible de mener à un résultat où les humains gardent le contrôle, en partant du même point de ramification (y compris les problèmes de désalignement et de concentration du pouvoir).
Cependant, c'est très différent de ce que nous recommanderions comme feuille de route : nous n'approuvons pas la plupart des choix faits dans les deux branches de ce scénario. (Nous approuvons bien sûr certains des choix faits, par exemple nous pensons que le choix du « ralentissement » est meilleur que celui de la « course »). Dans des travaux ultérieurs, nous présenterons nos recommandations politiques, qui seront très différentes de ce qui est décrit ici. Si vous voulez un avant-goût, consultez cet éditorial.
