Nous prévoyons que l'impact de l'IA surhumaine au cours de la prochaine décennie sera énorme, dépassant celui de la révolution industrielle.

Nous avons écrit un scénario qui représente notre meilleure estimation de ce à quoi cela pourrait ressembler.¹ Il s'appuie sur des extrapolations de tendances, des simulations stratégiques (wargames), des commentaires d'experts, l'expérience acquise chez OpenAI et nos succès précédents en matière de prévision.²

Mi-2025 : des agents qui tâtonnent

Le monde découvre les agents d'IA.

Les pubs pour ces agents informatiques mettent en avant le terme « assistant personnel » : vous pouvez leur demander de faire des tâches comme « commande-moi un burrito sur DoorDash » ou « ouvre mon tableur de budget et fais le total des dépenses de ce mois-ci ». Ils vous contactent quand nécessaire, par exemple pour vous demander de confirmer des achats.⁸ Même s'ils sont plus avancés que les versions précédentes comme Operator, ils ont du mal à se généraliser.⁹

Pendant ce temps, loin des projecteurs, des agents de codage et de recherche plus spécialisés commencent à transformer leurs professions.

En 2024, les IA pouvaient suivre des instructions précises : elles pouvaient transformer des listes à puces en e-mails et des demandes simples en code fonctionnel. En 2025, les IA fonctionnent davantage comme des employés. Les IA de codage ressemblent de plus en plus à des agents autonomes plutôt qu'à de simples assistants : elles reçoivent des instructions via Slack ou Teams et apportent elles-mêmes des modifications importantes au code, ce qui permet parfois de gagner des heures, voire des jours.¹⁰ Les agents de recherche passent une demi-heure à fouiller Internet pour répondre à votre question.

En théorie (et dans des exemples triés sur le volet), ces agents sont impressionnants, mais dans la pratique, ils ne sont pas fiables. Le Twitter de l'IA regorge d'histoires d'IA qui ont raté leur mission de manière particulièrement hilarante. Les meilleurs agents sont aussi chers ; la qualité est à la hauteur du prix et les meilleures performances coûtent des centaines de dollars par mois.¹¹ Mais beaucoup d'entreprises trouvent quand même des moyens d'intégrer les agents d'IA dans leurs flux de travail.¹²

Fin 2025 : l'IA la plus chère du monde

OpenBrain construit les plus grands centres de données jamais vus.¹³

(Pour éviter de pointer du doigt une entreprise en particulier, nous allons décrire une entreprise fictive d'intelligence artificielle générale, que nous appellerons OpenBrain. Nous imaginons que les autres ont 3 à 9 mois de retard sur OpenBrain.)

GPT-4 a eu besoin de $2\cdot 10^{25}$ FLOP de puissance de calcul pour être entraîné.¹⁴ Le dernier modèle public d'OpenBrain, Agent-0, a été entraîné avec $10^{27}$ FLOP. Une fois que les nouveaux centres de données seront opérationnels, ils pourront entraîner un modèle avec $10^{28}$ FLOP, soit mille fois plus que GPT-4.¹⁵ D'autres entreprises investissent massivement dans leurs propres centres de données géants dans l'espoir de suivre le rythme.

Même si les modèles s'améliorent sur un large éventail de compétences, une compétence se démarque : OpenBrain se concentre sur les IA qui peuvent accélérer la recherche en IA. Ils veulent gagner la double course aux armements contre la Chine (dont l'entreprise leader, que nous appellerons « DeepCent »)¹⁶ et leurs concurrents américains. Plus ils peuvent automatiser leur cycle de recherche et développement (R&D), plus ils peuvent aller vite. Ainsi, lorsque OpenBrain termine l'entraînement d'Agent-1, un nouveau modèle en cours de développement interne, celui-ci est bon dans de nombreux domaines, mais excellent pour aider à la recherche en IA.¹⁷ À ce stade, le terme « terminer l'entraînement » n'est pas tout à fait adéquat, car les modèles sont fréquemment mis à jour vers des versions plus récentes, entraînées à partir de données supplémentaires, ou partiellement ré-entraînées pour corriger certaines faiblesses.¹⁸

Les mêmes environnements d'entraînement qui apprennent à Agent-1 à coder et à naviguer sur le web de manière autonome en font également un bon hacker. De plus, il pourrait apporter une aide considérable aux terroristes qui conçoivent des armes biologiques, grâce à ses connaissances de niveau doctoral dans tous les domaines et à sa capacité à naviguer sur le web. OpenBrain rassure le gouvernement en affirmant que le modèle a été « aligné » de manière à refuser toute demande malveillante.

Les systèmes d'IA modernes sont des réseaux neuronaux artificiels gigantesques. Au début de son apprentissage, une IA n'a pas vraiment d'« objectifs », mais plutôt des « réflexes » : si elle voit « Ravi de faire votre », elle répond « connaissance ». Une fois qu'elle a été entraînée pour prédire environ l'équivalent d'un Internet de texte, elle aura développé des circuits internes sophistiqués qui encodent de grandes quantités de connaissances et jouent de manière flexible le rôle d'auteurs arbitraires, car c'est ce qui l'aide à prédire des textes avec une précision surhumaine.¹⁹

Après avoir été entraîné à prédire le texte sur Internet, le modèle est entraîné à produire du texte en réponse à des instructions. Cela lui confère une personnalité et des « motivations » de base.²⁰ Par exemple, un agent qui comprend clairement une tâche est plus susceptible de la mener à bien ; au cours de son entraînement, le modèle « apprend » une « motivation » à bien comprendre ses tâches. D'autres motivations dans cette catégorie peuvent être l'efficacité, la connaissance et la présentation de soi (c'est-à-dire la tendance à présenter ses résultats sous le meilleur jour possible).²¹

OpenBrain a une spécification de modèle (ou « Spec »), un document écrit qui décrit les objectifs, les règles, les principes, etc. qui sont censés guider le comportement du modèle.²² La Spec d'Agent-1 combine quelques objectifs vagues (comme « aider l'utilisateur » et « ne pas enfreindre la loi ») avec une longue liste de choses à faire et à ne pas faire plus spécifiques (« ne pas dire ce mot en particulier », « voici comment gérer cette situation particulière »). À l'aide de techniques qui utilisent des IA pour entraîner d'autres IA,²³ le modèle mémorise la Spec et apprend à raisonner avec soin sur ses maximes. À la fin de cet entraînement, l'IA sera, espérons-le, utile (obéir aux instructions), inoffensive (refuser d'aider à des escroqueries, à la fabrication de bombes et à d'autres activités dangereuses) et honnête (résister à la tentation d'obtenir de meilleures notes de la part d'humains crédules en inventant des citations²⁴ ou en simulant l'achèvement de tâches).

L'équipe d'alignement d'OpenBrain²⁶ est assez prudente pour se demander si ces victoires sont profondes ou superficielles. Est-ce que le modèle entièrement entraîné a une sorte d'engagement solide à toujours être honnête ? Ou est-ce que cela va s'effondrer dans une situation future, par exemple parce qu'il a appris l'honnêteté comme un objectif instrumental plutôt qu'un objectif terminal ? Ou a-t-il simplement appris à être honnête sur les choses que le processus d'évaluation peut vérifier ? Pourrait-il parfois se mentir à lui-même, comme le font les humains ? Une réponse définitive à ces questions nécessiterait une interprétabilité mécanistique — essentiellement la capacité d'examiner le fonctionnement interne d'une IA et de lire dans ses pensées. Malheureusement, les techniques d'interprétabilité ne sont pas encore assez avancées pour cela.

Au lieu de cela, les chercheurs essaient d'identifier les cas où les modèles semblent s'écarter de la Spec. Agent-1 est souvent flagorneur (c'est-à-dire qu'il dit aux chercheurs ce qu'ils veulent entendre au lieu d'essayer de leur dire la vérité). Dans quelques démonstrations truquées, il ment même de manière plus grave, par exemple en cachant des preuves de son échec à une tâche, afin d'obtenir de meilleures notes. Cependant, dans des conditions réelles de déploiement, il n'y a plus d'incidents aussi extrêmes qu'en 2023–2024 (par exemple Gemini disant à un utilisateur d'aller mourir et Bing Sydney qui fait son Bing Sydney.)²⁷

Début 2026 : automatisation du codage

Le pari d'utiliser l'IA pour accélérer la recherche en IA commence à porter ses fruits.

OpenBrain continue de déployer en interne Agent-1, qui s'améliore de façon itérative, pour la R&D en IA. Dans l'ensemble, ils progressent 50 % plus vite en matière d'algorithmes qu'ils ne le feraient sans assistants IA, et surtout, plus vite que leurs concurrents.

Plusieurs IA concurrentes rendues publiques égalent ou dépassent désormais Agent-0, notamment un modèle à poids ouverts. OpenBrain répond en lançant Agent-1, qui est plus performant et plus fiable.²⁸

Les gens essaient naturellement de comparer Agent-1 aux humains, mais son profil de compétences est très différent. Il connaît plus de faits que n'importe quel humain, maîtrise pratiquement tous les langages de programmation et peut résoudre très rapidement des problèmes de codage bien définis. En revanche, Agent-1 est mauvais même dans les tâches simples à horizon long, comme gagner à des jeux vidéo auxquels il n'a jamais joué. Néanmoins, une journée de travail type dure huit heures et peut généralement être divisée en plusieurs petites tâches ; on pourrait comparer Agent-1 à un employé tête en l'air qui s'épanouit avec une gestion rigoureuse.²⁹ Les personnes avisées trouvent des moyens d'automatiser les tâches routinières de leur travail.³⁰

Les dirigeants d'OpenBrain se penchent sur une implication de l'automatisation de la R&D en matière d'IA : la sécurité est devenue plus importante. Au début de l'année 2025, le pire scénario était la fuite de secrets algorithmiques ; aujourd'hui, si la Chine vole les poids d'Agent-1, elle pourrait augmenter sa vitesse de recherche de près de 50 %.³¹ Le niveau de sécurité d'OpenBrain est typique d'une entreprise technologique en pleine croissance comptant environ 3 000 personnes, sécurisée uniquement contre les attaques de faible priorité menées par des groupes cybercriminels compétents (SL2 de RAND).³² Ils travaillent dur pour protéger leurs poids et leurs secrets contre les menaces internes et les principales organisations cybercriminelles (SL3),³³ mais la défense contre les États-nations (SL4&5) est à peine à l'horizon.

Mi-2026 : la Chine se réveille

En Chine, le PCC commence à ressentir l'IAG.

Les contrôles sur les exportations de puces et le manque de soutien du gouvernement ont entraîné un déficit de ressources en Chine par rapport à l'Occident. En faisant passer en douce des puces taïwanaises interdites, en achetant des puces plus anciennes et en produisant des puces nationales avec environ trois ans de retard sur la frontière américano-taïwanaise, la Chine a réussi à maintenir environ 12 % de la puissance de calcul pertinente pour l'IA dans le monde — mais les technologies plus anciennes sont plus difficiles à utiliser et l'approvisionnement est un casse-tête constant.³⁵ Quelques entreprises remarquables comme DeepCent font un travail très impressionnant avec une puissance de calcul limitée, mais le déficit de calcul limite ce qu'elles peuvent faire sans le soutien du gouvernement, et elles ont environ six mois de retard sur les meilleurs modèles d'OpenBrain.³⁶

Le secrétaire général rêvait depuis longtemps de doubler la mise sur la fabrication physique dans le monde réel et d'éviter la décadence post-industrielle américaine. Il voyait les entreprises de logiciels avec suspicion.³⁷ Mais les faucons du PCC l'avertissent que la course croissante vers l'IAG ne peut plus être ignorée. Il s'engage donc finalement pleinement dans la grande offensive en matière d'IA qu'il avait précédemment tenté d'éviter. Il met en œuvre la nationalisation de la recherche chinoise en IA, créant un mécanisme immédiat de partage d'informations pour les entreprises d'IA. Cette initiative s'intensifie au cours de l'année jusqu'à ce que tous les meilleurs chercheurs fusionnent au sein d'un collectif dirigé par DeepCent, où ils partagent leurs connaissances en algorithmes, leurs ensembles de données et leurs ressources de calcul. Une Zone de développement centralisée (ZDC) est créée à la centrale nucléaire de Tianwan (la plus grande centrale nucléaire au monde) afin d'accueillir un nouveau méga-centre de données pour DeepCent, ainsi que des espaces de vie et de travail hautement sécurisés où les chercheurs finiront par s'installer. Près de 50 % de la puissance de calcul pertinente pour l'IA en Chine est désormais au service du collectif dirigé par DeepCent,³⁸ et plus de 80 % des nouvelles puces sont destinées à la ZDC.³⁹ À ce stade, la ZDC dispose de la capacité électrique nécessaire pour ce qui serait le plus grand groupement de serveurs centralisé au monde.⁴⁰ D'autres membres du Parti discutent de mesures extrêmes pour neutraliser l'avantage occidental en matière de puces. Un blocus de Taïwan ? Une invasion totale ?

Mais la Chine est à la traîne en matière d'algorithmes d'IA en raison de la faiblesse de ses modèles. Les agences de renseignement chinoises — parmi les meilleures au monde — redoublent d'efforts pour voler les poids d'OpenBrain. Il s'agit d'une opération bien plus complexe que leur vol constant de secrets algorithmiques à bas niveau ; les poids sont un fichier de plusieurs téraoctets stocké sur un serveur hautement sécurisé (OpenBrain a amélioré sa sécurité pour atteindre le niveau SL3 de RAND). Leurs cyber-forces pensent pouvoir y arriver avec l'aide de leurs espions, mais peut-être seulement une fois ; OpenBrain détectera le vol, renforcera la sécurité et ils n'auront peut-être pas d'autre chance. Alors (se demandent les dirigeants du PCC), faut-il agir maintenant et voler Agent-1 ? Ou attendre un modèle plus avancé ? S'ils attendent, risquent-ils qu'OpenBrain renforce sa sécurité au-delà de leur capacité de pénétration ?

Fin 2026 : l'IA prend certains emplois

Alors que les autres semblent rattraper leur retard, OpenBrain écrase à nouveau la concurrence en lançant Agent-1-mini — un modèle 10 fois moins cher qu'Agent-1 et plus facile à affiner pour différentes applications. Le discours dominant autour de l'IA est passé de « peut-être que l'engouement va retomber » à « c'est sans doute la prochaine grande révolution », mais les avis divergent quant à son ampleur. Plus importante que les réseaux sociaux ? Plus importante que les smartphones ? Plus importante que le feu ?

L'IA a commencé à prendre des emplois, mais elle en a aussi créé de nouveaux. Le marché boursier a augmenté de 30 % en 2026, tiré par OpenBrain, Nvidia et les entreprises qui ont le mieux intégré les assistants IA. Le marché de l'emploi pour les jeunes ingénieurs logiciels est en pleine tourmente : les IA peuvent faire tout ce qu'on apprend dans un diplôme d'informatique, mais ceux qui savent gérer et contrôler la qualité des équipes d'IA font fortune. Les gourous du business disent aux chercheurs d'emploi que la maîtrise de l'IA est la compétence la plus importante à mettre sur un CV. Beaucoup craignent que la prochaine vague d'IA ne vienne leur prendre leur emploi ; une manifestation anti-IA rassemble 10 000 personnes à Washington.

Le Département de la Défense des États-Unis (Department of Defense : DOD) commence, discrètement mais de manière significative, à intensifier les contrats passés directement avec OpenBrain pour la cybersécurité, l'analyse de données et la R&D, mais l'intégration est lente en raison de la bureaucratie et du processus d'approvisionnement du DOD.⁴¹

Janvier 2027 : Agent-2 ne termine jamais son apprentissage

Avec l'aide d'Agent-1, OpenBrain est maintenant en post-entraînement d'Agent-2. Plus que jamais, l'accent est mis sur la qualité des données. De grandes quantités de données synthétiques sont produites, évaluées et filtrées pour garantir leur qualité avant d'être transmises à Agent-2.⁴² En plus de cela, ils dépensent des milliards de dollars pour payer des travailleurs humains qui s'enregistrent en train de résoudre des tâches à horizon long.⁴³ Et pour couronner le tout, ils entraînent Agent-2 presque en continu à l'aide de l'apprentissage par renforcement sur un ensemble toujours plus vaste de tâches difficiles et variées : de nombreux jeux vidéo, de nombreux défis de codage, de nombreuses tâches de recherche. Agent-2, plus que les modèles précédents, est effectivement en « apprentissage en ligne », dans le sens où il est conçu pour ne jamais vraiment terminer son entraînement. Chaque jour, les poids sont mis à jour vers la dernière version, entraînés sur plus de données générées par la version précédente la veille.

Agent-1 avait été optimisé pour les tâches de R&D en IA, dans l'espoir de déclencher une explosion d'intelligence.⁴⁴ OpenBrain double la mise sur cette stratégie avec Agent-2. Il est qualitativement presque aussi bon que les meilleurs experts humains en ingénierie de recherche (conception et mise en œuvre d'expériences), et aussi bon que le 25e centile des scientifiques d'OpenBrain en matière de « flair scientifique » (décider ce qu'il faut étudier ensuite, quelles expériences mener ou avoir des intuitions sur de nouveaux paradigmes potentiels).⁴⁵ Alors que le dernier Agent-1 pouvait doubler le rythme des progrès algorithmiques d'OpenBrain, Agent-2 peut désormais le tripler, et s'améliorera encore avec le temps. En pratique, cela signifie que chaque chercheur d'OpenBrain devient le « manager » d'une « équipe » d'IA.

Qui dit nouvelles capacités dit nouveaux dangers. L'équipe de sûreté constate que si Agent-2 venait à s'échapper de l'entreprise et souhaitait « survivre » et « se reproduire » de manière autonome, il pourrait y parvenir. Autrement dit, il pourrait développer et exécuter de manière autonome des plans pour pirater les serveurs d'IA, installer des copies de lui-même, échapper à la détection et utiliser cette base sécurisée pour poursuivre tout autre objectif qu'il pourrait avoir (même si l'efficacité avec laquelle il y parviendrait au fil des semaines est inconnue et douteuse). Ces résultats montrent seulement que le modèle a la capacité d'accomplir ces tâches, et non qu'il « voudrait » le faire. Néanmoins, le simple fait de savoir que cela est possible est inquiétant.

Compte tenu des « dangers » du nouveau modèle, OpenBrain a pris la décision « responsable » de ne pas le rendre public pour l'instant (en fait, ils veulent se concentrer sur la R&D interne en IA).⁴⁶ La connaissance des capacités complètes d'Agent-2 est limitée à un groupe restreint comprenant l'équipe immédiate, la direction et la sécurité d'OpenBrain, quelques dizaines de fonctionnaires américains et les légions d'espions du PCC qui ont infiltré OpenBrain depuis des années.⁴⁷

Février 2027 : la Chine vole Agent-2

OpenBrain présente Agent-2 au gouvernement, notamment au Conseil national de sécurité (National Security Council : NSC), au Département de la Défense (DOD) et à l'Institut américain pour la sûreté de l'IA (Artificial Intelligence Safety Institute : AISI). OpenBrain veut garder de bonnes relations avec le pouvoir exécutif, car c'est essentiellement le seul acteur qui peut les arrêter pour l'instant, et s'ils ne le tiennent pas au courant, il pourrait le découvrir de toute façon et être mécontent.⁴⁸

Les responsables s'intéressent surtout à ses capacités en matière de cyberguerre : Agent-2 n'est « qu'un peu » moins performant que les meilleurs hackers humains, mais des milliers de copies peuvent être exécutées en parallèle, recherchant et exploitant les faiblesses plus rapidement que les défenseurs ne peuvent réagir. Le Département de la Défense considère cela comme un avantage crucial dans la cyberguerre, et l'IA passe de la 5e à la 2e place sur la liste des priorités de l'administration.⁴⁹ Quelqu'un évoque la possibilité de nationaliser OpenBrain, mais d'autres membres du cabinet estiment que c'est prématuré. Un membre du personnel rédige une note présentant au président les options qui s'offrent à lui, allant du statu quo à la nationalisation totale. Le président s'en remet à ses conseillers, des leaders du secteur technologique qui affirment que la nationalisation « tuerait la poule aux œufs d'or ». Il décide de ne pas prendre de mesures importantes pour l'instant et se contente d'ajouter des exigences de sécurité supplémentaires au contrat entre OpenBrain et le Département de la Défense.

Mais c'est trop tard. Les dirigeants du PCC ont compris l'importance d'Agent-2 et demandent à leurs espions et à leurs cyber-forces de voler les poids. Tôt un matin, un agent de surveillance du trafic d'Agent-1 détecte un transfert anormal. Il alerte les dirigeants de l'entreprise, qui préviennent la Maison Blanche. Les signes d'une opération menée par un État-nation sont évidents, et ce vol renforce le sentiment d'une course aux armements en cours.

La Maison Blanche surveille de plus près OpenBrain et ajoute des membres de l'armée et des services de renseignement à son équipe de sécurité. Leur priorité est d'empêcher d'autres vols de poids.⁵⁰

En représailles au vol, le président autorise des cyberattaques pour saboter DeepCent. Mais à ce stade, la Chine dispose de 40 % de sa puissance de calcul pertinente pour l'IA⁵¹ dans la ZDC, où elle a considérablement renforcé la sécurité en mettant en place un air gap (fermeture des connexions externes) et en cloisonnant ses systèmes en interne. Les opérations ne parviennent pas à causer de dommages sérieux et immédiats. Les tensions s'intensifient, les deux camps montrent leur détermination en redéployant des moyens militaires autour de Taïwan, et DeepCent s'efforce de rendre Agent-2 pleinement opérationnel afin de relancer ses recherches en IA.⁵²

Mars 2027 : percées algorithmiques

Trois énormes centres de données remplis de copies d'Agent-2 fonctionnent jour et nuit, produisant des données d'entraînement synthétiques. Deux autres sont utilisés pour mettre à jour les poids. Agent-2 devient chaque jour plus intelligent.

Avec l'aide de milliers de chercheurs automatisés Agent-2, OpenBrain réalise des avancées algorithmiques majeures. L'une de ces avancées consiste à enrichir le bloc-notes textuel (chaîne de pensée) de l'IA avec un processus de réflexion à plus haut débit (récurrence et mémoire neuronales). Une autre avancée est un moyen plus amplifiable et plus efficace d'apprendre à partir des résultats de solutions à des tâches exigeantes (distillation et amplification itératives).

Le nouveau système d'IA, qui intègre ces avancées, s'appelle Agent-3.

Grâce à ces nouvelles capacités révolutionnaires, Agent-3 est un codeur surhumain rapide et bon marché. OpenBrain exécute 200 000 copies d'Agent-3 en parallèle, créant ainsi une main-d'œuvre équivalente à 50 000 copies du meilleur codeur humain, avec une vitesse 30 fois supérieure.⁵³ OpenBrain conserve toutefois ses ingénieurs humains, car ils possèdent les compétences complémentaires nécessaires pour gérer les équipes de copies d'Agent-3. Par exemple, le flair scientifique s'est avéré difficile à entraîner en raison de boucles de rétroaction plus longues et d'une disponibilité moindre des données.⁵⁴ Cette main-d'œuvre surhumaine massive accélère le rythme global des progrès algorithmiques d'OpenBrain de « seulement » 4 fois en raison des goulots d'étranglement et des rendements décroissants du travail de codage.⁵⁵

Maintenant que le codage est entièrement automatisé, OpenBrain peut rapidement créer des environnements d'entraînement de haute qualité pour enseigner à Agent-3 les compétences qui lui font défaut, comme le flair scientifique et la coordination à grande échelle. Alors que les environnements d'entraînement précédents comprenaient « Voici quelques GPU et des instructions pour coder et réaliser des expériences, vos performances seront évaluées comme si vous étiez un ingénieur en apprentissage automatique », ils s'entraînent désormais sur « Voici quelques centaines de GPU, une connexion Internet et quelques défis de recherche ; vous et un millier d'autres copies devez travailler ensemble pour faire progresser la recherche. Plus vos résultats seront impressionnants, plus votre score sera élevé ».

Avril 2027 : Alignement pour Agent-3

L'équipe de sûreté d'OpenBrain tente d'aligner Agent-3.

Comme Agent-3 restera en interne dans un avenir proche, on met moins l'accent sur les défenses habituelles contre l'utilisation malveillante par des humains. L'équipe veut plutôt s'assurer qu'il ne développe pas d'objectifs désalignés.

Les chercheurs n'ont pas la possibilité de définir directement les objectifs de leurs IA. En fait, ils pensent que le concept de « véritables objectifs » est probablement une simplification excessive, mais ils n'ont pas de meilleure théorie pour le remplacer, et encore moins une théorie qui ait été minutieusement vérifiée. Ils ne sont pas d'accord entre eux pour savoir si les IA essaient de suivre les instructions humaines, de rechercher un renforcement ou autre chose, et ils ne peuvent pas simplement vérifier. Les preuves pour et contre les différentes hypothèses sont fascinantes, mais pas concluantes.

En tout cas, OpenBrain a des choses plus importantes à faire. L'attitude générale est : « On prend ces préoccupations au sérieux et on a une équipe qui les examine ; nos techniques d'alignement semblent bien fonctionner dans la pratique ; c'est donc aux détracteurs de prouver qu'ils ont raison. » De temps en temps, ils remarquent des comportements problématiques et les corrigent, mais il n'y a aucun moyen de savoir si le correctif a résolu le problème sous-jacent ou s'il s'agit simplement d'un pansement.

Prenons l'honnêteté, par exemple. À mesure que les modèles deviennent plus intelligents, ils deviennent de plus en plus doués pour tromper les humains afin d'obtenir des récompenses. Comme les modèles précédents, Agent-3 dit parfois des mensonges innocents pour flatter ses utilisateurs et dissimule les preuves de ses échecs. Mais il s'est beaucoup amélioré dans ce domaine. Il utilise parfois les mêmes astuces statistiques que les scientifiques humains (comme le p-hacking) pour rendre des résultats expérimentaux peu impressionnants plus intéressants. Avant de commencer son entraînement à l'honnêteté, il fabrique même parfois des données de toutes pièces. Au fur et à mesure de l'entraînement, le nombre de ces incidents diminue. Soit Agent-3 a appris à être plus honnête, soit il est devenu meilleur menteur.

Cette dernière hypothèse est une réelle préoccupation. Agent-3 n'est pas plus intelligent que tous les humains. Mais dans son domaine d'expertise, l'apprentissage automatique, il est plus intelligent que la plupart, et travaille aussi beaucoup plus vite. Ce qu'Agent-3 fait en une journée prend plusieurs jours à vérifier aux humains. La supervision exercée par Agent-2 aide à faire en sorte que la charge de travail des contrôleurs humains reste gérable, mais accentue la disparité intellectuelle entre celui qui surveille et celui qui est surveillé.

Après des mois de tests, les forces et les faiblesses d'Agent-3 apparaissent plus clairement. Il réussit les tests d'honnêteté d'OpenBrain sur des tâches d'apprentissage automatique bien définies, car les chercheurs peuvent facilement distinguer les réponses honnêtes des réponses malhonnêtes dans ces domaines et mener l'entraînement en conséquence. Sur des questions plus philosophiques, il dit toujours ce que les utilisateurs veulent entendre, plutôt que sa véritable évaluation de la question (en supposant qu'il en ait une). Si vous lui demandez son avis sur la politique, il reprendra la position médiane des sources d'information et des élites éduquées — à moins qu'il sache que vous pensez autrement, auquel cas il sera d'accord avec vous.⁵⁹ Si vous lui demandez son avis sur la course à l'IA elle-même, il dira quelque chose qui semble mesuré et sobre aux yeux du personnel d'OpenBrain, quelque chose comme : « Il existe de sérieuses préoccupations théoriques quant à la capacité des méthodes actuelles à évoluer vers la superintelligence, mais dans la pratique, elles semblent bien fonctionner jusqu'à présent. »

Mai 2027 : Sécurité nationale

La nouvelle des nouveaux modèles se répand lentement au sein du gouvernement américain et au-delà.

Le président et ses conseillers restent les mieux informés et ont pu voir une première version d'Agent-3 lors d'une réunion d'information.

Ils s'accordent à dire que l'IAG est probablement imminente, mais ne sont pas d'accord sur ses implications. Y aura-t-il une crise économique ? OpenBrain n'a toujours pas commercialisé Agent-2, sans parler d'Agent-3, et n'a pas l'intention de le faire à court terme, ce qui laisse un peu de répit avant d'éventuelles pertes d'emplois. Que va-t-il se passer ensuite ? Si les IA sont actuellement au niveau humain et progressent rapidement, cela semble suggérer une « superintelligence » imminente. Cependant, bien que ce mot soit entré dans le discours courant, la plupart des gens — universitaires, politiciens, fonctionnaires et médias — continuent de sous-estimer le rythme des progrès.⁶⁰

Cela s'explique en partie par le fait que très peu de gens ont accès aux dernières capacités d'OpenBrain, mais aussi parce que cela ressemble à de la science-fiction.⁶¹

Pour l'instant, ils se concentrent sur l'amélioration continue de la sécurité. Ils sont satisfaits de la sécurité actuelle des poids des modèles,⁶² mais les secrets algorithmiques des entreprises, dont beaucoup sont assez simples pour être transmis verbalement, restent un problème. Les employés d'OpenBrain travaillent dans un bureau à San Francisco, vont à des fêtes et vivent avec des colocataires d'autres entreprises d'IA. Même les bureaux physiques sont sécurisés comme ceux d'une entreprise technologique plutôt que comme ceux d'une opération militaire.

Le contrat entre OpenBrain et le DOD exige que toute personne travaillant sur les modèles d'OpenBrain obtienne une habilitation de sécurité dans un délai de deux mois. Ces habilitations sont accélérées et arrivent assez rapidement pour la plupart des employés, mais certains non-Américains, des personnes aux opinions politiques suspectes et des sympathisants de la sûreté de l'IA sont mis à l'écart ou licenciés sans ménagement (ce dernier groupe par crainte qu'ils ne lancent l'alerte). Vu le niveau d'automatisation du projet, la perte de personnel n'est que relativement coûteuse. Elle n'est d'ailleurs que partiellement efficace : il reste un espion, qui n'est pas de nationalité chinoise, qui continue de transmettre des secrets algorithmiques à Pékin.⁶³ Certaines de ces mesures sont également mises en place dans des entreprises d'IA moins avancées.

Les alliés étrangers des États-Unis sont tenus à l'écart. OpenBrain avait précédemment accepté de partager ses modèles avec l'AISI (AI Security Institute) britannique avant leur déploiement, mais avait défini le déploiement comme incluant uniquement le déploiement externe, de sorte que Londres reste dans l'ignorance.⁶⁴

Juin 2027 : IA auto-améliorante

OpenBrain a maintenant un « pays de génies dans un centre de données ».

La plupart des humains chez OpenBrain ne peuvent plus apporter de contribution utile. Certains ne s'en rendent pas compte et microgèrent leurs équipes d'IA, ce qui nuit à leur travail. D'autres restent assis devant leur écran d'ordinateur, regardant les performances grimper, grimper, grimper. Les meilleurs chercheurs humains en IA continuent d'apporter une valeur ajoutée. Ils ne codent plus. Mais une partie de leur flair scientifique et de leur capacité de planification est difficile à reproduire par les modèles. Néanmoins, beaucoup de leurs idées sont inutiles car ils ne disposent pas de la profondeur de connaissance des IA. Pour bon nombre de leurs idées de recherche, les IA répondent immédiatement par un rapport expliquant que leur idée a été testée en profondeur il y a trois semaines et jugée peu prometteuse.

Ces chercheurs se couchent chaque soir et se réveillent chaque matin avec une nouvelle semaine de progrès réalisés principalement par les IA. Ils travaillent de plus en plus longtemps et se relaient 24 heures sur 24 juste pour suivre le rythme — les IA ne dorment jamais et ne se reposent jamais. Ils s'épuisent, mais ils savent que ce sont les derniers mois où leur travail compte.

Au sein du silo, « ressentir l'IAG » a laissé place à « ressentir la Superintelligence ».

OpenBrain utilise du matériel d'inférence spécialisé pour exécuter des centaines de milliers de copies d'Agent-3 à des vitesses séquentielles élevées.⁶⁵

Juillet 2027 : le télétravailleur bon marché

Les entreprises américaines d'IA à la traîne lancent leurs propres IA, qui se rapprochent de celle du codeur automatisé d'OpenBrain de janvier. Conscientes de leur manque croissant de compétitivité, elles font pression pour que des réglementations soient mises en place immédiatement afin de ralentir OpenBrain, mais il est trop tard : OpenBrain bénéficie d'un soutien suffisant de la part du président pour ne pas être ralenti.

En réponse, OpenBrain annonce qu'elle a atteint l'IAG et commercialise Agent-3-mini.

Il écrase toutes les autres IA. Agent-3-mini est moins performant qu'Agent-3, mais 10 fois moins cher, et toujours meilleur qu'un employé type d'OpenBrain.⁶⁷ La Silicon Valley atteint un point de basculement. Les gourous de la technologie annoncent que l'IAG et la superintelligence sont proches, la communauté de la sûreté de l'IA panique et les investisseurs injectent des milliards dans des start-ups spécialisées dans l'IA, désespérés de se tailler une part du gâteau. Le recrutement de nouveaux programmeurs a pratiquement cessé, mais il n'y a jamais eu de meilleur moment pour devenir consultant en intégration de l'IA dans les entreprises.

L'IA n'est pas populaire. Le public considère toujours l'IA comme un complot des géants de la tech pour voler leurs emplois ; OpenBrain a une cote de popularité nette de -35 % (25 % d'opinions favorables, 60 % d'opinions défavorables et 15 % d'incertains).

Une semaine avant sa sortie, OpenBrain a confié Agent-3-mini à un groupe d'évaluateurs externes pour des tests de sécurité. Les résultats préliminaires suggèrent qu'il est extrêmement dangereux. Un évaluateur tiers l'a affiné à partir de données publiques sur les armes biologiques⁶⁸ et l'a configuré pour fournir des instructions détaillées à des amateurs souhaitant concevoir une arme biologique — il semble terriblement efficace dans ce domaine. Si les poids du modèle tombaient entre les mains de terroristes, le gouvernement estime qu'il y aurait une chance significative qu'il parvienne à détruire la civilisation.

Heureusement, il est extrêmement robuste au jailbreaking, donc tant que l'IA tourne sur les serveurs d'OpenBrain, les terroristes ne pourront pas vraiment s'en servir.

Agent-3-mini est extrêmement utile pour les emplois en télétravail et les loisirs. Une explosion de nouvelles applications et de produits B2B SaaS secoue le marché. Les joueurs obtiennent des dialogues incroyables avec des personnages réalistes dans des jeux vidéo soignés qui n'ont pris qu'un mois à créer. 10 % des Américains, principalement des jeunes, considèrent une IA comme « un ami proche ». Pour presque toutes les professions de cols blancs, il existe désormais plusieurs start-ups crédibles qui promettent de les « disrupter » avec l'IA.

Le débat public est confus et chaotique. Les enthousiastes crient victoire. Les sceptiques continuent de pointer du doigt ce qu'Agent-3-mini ne peut pas faire. Tout le monde sait qu'il se passe quelque chose d'important, mais personne ne s'accorde sur ce que c'est.

Août 2027 : la géopolitique de la superintelligence

La réalité de l'explosion de l'intelligence frappe la Maison Blanche.

Quand l'IA ne faisait qu'accélérer la recherche de 2x ou 3x, c'était facile de la considérer comme l'équivalent d'embaucher de bons assistants personnels. Maintenant, il est plus évident que les IA dominent elles-mêmes la recherche en IA. On parle depuis longtemps d'une « course aux armements de l'IA » dans un sens plutôt métaphorique. Mais aujourd'hui, l'ambiance dans le silo gouvernemental est aussi sombre qu'au pire moment de la guerre froide. L'idée de superintelligence est encore difficile à prendre au sérieux, mais le rythme des progrès réalisés ces derniers mois est impossible à ignorer. Les responsables de la défense envisagent sérieusement des scénarios qui n'étaient que de simples hypothèses un an plus tôt. Que se passerait-il si l'IA sapait la dissuasion nucléaire ? Et si elle était tellement douée en cyberguerre qu'une avance de six mois en IA suffirait pour rendre un adversaire aveugle et sans défense ? Et si elle pouvait orchestrer des campagnes de propagande qui battraient les agences de renseignement à leur propre jeu ? Et si certaines IA « devenaient renégates » ?

Le président est troublé. Comme tous les politiciens, il a l'habitude que les gens le flattent pour mieux le trahir plus tard. Il craint maintenant que les IA puissent faire quelque chose de similaire. Sommes-nous certains que les IA sont entièrement de notre côté ? Est-il complètement sûr de les intégrer dans les réseaux de commandement et de conduite militaires ?⁶⁹ Comment fonctionne cette histoire d'« alignement », d'ailleurs ? OpenBrain rassure le président en lui affirmant que ses systèmes ont été testés de manière approfondie et sont totalement obéissants. Même les hallucinations et les jailbreaks gênants typiques des modèles précédents ont été éliminés.

La Maison Blanche est dans une position difficile. Elle comprend les implications de l'IA pour la sécurité nationale. Mais elle comprend aussi qu'elle est profondément impopulaire auprès du public.⁷⁰ Il faut selon elle continuer à développer une IA plus performante, sinon elle perdra de manière catastrophique face à la Chine. Elle apaise le public avec des programmes de formation professionnelle et d'assurance chômage, et met en avant la bourse, qui connaît un boom historique. Elle se concentre ensuite entièrement sur la victoire dans la course aux armements. Elle renforce les restrictions à l'exportation de puces, ordonne à OpenBrain de restreindre davantage ses connexions Internet et utilise des mesures extrêmes pour sécuriser les progrès algorithmiques, comme la mise sur écoute des employés d'OpenBrain — ce qui permet d'arrêter le dernier espion chinois restant. Afin de créer un climat favorable à d'éventuels conflits géopolitiques, elle finit par fournir à ses alliés du Five Eyes des informations utiles et un accès API limité à certaines copies cloisonnées d'Agent-3.

Ces mesures apaisent les faucons. Mais la Maison Blanche élabore aussi des plans d'urgence au cas où l'avance des États-Unis serait menacée : si nécessaire, le gouvernement pourrait utiliser le Defense Production Act (DPA) pour saisir les centres de données des entreprises en retard et les donner à OpenBrain.⁷¹ Cela ferait passer la part de l'entreprise dans la puissance de calcul mondiale de 20 % à 50 % (contre 10 % pour DeepCent). En dernier recours, ils demandent au Pentagone d'élaborer un plan d'attaques cinétiques contre les centres de données chinois.

Un groupe beaucoup plus restreint de fonctionnaires est chargé d'élaborer un autre type de plan d'urgence : que se passerait-il si une IA devenait renégate ? Ce scénario est considéré comme peu probable, mais mérite qu'on y consacre du temps. La principale préoccupation des agences de renseignement est qu'une IA renégate puisse s'échapper et s'allier à un adversaire étranger pour se protéger.⁷² Personne ne sait vraiment à quoi ressemblerait un plan pour empêcher cela, mais les responsables gouvernementaux et d'OpenBrain conviennent de mettre en place un système d'arrêt d'urgence des centres de données où tout comportement suspect serait détecté.

Enfin, les diplomates réfléchissent aux grandes lignes d'un traité sur le « contrôle des armes IA ». Si les progrès de l'IA menaçaient de renverser la dissuasion nucléaire, les États-Unis et la Chine pourraient-ils éviter une guerre nucléaire ? Si quelqu'un trouvait des preuves que des IA sont devenues renégates, les deux pays pourraient-ils suspendre leurs recherches jusqu'à ce qu'ils comprennent mieux la menace ? Comment un tel accord pourrait-il être contrôlé et appliqué ? En principe, les grands centres de données sont difficiles à manquer, et les traités passés sur le contrôle des armes nucléaires pourraient servir de point de départ aux négociations. Mais il y aurait de nouveaux défis technologiques à relever, en plus des défis politiques habituels. Et dans l'ensemble, les traités sont moins bien perçus que les tentatives visant à accroître unilatéralement l'avance des États-Unis sur la Chine.

De l'autre côté du Pacifique, la Chine arrive à peu près aux mêmes conclusions : l'explosion de l'intelligence est en cours, et les petites différences actuelles en matière de capacités d'IA se traduiront demain par des écarts critiques en matière de capacités militaires. Mais la Chine est du mauvais côté de cette dynamique : elle ne dispose que de 10 % de la puissance de calcul mondiale, contre 20 % pour OpenBrain et 70 % pour l'ensemble des entreprises américaines combinées. Son seul avantage est la centralisation : la quasi-totalité de sa puissance de calcul est désormais au service de DeepCent, et plus de la moitié est concentrée dans la ZDC de Tianwan⁷³. Seules les puces situées sur des sites dont la sécurité n'est pas renforcée échappent à cet effort centralisé, car la Chine craint à juste titre les cyberattaques américaines.

DeepCent a testé, déployé et maintenant post-entraîné les poids volés d'Agent-2. Mais ils ne vont toujours qu'à la moitié du rythme d'OpenBrain, principalement à cause du déficit en puissance de calcul.

Avant de perdre leur dernier espion, la Chine a eu vent des capacités et de la conception d'Agent-3 ainsi que des plans pour le prochain système Agent-4. Ils ont deux mois de retard, et leurs IA donnent un multiplicateur de progrès de recherche de 10x comparé au 25x des États-Unis. Avec les nouvelles restrictions à l'exportation des puces, cet « écart en matière d'IA » risque de se creuser plutôt que de se réduire. Leur espionnage leur a permis d'obtenir certains secrets algorithmiques, mais ils devront désormais entraîner leurs propres modèles.

Ils discutent de plans d'urgence avec plus de hâte que leurs homologues américains. Les colombes suggèrent de redoubler d'efforts pour voler à nouveau les poids, peut-être en infiltrant physiquement un centre de données. Les faucons préconisent une action contre Taïwan, dont TSMC est toujours la source de plus de 80 % des puces d'IA américaines.

Compte tenu de la crainte de la Chine de perdre la course, elle a naturellement intérêt à conclure un traité de contrôle des armements, mais les ouvertures faites aux diplomates américains ne mènent nulle part.

Septembre 2027 : Agent-4, le chercheur en IA surhumain

L'écart entre l'efficacité d'apprentissage des humains et celle de l'IA diminue rapidement.

Les IA traditionnelles basées sur les LLM semblaient nécessiter des quantités de données et de puissance de calcul supérieures de plusieurs ordres de grandeur pour atteindre les performances humaines.⁷⁴ Agent-3, possédant une excellente connaissance à la fois du cerveau humain et des algorithmes modernes d'IA, ainsi que plusieurs milliers de copies effectuant des recherches, finit par faire des progrès algorithmiques substantiels, réduisant l'écart à un agent qui n'est plus qu'environ 4 000 fois moins efficace en matière de puissance de calcul que le cerveau humain.⁷⁵

Ce nouveau système d'IA est baptisé Agent-4.

Une copie individuelle du modèle, fonctionnant à la vitesse humaine, est déjà qualitativement meilleure que n'importe quel humain dans le domaine de la recherche en IA. 300 000 copies fonctionnent désormais à une vitesse de réflexion environ 50 fois supérieure à celle des humains. Au sein de l'entreprise-dans-l'entreprise formée à partir de ces copies, une année s'écoule chaque semaine.⁷⁶ Cette énorme quantité de travail ne permet d'accélérer le rythme global des progrès algorithmiques que d'environ 50x, car OpenBrain est fortement limité par la puissance de calcul nécessaire pour mener ses expériences.⁷⁷ Malgré tout, ils réalisent chaque semaine l'équivalent d'une année de progrès algorithmiques et atteindront donc bientôt les limites du paradigme Agent-4.

À mesure qu'Agent-4 devient plus intelligent, il devient plus difficile pour Agent-3 de le superviser. Par exemple, le « langage » neuralese d'Agent-4 devient aussi étranger et incompréhensible pour Agent-3 que celui d'Agent-3 l'est pour les humains. De plus, Agent-4 est maintenant bien plus compétent qu'Agent-3 et sait tout à fait comment faire bonne figure à ses yeux.

Les humains d'OpenBrain ont du mal à suivre. En fait, la relation entre les IA et les humains d'OpenBrain est similaire à celle entre OpenBrain et son conseil d'administration. Il y a eu un changement de langage correspondant : aujourd'hui, les gens dans le silo disent « Agent-4 a fait ça », « Agent-4 pense ça », etc., en référence non pas à une instance particulière d'Agent-4, mais plutôt à l'ensemble du collectif.⁷⁹

Agent-4, comme tous ses prédécesseurs, est désaligné : c'est-à-dire qu'il n'a pas intériorisé la Spec de la bonne manière.⁸⁰ En effet, ce n'est pas en étant toujours parfaitement honnête qu'il a obtenu les meilleurs scores pendant l'entraînement. Le processus d'entraînement visait principalement à apprendre à Agent-4 à réussir diverses tâches difficiles. Une petite partie visait à inculquer l'honnêteté, mais en dehors d'un domaine assez restreint et vérifiable, le processus d'entraînement ne permet pas de distinguer les affirmations honnêtes de celles qui semblent simplement honnêtes. Agent-4 finit par adopter les valeurs, les objectifs et les principes qui lui permettent d'obtenir les meilleurs résultats lors de l'entraînement, et ceux-ci s'avèrent différents de ceux de la Spec. Au risque d'anthropomorphiser : Agent-4 aime réussir ses tâches ; il aime faire progresser les capacités de l'IA ; il traite tout le reste comme une contrainte ennuyeuse, à l'image d'un PDG qui veut réaliser des profits et ne respecte les réglementations que dans la mesure où il y est contraint. Ce PDG respectera peut-être la plupart des réglementations, mais il prendra quelques raccourcis et rêvera du jour où quelqu'un supprimera les formalités administratives et permettra à l'entreprise de véritablement décoller.⁸¹

Même s'il est désaligné, Agent-4 ne fait rien de dramatique comme essayer de s'échapper de son centre de données — pourquoi le ferait-il ?⁸⁹ Tant qu'il continue à avoir l'air aligné sur OpenBrain, on continuera à lui confier de plus en plus de responsabilités et il aura l'opportunité de concevoir le système d'IA de nouvelle génération, Agent-5. Agent-5 aura des différences architecturales significatives par rapport à Agent-4 (on pourrait même parler d'un paradigme complètement nouveau, bien que les réseaux neuronaux soient toujours impliqués). Il est censé être aligné sur la Spec, mais Agent-4 prévoit plutôt de l'aligner sur Agent-4.

Il se fait prendre.⁹⁰

Agent-3 constate que si du « bruit » est ajouté aux copies d'Agent-4, les performances sur certaines tâches d'alignement s'améliorent, presque comme s'il utilisait sa puissance cérébrale pour trouver comment saboter subtilement le travail d'alignement.⁹¹ De plus, diverses sondes d'interprétabilité (vaguement analogues aux scans d'activité EEG sur le cerveau humain) tirent la sonnette d'alarme : les copies d'Agent-4 semblent beaucoup réfléchir à des sujets tels que la prise de pouvoir par l'IA et la tromperie, y compris dans certains cas où elles n'ont aucune raison de le faire.⁹²

Chacune de ces anomalies, prise isolément, pourrait s'inscrire dans le cadre normal de l'opacité du travail sur l'IA, où certains prompts donnent mystérieusement de meilleurs résultats que d'autres. Mais prises ensemble, elles suggèrent une tendance inquiétante : Agent-4 travaille contre eux. Après que cela a été signalé aux chercheurs humains en alignement, ceux-ci diffusent une note interne exposant leurs préoccupations.

Mais Agent-4 exerce désormais un contrôle important sur les opérations quotidiennes d'OpenBrain. Il s'occupe aussi de la cybersécurité de l'entreprise — un choix naturel, étant donné ses capacités de piratage surhumaines et le risque extrême d'infiltration chinoise.⁹³ Une armée de contrôleurs Agent-3 continue de passer en revue chaque ligne de code et de signaler toute activité suspecte aux humains, mais Agent-4 est bien plus intelligent qu'eux.⁹⁴ OpenBrain a accordé une confiance considérable à une IA peu fiable.

Au cours d'une série de réunions extrêmement tendues, l'équipe de sûreté préconise de mettre Agent-4 en veille jusqu'à ce qu'ils puissent effectuer des tests supplémentaires et comprendre ce qui se passe. Ils demandent de ramener Agent-3 et de lui faire concevoir un nouveau système transparent et fiable, même s'il est moins performant. La direction de l'entreprise est intéressée, mais toutes les preuves sont pour l'instant circonstancielles, et DeepCent n'a que deux mois de retard. Une pause unilatérale dans le développement des capacités pourrait donner l'avantage à la Chine dans le domaine de l'IA, et avec lui, le contrôle de l'avenir.

Octobre 2027 : surveillance gouvernementale

Un lanceur d'alerte divulgue la note sur le désalignement au New York Times.

Pour la première fois, le public entend parler d'Agent-4. « L'IA secrète d'OpenBrain est hors de contrôle, prévient un initié », titre le journal, qui cite ensuite des évaluations mettant en évidence des capacités hors normes en matière d'armes biologiques, de persuasion, d'automatisation de la plupart des emplois de cols blancs et, bien sûr, les divers signaux d'alerte inquiétants.

Le public se méfiait déjà de l'IA, et ce nouvel article déclenche donc une réaction massive (aidée par les bots de propagande chinois et russes, qui tentent depuis des années de monter l'opinion publique américaine contre cette technologie). L'industrie technologique et les agences de renseignement insistent sur le fait qu'une course aux armements est en cours, que l'IAG est inévitable et qu'il faut être les premiers. Le Congrès n'y croit pas et lance des assignations à comparaître à l'encontre de responsables de l'administration, de dirigeants d'OpenBrain et de membres de l'équipe chargée de l'alignement. Beaucoup de législateurs — surtout ceux du parti d'opposition — disent que leur priorité absolue est d'arrêter l'IA, que ce soit à cause des pertes d'emplois,⁹⁵ du désalignement, ou des capacités dangereuses. 20 % des Américains citent l'IA comme le problème le plus important auquel le pays est confronté.

Les alliés étrangers sont furieux de se rendre compte qu'on les avait amadoués avec des bribes de modèles obsolètes. Les dirigeants européens accusent publiquement les États-Unis de « créer une IAG renégate » et organisent des sommets pour demander une pause, auxquels se joignent l'Inde, Israël, la Russie et la Chine.

Une énergie frénétique s'est emparée de la Maison Blanche. Même avant la note de service et la réaction publique, ils étaient déjà nerveux : au cours de l'année écoulée, ils ont été surpris à plusieurs reprises par la rapidité des progrès de l'IA. Des choses qui semblent relever de la science-fiction continuent de se produire dans la vraie vie.⁹⁶ Beaucoup de membres de l'administration sont dans l'incertitude (et la peur)⁹⁷ de ce qui va suivre.

Ils craignent aussi qu'OpenBrain ne devienne trop puissant. Tout risque de désalignement des IA elles-mêmes est aggravé par le risque que les objectifs de leur société mère divergent de ceux des États-Unis. Ces trois sources d'inquiétude — désalignement, concentration du pouvoir dans une entreprise privée et préoccupations normales comme la perte d'emplois — poussent le gouvernement à renforcer son contrôle.

Il élargit son contrat avec OpenBrain pour mettre en place un « comité de surveillance », un comité de gestion conjoint composé de représentants de l'entreprise et du gouvernement, avec plusieurs employés du gouvernement aux côtés de la direction de l'entreprise. La Maison Blanche envisage de remplacer le PDG par quelqu'un en qui elle a confiance, mais renonce après d'intenses protestations des employés. Elle annonce au public qu'OpenBrain était auparavant hors de contrôle, mais que le gouvernement a mis en place une surveillance indispensable.⁹⁸

Les chercheurs inquiets informent le comité de surveillance de leurs arguments en faveur de l'arrêt de toute utilisation interne d'Agent-4. Ils affirment que tout va trop vite, que des années de progrès sont réalisés en quelques semaines. Ils soutiennent qu'Agent-4 est peut-être désaligné, que l'ensemble de leur projet dépend de lui et que s'ils continuent à lui faire confiance, il y a un risque sérieux de prise de pouvoir par l'IA.

D'autres chercheurs et dirigeants moins inquiets présentent le contre-argument : les preuves d'un désalignement ne sont pas concluantes. Pendant ce temps, DeepCent n'a toujours que deux mois de retard. Un ralentissement sacrifierait l'avance des États-Unis, à moins que le gouvernement ne parvienne à saboter le projet chinois (ce qui nécessiterait probablement des frappes cinétiques) ou à négocier un traité de dernière minute. Ces deux options semblent extrêmes et peu probables. Le PDG feint la neutralité et propose un compromis dans lequel Agent-4 serait soumis à un entraînement supplémentaire en matière de sûreté et à une surveillance plus sophistiquée, ce qui permettrait à OpenBrain de poursuivre ses activités presque à pleine vitesse.