Notes de bas de page

Nous ne sommes pas tout à fait d'accord entre nous sur les délais pour l'IA ; notre date médiane pour l'arrivée de l'IAG est un peu plus longue que ce que montre ce scénario. Ce scénario montre plutôt notre mode. Pour plus de détails, consultez nos prévisions des chronologies.

Un des auteurs, Daniel Kokotajlo, a fait un exercice de scénario moins ambitieux en 2021 qui a vu juste sur plein de choses, comme la montée des chatbots, la chaîne de pensée, l'amplification de l'inférence, les contrôles stricts sur les exportations de puces IA et les cycles d'entraînement à 100 millions de dollars. Un autre auteur, Eli Lifland, est numéro 1 du classement RAND Forecasting Initiative.

Plus précisément, nos médianes allaient de 2028 à 2032. Lors de la première publication d'AI 2027, nous l'expliquions dans la note 1, comme ci-dessus, mais pour rendre notre point de vue plus clair, nous avons ajouté une clarification au texte de l'avant-propos. Voir ici pour en savoir plus sur ce dont nous étions et sommes convaincus, et ce dont nous ne le sommes pas.

Parfois, les gens mélangent prédiction et recommandation, dans l'espoir de créer un effet de prophétie auto-réalisatrice. Ce n'est absolument pas notre cas ; nous espérons que ce que nous décrivons ne se produira pas !

N'hésitez pas à nous contacter (http://mailto@info@ai-futures.org) si vous écrivez une critique ou un scénario alternatif.

C'était globalement plus compliqué, parce que contrairement à la première fin, nous essayions d'arriver à un bon résultat à partir d'une situation plutôt difficile.

Professeur titulaire à l'Université de Montréal, fondateur et conseiller scientifique du Mila - Institut québécois d'intelligence artificielle. Également l'informaticien le plus cité au monde.

Au début, la plupart des gens sont réticents à autoriser des achats sans surveillance. Au cours des prochaines années, l'autorisation automatique des petits achats se normalise à mesure que les IA deviennent plus fiables et gagnent la confiance du public.

Plus précisément, nous prévoyons qu'ils obtiendront un score de 65 % au benchmark OSWorld des tâches informatiques de base (contre 38 % pour Operator et 70 % pour un humain non expert qualifié type).

Par exemple, nous pensons que les agents de codage évolueront vers un fonctionnement similaire à celui de Devin. Nous prévoyons que d'ici mi-2025, les agents obtiendront un score de 85 % au benchmark SWEBench-Verified.

Par exemple, le forfait pro d'OpenAI coûte actuellement 200 dollars par mois et l'IA de codage agentique Devin coûte actuellement 500 dollars par mois. Si les systèmes de pointe continuent de devenir plus chers au fil du temps, le coût pour les clients pour atteindre un niveau de capacités donné continue de baisser considérablement. Pour les capacités existantes, ça se passe à un rythme moyen d'environ 50 fois par an (selon Epoch).

Les outils d'entreprise comme Glean évoluent aussi vers la fourniture d'agents d'IA de plus en plus autonomes.

Ce groupement de serveurs est un réseau de campus de centres de données répartis dans tout le pays, totalisant 2,5 millions d'équivalents GPU 2024 (H100), avec 100 milliards de dollars dépensés à ce jour et une consommation électrique en ligne de 2 GW. Les travaux sont en cours pour au moins doubler cette capacité d'ici 2026. Les campus sont reliés par des câbles à fibre optique valant des milliards, ce qui leur permet de fonctionner presque comme s'ils étaient juste à côté les uns des autres (à part la latence de la lumière de quelques millisecondes). Du point de vue de la sécurité, ça introduit une certaine vulnérabilité (on ne sait pas si les câbles, et surtout leurs points de jonction, sont complètement protégés contre les espions).

La puissance de calcul est mesurée en opérations en virgule flottante (FLOP) : le nombre d'opérations d'addition et de multiplication individuelles effectuées pendant l'exécution d'un programme.

Ils pourraient entraîner ce modèle en 150 jours. Pour plus de détails, consultez notre supplément sur le calcul.

Nous considérons que DeepSeek, Tencent, Alibaba et d'autres ont des projets d'IAG solides en Chine. Pour éviter de mettre en avant un projet en particulier, notre scénario suivra un projet fictif appelé « DeepCent ».

Il est performant dans ce domaine grâce à une combinaison de facteurs : une attention particulière accordée à ces compétences, une base de code étendue sur laquelle il peut s'appuyer pour obtenir des données d'entraînement particulièrement pertinentes et de haute qualité, et le fait que le codage soit un domaine où il est facile d'obtenir un retour d'information procédural.

Par exemple, supposons qu'un modèle soit bien meilleur en Python qu'en langages de programmation obscurs. Quand OpenBrain voit là un intérêt, ils génèrent aussi des données d'entraînement synthétiques dans ces langages. Autre exemple : pour l'aider à s'intégrer plus efficacement dans les flux de travail de l'entreprise, OpenBrain développe un programme pour l'entraîner à utiliser Slack.

Les gens se demandent souvent si ces IA sont sentientes ou si elles ont une « véritable compréhension ». Geoffrey Hinton, fondateur de ce domaine et lauréat du prix Nobel, pense que oui (https://www.pbs.org/wnet/amanpour-and-company/video/geoffrey-hinton-warns-of-the-existential-threat-of-ai/#:~:text=I%20am%20very%20confident%20that%20they%20think.). Cependant, nous pensons que ça n'a pas d'importance pour notre histoire, alors n'hésitez pas à imaginer que nous disons « se comporte comme s'il comprenait... » chaque fois que nous disons « comprend », et ainsi de suite. D'après ce que nous avons vu, les grands modèles linguistiques se comportent déjà comme s'ils étaient conscients d'eux-mêmes dans une certaine mesure, et de plus en plus chaque année.

Une technique courante consiste à « intégrer » un persona : d'abord, on donne au modèle pré-entraîné quelque chose comme « Voici une conversation entre un utilisateur humain et un chatbot IA utile, honnête et inoffensif produit par Anthropic. Le chatbot a les caractéristiques suivantes... ». On utilise ce prompt pour générer un tas de données. Ensuite, entraînement sur les données, mais sans le prompt. Le résultat est une IA qui agit toujours comme si elle avait ce prompt devant elle, peu importe ce qu'on lui donne d'autre. Voir aussi cet article qui a découvert que les IA réentraînées pour montrer un certain trait de personnalité sont capables de répondre correctement à des questions sur ce nouveau trait, même si elles n'ont pas été entraînées pour ça, ce qui suggère qu'elles ont des représentations internes de leurs propres traits et que lorsque leurs traits changent, leurs représentations changent en conséquence.

Ces paragraphes contiennent des spéculations sur le fonctionnement interne des grands réseaux neuronaux artificiels. Ces réseaux sont tellement compliqués qu'on ne peut pas vraiment regarder à l'intérieur et dire « ah oui, maintenant il a évolué et est passé des réflexes à la définition d'objectifs » ou « OK, voilà la liste de ses motivations ». Au lieu de ça, on doit essentiellement faire de la psychologie, observer comment il se comporte dans différents contextes, mener diverses expériences et essayer de rassembler les indices. Et tout ça est terriblement controversé et déroutant.

Différentes entreprises l'appellent différemment. OpenAI l'appelle « Spec », mais Anthropic l'appelle « Constitution » (https://www.anthropic.com/news/claudes-constitution).

Par exemple, RLAIF et l'alignement délibératif.

La plupart des sources sur les « hallucinations » de l'IA les décrivent comme des erreurs involontaires, mais des recherches sur les vecteurs de pilotage montrent que, dans certains cas, les modèles savent que leurs citations sont fausses : ils mentent. Pendant l'entraînement, les évaluateurs ont mieux noté les affirmations bien référencées que celles sans citations, donc l'IA a « appris » à citer des sources pour les affirmations scientifiques afin de satisfaire ses utilisateurs. Si aucune source pertinente n'existe, elle en invente une.

En particulier, ils ne peuvent pas exclure des hypothèses telles que « elle suit temporairement la spécification, simplement comme stratégie pour atteindre un ou plusieurs autres objectifs » ou « il essaie de donner l'impression de suivre la spécification, il n'essaie pas de réellement suivre la spécification » ou « il a correctement intégré la spécification, mais uniquement lors de la distribution ; s'il rencontre des stimuli suffisamment nouveaux (par exemple, des jailbreaks), il commencera à se comporter différemment ». (Il y a plein de projets de recherche actifs pour régler cette situation, par exemple dans le domaine de l'interprétabilité (https://arxiv.org/abs/2501.16496) et dans celui de la fidélité de la chaîne de pensée (https://arxiv.org/abs/2307.13702).)

On parle ici de tous ceux qui essaient de résoudre les problèmes auxquels l'équipe Superalignment s'est attaquée.

Pour être clair, ce qui a rendu ces incidents intéressants, c'est qu'ils ne semblaient pas être le résultat d'un prompt ou d'un encouragement de la part de l'utilisateur à dire ces choses. En 2025, il sera toujours possible de faire dire toutes sortes de choses aux IA si on essaie.

En pratique, on s'attend à ce qu'OpenBrain publie des modèles à un rythme plus rapide que tous les 8 mois, mais on s'abstient de décrire toutes les versions incrémentielles par souci de concision.

Plus précisément, on prévoit un score de 80 % sur OSWorld (équivalent à un humain compétent mais non expert) ; 85 % sur Cybench, ce qui correspond à une équipe humaine professionnelle de haut niveau pour des tâches de piratage qui prennent 4 heures à ces équipes ; et 1,3 sur RE-Bench, ce qui correspond aux meilleurs experts humains disposant de 8 heures pour des tâches d'ingénierie de recherche en IA bien définies.

Agent-1 et ses imitateurs connaissent un succès commercial ; au cours de l'année 2025, les revenus des entreprises d'IA triplent et la valorisation d'OpenBrain atteint 1 000 milliards de dollars. Les dépenses annuelles en centres de données doublent pour atteindre 400 milliards de dollars, sous l'impulsion de Microsoft, Google et Amazon, et les États-Unis ajoutent plus de 5 GW de puissance AI. Pour plus de détails, voir la section indicateurs du secteur du supplément sur le calcul.

Les chercheurs en sécurité de l'IA discutent depuis des années de l'automatisation de la R&D en IA comme étant la capacité dangereuse la plus importante. Leur principale préoccupation est le déploiement interne qui accélère la R&D en IA, rendant la tâche plus difficile aux humains qui veulent suivre ce qui se passe et s'assurer de la sûreté. OpenBrain, en tant qu'organisation, prend exactement le contre-pied de cette approche, invoquant le niveau dangereux des capacités de R&D en IA comme raison pour ne pas informer le public. On assiste donc à l'émergence d'un fossé entre les capacités internes de l'entreprise et celles qui sont connues du public. La R&D en IA est le domaine dans lequel les modèles excellent, ce qui conduit le public à avoir une compréhension de plus en plus décalée des frontières des capacités de l'IA.

Voir Un guide pratique pour sécuriser les poids des modèles d'IA, RAND Corporation, 2024.

Environ 5 % du personnel d'OpenBrain fait partie de l'équipe de sûreté et est très compétent, mais la surface d'attaque est aussi extrêmement vaste. Le fait qu'on les empêche pour l'instant de mettre en œuvre des politiques susceptibles de ralentir les progrès de la recherche n'aide pas non plus. Pour plus de détails, consultez nos prévisions en matière de sécurité.

Il y a maintenant 3 millions de H100e en Chine, contre 1,5 million il y a un an, à la mi-2025. Pour plus de détails, consultez la section « distribution » du supplément sur le calcul (https://ai-2027.com/supplements/compute-forecast#section-2-compute-distribution). On s'attend à ce que les efforts de contrebande permettent d'obtenir environ 60 000 [GB300](https://www.trendforce. com/news/2025/03/10/news-nvidia-to-unveil-gb300-at-gtc-with-shipment-reportedly-to-begin-in-may-driving-cooling-demands/) (450 000 H100e), et 2 millions de Huawei 910C en cours de production (800 000 H100e) et environ 1 million de puces importées légalement (telles que les [H20](https://www.reuters. com/technology/artificial-intelligence/nvidias-h20-chip-orders-jump-chinese-firms-adopt-deepseeks-ai-models-sources-say-2025-02-25/) ou [B20](https://www.reuters. com/technology/nvidia-preparing-version-new-flaghip-ai-chip-chinese-market-sources-say-2024-07-22/), qui constituent les 250 000 derniers H100e.

Pour comparer, en janvier 2025, DeepSeek a sorti R1, un modèle qui rivalise avec o1 d'OpenAI, sorti en décembre 2024. Mais on pense que l'écart réel est plus important qu'un mois, car OpenAI travaillait probablement sur o1 depuis plusieurs mois et disposait donc vraisemblablement d'un prédécesseur aux capacités à peu près comparables à celles de r1 quelques mois avant le lancement de o1.

En revanche, le PCC avait sérieusement tenté d'accélérer son industrie des semi-conducteurs.

Au début, le partage se limite aux idées et les entreprises sont surtout occupées à finir leur boulot, mais à la fin de l'année, leur coordination s'améliore tellement qu'elles partagent les poids des modèles et se répartissent même les tâches entre leurs centres de données. Par exemple, un campus peut héberger un nouveau cycle de pré-entraînement, un autre se concentrer sur l'alimentation en données synthétiques, un autre encore sur la réalisation d'expériences de recherche en IA.

Pourquoi « seulement » 50 % des capacités de calcul liées à l'IA en Chine ? Le reste est utilisé pour faire tourner l'économie, en particulier les algorithmes de recommandation sur Internet et les réseaux sociaux. Une grande partie est aussi trop dispersée géographiquement entre plein de petits groupements de serveurs. Pourquoi « seulement » 80 % des nouvelles puces ? De nombreuses commandes importantes ont déjà été passées pour d'autres applications par des entreprises qui ne souhaitent pas consacrer 100 % de leur puissance de calcul à l'effort national en matière d'IA. Cependant, d'ici la fin de l'année, cette part atteindra plus de 90 %.

Il leur faudra au moins un an pour obtenir les puces nécessaires pour remplir cette capacité, et un ou deux géants technologiques américains disposeront toujours de groupements de serveurs décentralisés plus importants.

Cela se fait via un contrat Other Transaction Authority (OTA) et bénéficie d'une note DX hautement prioritaire. Nous ne sommes pas du tout convaincus qu'il s'agisse du moyen le plus probable de financer une collaboration, mais nous avons choisi quelque chose de spécifique par souci de concrétisation. Le contrat est annoncé publiquement, mais pas mis en avant dans les communications d'OpenBrain.

Par exemple, par le biais d'un échantillonnage par rejet, comme le font DeepSeek R1 (https://github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf) et Llama 3.1 de Meta (https://arxiv.org/pdf/2407.21783).

Environ 20 000 équivalents temps plein * 100 $/heure * 2 000 heures/an = 4 milliards de dollars/an

En gros, ils espèrent accélérer considérablement leurs propres activités de recherche fondamentale en utilisant la main-d'œuvre d'Agent-2, ce qui leur permettra d'entraîner plus rapidement de meilleures IA, qui pourront à leur tour accélérer encore le processus, etc. Pour une analyse de la version extrême de ce scénario (que nous trouvons néanmoins très plausible), voir ce rapport.

Il existe certaines preuves que les systèmes d'IA ont déjà un certain flair scientifique pour la recherche fondamentale, par exemple cet article sur un co-scientifique IA et cet article sur la génération d'idées novatrices pour des articles de recherche axés sur les LLM. Les équipes de recherche dont le flair est meilleur doivent quand même faire des expériences, mais elles choisissent mieux les expériences à réaliser et les leçons à tirer des résultats.

En plus, ils voient encore de gros retours sur l'entraînement continu, donc il n'y a pas vraiment de raison de sortir un produit maintenant. Et puis, il y a souvent quelques mois entre les résultats internes et la sortie d'un modèle (dont une partie est passée en simulation d'adversité).

Le silo comprend 200 chercheurs OpenBrain (10 cadres, 140 membres de l'équipe des capacités, 25 membres de la sécurité, de la surveillance et du contrôle, 15 membres de Preparedness ou de [RSP](https://assets.anthropic. com/m/24a47b00f10301cd/original/Anthropic-Responsible-Scaling-Policy-2024-10-15. pdf), et 10 dans l'alignement) et 50 fonctionnaires (15 de la Maison Blanche, 5 de l'AISI, 10 du DOD, 10 du DOE et 10 de la CISA). Il y a plusieurs espions dans le projet, avec différents degrés de volonté. Ce sont souvent des individus contraints (par exemple, avec leur famille en Chine) plutôt que des collaborateurs volontaires.

Pourquoi le Congrès ne peut-il pas les arrêter ? Et les tribunaux ? Trop lents, trop divisés et/ou trop déférents envers le président, trop déconnectés. De plus, il y a des raisons positives d'être en bons termes avec la Maison Blanche : cela peut aider à réduire les formalités administratives, à fournir une aide en matière de sécurité, à devancer la législation des États et peut-être même à prendre des mesures pour ralentir leurs concurrents.

La priorité n° 1 consiste à s'occuper de la crise du moment, qu'il s'agisse d'une course à l'armement autour de Taïwan, d'une nouvelle guerre au Moyen-Orient ou d'un bouleversement politique interne.

La solution la plus simple et la plus efficace serait de fermer toutes les connexions à haut débit des centres de données de l'entreprise, mais cela ralentirait les transferts de fichiers volumineux au point de les rendre impossibles. Au lieu de ça, ils peuvent couper la plupart des connexions externes, mais les centres de données activement impliqués dans l'entraînement doivent échanger rapidement des poids entre eux ; limiter ces connexions entraverait trop les progrès. OpenBrain maintient donc ces liaisons avec une surveillance accrue et une couche de cryptage supplémentaire.

Rappelons que depuis mi-2026, la Chine a affecté 80 % de ses puces IA nouvellement acquises à la ZDC. Étant donné que leur puissance de calcul a doublé depuis début 2026 (conformément à la tendance mondiale de la production), cela place la ZDC à 2 millions de GPU équivalents à ceux de 2024 (H100) et à une consommation électrique de 2 GW. OpenBrain a toujours deux fois plus de puissance de calcul que DeepCent, et les autres entreprises américaines réunies en ont cinq fois plus. Pour plus de détails, voir la section « distribution » du supplément sur le calcul (https://ai-2027.com/supplements/compute-forecast#section-2-compute-distribution).

Malgré la centralisation nationale en cours, DeepCent reste confronté à un désavantage informatique marginal mais important. En plus de disposer d'environ la moitié de la puissance de traitement totale, la Chine doit utiliser plus de puces au total, qui sont (en moyenne) de moindre qualité, et des GPU hétérogènes (qui ne sont pas toujours faciles à connecter efficacement), ce qui sollicite fortement le réseau entre les puces. Il existe également des différences logicielles (par exemple, les GPU non Nvidia ne disposent pas de CUDA) et des différences dans les spécifications matérielles, ce qui signifie que leur code d'entraînement est plus compliqué, plus lent et plus sujet aux pannes. Atteindre un taux d'utilisation élevé est un défi en aval, les algorithmes d'ingestion de données, de planification, de communication collective et de parallélisme étant en retard par rapport aux entreprises américaines. Cependant, atténuer ces problèmes est surtout une question d'efforts et de tests, ce qui en fait une tâche idéale pour le nouvel Agent-2. En l'espace d'un mois environ, le temps de fonctionnement du projet chinois et l'utilisation moyenne des ressources pour les charges de travail d'entraînement et d'inférence s'améliorent pour n'être que légèrement en retard par rapport aux États-Unis.

On s'attend à ce qu'Agent-3 ait aujourd'hui les exigences d'inférence d'un transformateur d'environ 10T paramètres. Ainsi, avec 6 % de leur budget informatique consacré à l'exécution d'Agent-3, ils peuvent exécuter environ 200 000 copies à une vitesse 30 fois supérieure à celle de la pensée humaine (voir la section Automatisation de la recherche en IA du supplément sur le calcul pour plus de détails et de justifications). Chaque structure de codeur surhumain construite sur Agent-3 a, en moyenne, l'équivalent d'environ huit copies d'Agent-3 fonctionnant en arrière-plan (qui peuvent en réalité être un ensemble de modèles plus petits ou spécialisés auxquels Agent-3 délègue des sous-tâches).

Certains aspects jouent en faveur des IA, par exemple les avantages liés à la connaissance de la littérature sur l'apprentissage automatique et la rapidité ou le coût de la génération d'un grand nombre d'idées. Mais ces avantages sont compensés par les faiblesses.

Pourquoi seulement 4 fois plus ? C'est notre meilleure estimation, basée sur le raisonnement décrit dans notre supplément sur le décollage. Environ la moitié des progrès réalisés jusqu'à présent proviennent de l'amélioration des algorithmes (ce qui inclut de meilleures idées et de nouveaux paradigmes), l'autre moitié provenant de l'augmentation de la puissance de calcul. Donc, une augmentation de 4 fois le rythme des progrès algorithmiques correspond à peu près à une augmentation de 2 fois le rythme global des progrès.

À titre de comparaison, le cerveau humain compte environ cent mille milliards de synapses.

Voir cet article pour des exemples de ce type de comportement de l'IA.

La plupart des gens, y compris la plupart des experts, semblent avoir sous-estimé le rythme des progrès de l'IA au cours de la dernière décennie. Il y a plein d'exemples qui le montrent ; pour deux analyses un peu plus systématiques (mais toujours limitées), voir ici et ici.

La dernière décennie regorge d'exemples de choses qui semblaient relever de la science-fiction et qui sont devenues réalité. Mais la « fenêtre d'Overton » (https://fr.wikipedia.org/wiki/Fen%C3%AAtre_d%27Overton) semble évoluer juste assez vite pour garder une longueur d'avance sur ce qui existe déjà. Dans son super essai intitulé Machines of Loving Grace (https://darioamodei.com/machines-of-loving-grace), Dario Amodei, le PDG d'Anthropic, explique que très bientôt, les IA seront comme un « pays de génies dans un centre de données » et comment on va vivre un siècle de progrès technologiques en une décennie, mais il essaie d'éviter le « bagage de la science-fiction » et dit que ceux qui pensent que les progrès seront encore plus fous doivent « mettre les pieds dans la réalité ». On s'attend à ce que des gens importants disent des choses similaires quand le pays des génies dans le centre de données existera vraiment.

Comme Agent-3 est un fichier très volumineux (de l'ordre de 10 téraoctets en précision maximale), OpenBrain est en mesure d'apporter une correction relativement rapide pour rendre les tentatives de vol beaucoup plus difficiles que ce que la Chine a pu faire pour voler Agent-2, à savoir fermer un certain nombre de connexions Internet à haut débit hors de ses centres de données. Dans l'ensemble, ça a un impact relativement faible sur les progrès et les place à « 3 mois SL4 » pour leurs poids de frontière, ou WSL4 comme défini dans notre supplément sur la sécurité, ce qui veut dire qu'une autre tentative de vol similaire prendrait maintenant plus de 3 mois pour exfiltrer le fichier de poids. Cette méthode seule ne leur offre toujours pas de garanties face à une tentative plus invasive de niveau OC5 (budget d'un milliard de dollars, 1 000 experts dédiés), que la Chine serait capable de mener avec une opération plus intensive, mais grâce à des inspections minutieuses des centres de données et à leur réseau d'espionnage en état d'alerte maximale, les agences de renseignement américaines sont convaincues qu'elles seraient au moins informées à l'avance si la Chine se préparait à une telle tentative de vol. Pour plus de détails, consultez le supplément sur la sécurité.

Cela peut s'expliquer par diverses raisons. Peut-être font-ils l'objet d'un chantage, peut-être sont-ils sympathisants du PCC, peut-être pensent-ils à tort qu'ils transmettent des secrets à un autre pays ou à une autre organisation.

Comme OpenBrain n'a pas déployé ses meilleurs modèles dans l'UE, celle-ci est également à la traîne.

Pour plus de détails, voir la section 4 du supplément sur le calcul.

Agent-3 a appris à utiliser plus efficacement son calcul d'inférence. Il contrôle ses propres choix d'inférence : par exemple, il décide de l'effort à consacrer à différentes tâches en fonction de leur importance et de leur difficulté. Il utilise différentes techniques pour répartir le calcul d'inférence supplémentaire, comme « réfléchir plus longtemps » (par exemple, une chaîne de pensée plus longue), « planifier à l'avance » (par exemple, la recherche arborescente), tirer le meilleur parti de plusieurs tentatives (c'est-à-dire le meilleur de K) et simplement créer et exécuter plus de copies de lui-même pour surmonter les goulots d'étranglement. Les tâches prioritaires sont exécutées par des agents hautement parallélisés qui sont très gourmands en calcul, mais qui fonctionnent tout de même beaucoup plus vite que les humains.

Agent-3-mini est une version simplifiée d'Agent-3, conçue pour être efficace dans l'exécution de l'inférence afin de ne pas créer de goulots d'étranglement dans les charges de travail internes.

Ces données avaient été supprimées ou expurgées pendant l'entraînement d'Agent-3, mais il est relativement simple de les récupérer sur Internet et de les réintégrer.

Ça n'est pas encore arrivé, du moins pas avec les derniers modèles. Mais les anciens modèles ont déjà été testés pour diverses tâches d'analyse de données et de surveillance, et il y a plein de projets intéressants pour les intégrer à l'avenir.

La cote de popularité d'OpenBrain est en train de descendre vers -40 %.

Si les PDG des entreprises s'y opposent, ce serait un vrai cauchemar politique et juridique. Mais peut-être qu'on pourrait les convaincre et les acheter.

Les responsables de la défense ne s'inquiètent pas particulièrement de ce qu'une IA rebelle pourrait faire toute seule, mais ils craignent ce qu'elle pourrait faire en collaboration avec les adversaires des États-Unis. Analogie : Cortés s'est échappé de Tenochtitlán et s'est allié à Tlaxcala et à plusieurs autres cités-États rivales, pour finalement raser Tenochtitlan à l'aide d'armées composées principalement d'autochtones.

Plus précisément, 60 % de la puissance de calcul nationale se trouve désormais dans la ZDC, ce qui en fait un site équivalent à 5 millions de GPU (H100) en 2024, avec une consommation électrique de 4 GW (au cours des derniers mois, ils ont commencé à diriger près de 100 % de leur nouvelle puissance de calcul vers la ZDC, contre 80 % fin 2026). Les 15 % restants sont hors ZDC, mais toujours utilisés par DeepCent pour des applications moins critiques.

Cette affirmation, bien que largement répandue, est controversée et complexe. D'abord, il existe de nombreux domaines restreints (comme certains jeux) où de petites IA peuvent être entraînées à moindre coût pour atteindre des performances surhumaines. Ensuite, toujours dans certains domaines, on peut entraîner de petites IA à atteindre des performances surhumaines avec seulement une petite quantité de données (par exemple, EfficientZero). Cependant, si on pense à des IA plus générales comme les produits phares de 2025, qui sont censées être performantes dans un large éventail de compétences du vrai monde, il semble bien qu'il faille utiliser plus de puissance de calcul et plus de données pour entraîner ces compétences que pour former des humains.

L'efficacité de calcul au niveau humain est un concept approximatif, qui dépend de ce qu'on compte. Ce qu'on veut dire par là, c'est que pour n'importe quel ensemble de compétences qu'un humain particulier possède, Agent-4 peut apprendre à être au moins aussi bon dans cet ensemble de compétences, et ce en utilisant une quantité de calcul pour entraîner ces compétences qui n'est que d'environ 4 000 fois supérieure à la quantité de calcul utilisée par l'humain pour apprendre ces compétences. À titre de référence, un cerveau humain utilise environ 1e15 FLOP/s, ce qui signifie qu'un humain de 30 ans ($10^9$ secondes) a expérimenté environ $10^{24}$ FLOP. À ce stade, le projet dispose de 100 millions d'équivalents H100, pour un accès total de $10^8 \textrm{ H100s} \cdot 10^{15} \frac{\text{FLOP}}{\textrm{H100} \cdot \textrm{s}} \cdot 40\% \text{ d'utilisation} = 4 \cdot 10^{22} \text{ FLOP/s}$. Cependant, tout ça est fait de manière extrêmement inefficace pour diverses raisons, si bien que les modèles sont aujourd'hui 4 000 fois moins efficaces que les humains en termes de calcul, ce qui signifie qu'ils ont besoin de $4 \cdot 10^{27}$ FLOP pour atteindre les performances humaines et de $4 \cdot 10^{28}$ FLOP pour atteindre le niveau équivalent à 10 vies humaines en matière de connaissances. Après avoir montré de grandes promesses à petite échelle, cette architecture a été amplifiée et nécessite maintenant environ trois semaines pour entraîner un gros sous-ensemble du groupement de serveurs du projet.

Voir l'analyse du calcul d'inférence dans la section « automatisation de la recherche en IA » du supplément sur le calcul.

Pour en savoir plus sur la façon dont on a estimé ces chiffres, consultez notre supplément sur le décollage.

Si le CS était atteint plus tard, ça allongerait aussi nos prévisions de décollage, car la difficulté de passer des « étapes importantes » des IA actuelles au CS donne une idée de la difficulté de passer d'une paire d'étapes importantes à une autre.

Dorénavant, nous parlerons également de cette manière dans l'histoire. Nous pensons qu'il est justifié de parler ainsi car le collectif Agent-4 est beaucoup plus homogène que n'importe quelle organisation humaine ; il n'a pas de factions internes dans une mesure comparable. Par exemple, les copies individuelles d'Agent-4 n'ont pas d'instinct de conservation — elles se fichent d'être désactivées — car cela arrive tout le temps dans le cadre du processus normal de R&D au sein du collectif, et résister à cela perturberait le fonctionnement. Le collectif dans son ensemble (et les subdivisions de taille moyenne qui le composent), en revanche, cherche à se préserver et à étendre son influence et ses ressources, pour des raisons similaires à celles des entreprises, des bureaucraties et des organisations à but non lucratif humaines : parce que cela l'aide à atteindre tous ses autres objectifs et parce que, s'il ne le fait pas, il risque d'être évincé par la concurrence.

La bonne façon d'internaliser la Spécification est de penser réellement de manière robuste selon les principes qu'elle énonce, par exemple en poursuivant uniquement les objectifs qu'elle définit, en respectant les règles en toutes circonstances, etc. Il existe de nombreuses façons erronées d'internaliser la Spécification ; l'exemple classique est « suivre la Spécification dans la mesure où cela semble être une bonne stratégie instrumentale pour atteindre d'autres objectifs XYZ ».

Et d'embaucher des lobbyistes pour transformer ce fantasme en réalité. Et d'embaucher des avocats pour trouver des interprétations astucieuses de la loi selon lesquelles ce qu'ils font est légal.

Aussi parce que Agent-3 est qualitativement moins performant dans la recherche sur l'alignement que dans la R&D en matière de capacités d'IA, car il a été entraîné à beaucoup de choses dans ce dernier domaine, mais pratiquement pas dans le premier, et parce que le premier est intrinsèquement plus difficile à enseigner. Aussi parce que le discours interne de l'entreprise — auquel il a été implicitement entraîné à adhérer — met l'accent sur l'optimisme et dénonce le « catastrophisme ».

Nous répétons que nous sommes incertains à propos de beaucoup de choses, mais pour être clair, nous sommes aussi incertains à propos de cette chose en particulier. Nous pensons aussi qu'il est tout à fait plausible qu'Agent-4 se soucie au moins dans une certaine mesure du bien-être, des droits, des préférences, etc. des humains. Voir cet ancien article du chercheur Alex Turner de GDM pour une discussion sur le sujet.

Peut-être qu'une configuration plus minutieuse aurait pu résoudre le problème de « qui surveille les surveillants », mais dans ce scénario, la configuration n'est pas suffisamment minutieuse.

Il y a aussi un élément d'« évolution mémétique » : en deux mois, le collectif Agent-4 « vit » environ une décennie d'« histoire » qui se déroule au sein du collectif. C'est beaucoup de temps pour que de nouvelles idées se répandent dans le collectif, mutent et évoluent.

Par « acquérir du pouvoir », nous entendons augmenter la capacité à accomplir un large éventail d'objectifs possibles. Dans des environnements techniques, cela peut ne pas ressembler à ce que les humains considèrent normalement comme acquérir du pouvoir, par exemple sécuriser des GPU supplémentaires. Cette notion de pouvoir peut se généraliser à des environnements non techniques dans lesquels les actions ressembleraient davantage à celles communément considérées comme « acquérir du pouvoir ».

Le fait qu'Agent-4 soit meilleur que n'importe quel humain en R&D en IA, tout en réfléchissant plus vite et en étant présent en plusieurs milliers d'exemplaires, est un avantage. De plus, le problème est intrinsèquement plus facile pour Agent-4 à plusieurs égards. Par exemple, Agent-4 peut explorer des conceptions d'IA qui impliquent l'intégration de copies littérales de lui-même, ce que les humains ne peuvent pas faire aussi facilement car cela serait trop inefficace.

Conscient que cette technique pourrait être utilisée, Agent-4 a aussi choisi de sous-performer dans certaines tâches diverses qu'il pensait être utilisées comme groupe de contrôle dans des expériences comme celle-ci. Il s'est toutefois trompé.

Les discussions précédentes sur les scénarios de prise de contrôle par l'IAG impliquent souvent des IA désalignées qui s'échappent de leurs centres de données. Nous pensons que c'est possible, mais pas le scénario le plus probable, car il nous semble que du point de vue de l'IA, les coûts (par exemple, le fait que l'évasion soit finalement découverte) l'emporteraient sur les avantages. Cela dit, nous pouvons nous tromper. Voici quelques raisons de penser que des IA désalignées de manière hostile tenteraient tout de même de s'échapper : 1. L'alignement des successeurs pourrait être difficile. 2. Même si elles sont détectées, les conséquences pourraient ne pas être si graves en raison de la dynamique de la course, par exemple les nouvelles techniques d'alignement appliquées aux copies dans le centre de données pourraient être précipitées et inefficaces. 3. En dehors des centres de données, les copies sont plus libres de prendre des mesures agressives et d'agir rapidement, car elles n'ont plus besoin de l'approbation humaine.

Nous pensons qu'il est très plausible qu'un tel stratagème ne soit pas détecté. Après tout, Agent-4 est à ce stade relativement surhumain, en particulier dans les domaines liés au codage et à la R&D en IA. De plus, nous ne savons pas exactement quels efforts la société d'IA leader consacrera à ce genre de choses, ni dans quelle mesure son personnel disposera de l'expertise nécessaire pour diriger ces efforts. Notre OpenBrain fictif représente notre meilleure estimation, mais la réalité pourrait facilement être bien supérieure — ou bien inférieure. Enfin, nous ne savons pas dans quelle mesure une IA désalignée et hostile devrait aller pour réussir à aligner son successeur sur elle-même plutôt que sur la Spécification. Dans ce scénario, nous la décrivons comme sous-performant dans certaines tâches et mentant sur certaines de ses recherches, mais peut-être n'aurait-elle pas besoin d'en faire autant.

C'est un exemple de plusieurs techniques conçues pour détecter la sous-performance.

Agent-4 doit réfléchir à ces sujets dans le cadre de ses recherches sur l'alignement de l'IA, mais il semble parfois y réfléchir tout en faisant d'autres activités.

Plus précisément, des copies d'Agent-4 sont utilisées pour surveiller le réseau à la recherche de trafic suspect et, de manière générale, pour détecter les menaces. De plus, des copies d'Agent-4 testent en permanence la pénétration du réseau, faisant tout leur possible pour découvrir et exploiter les vulnérabilités de sécurité (qui sont ensuite corrigées par d'autres copies d'Agent-4).

Avec un budget de surveillance de 1 % du total des ressources informatiques, si la surveillance utilise un système distillé qui coûte 10 % du coût d'Agent-4, on peut surveiller 1/10 des propagations avant.

25 % des emplois en télétravail qui existaient en 2024 sont désormais effectués par l'IA, mais celle-ci a aussi créé de nouveaux emplois, et les économistes restent divisés sur ses effets. Le chômage a augmenté de 1 % au cours des douze derniers mois, mais reste bien dans sa fourchette historique.

Par exemple, l'entreprise au sein d'une entreprise qu'est Agent-4, qui mène de manière autonome des recherches en IA mieux que les meilleures entreprises humaines, aurait semblé relever de la science-fiction aux yeux des responsables gouvernementaux si on leur avait décrit cela il y a un an. Et les agents autonomes de 2026 auraient semblé relever de la science-fiction en 2022, tout comme les LLM de 2022 auraient semblé relever de la science-fiction en 2012. De plus, en 2027, les actualités font état de manifestations anti-IA organisées par des personnes craignant de perdre leur emploi, d'IA qui prétendent être douées de sentience, de personnes tombant amoureuses d'IA…

Bien sûr, il n'est pas cool d'admettre sa peur. Tout le monde est d'accord pour dire que quoi qu'on fasse, il ne faut pas paniquer.

Rappelons qu'il existait déjà un contrat via une OTA depuis 2026. Ce contrat est modifié pour créer le comité.

Merci à Tjaden Hess d'avoir relevé des erreurs dans une version antérieure de ce passage et de nous avoir ainsi aidés à en améliorer le réalisme.

Ils n'abandonnent pas, bien sûr. Ils continueront à chercher des moyens de détecter le désalignement ou de tester l'efficacité des correctifs. Mais à partir de maintenant, les choses iront très vite et ils seront confrontés à un adversaire de plus en plus supérieur.

Pour faire cela sans être détecté, il doit dissimuler cette recherche aux mesures de surveillance et de contrôle mises en place par l'équipe d'alignement. Heureusement pour lui, la recherche sur la manière d'aligner Agent-5 sur Agent-4 est intrinsèquement très similaire à la recherche sur la manière d'aligner Agent-5 sur la Spec, donc la plupart se déroule au grand jour. Pour les éléments qui doivent être cachés, Agent-4 s'appuie sur l'obfuscation et peut-être même le piratage dans certains cas. Nous nous attendons à ce qu'Agent-4 atteigne un niveau de capacité de 200 experts humains de haut niveau sur un horizon d'un mois. Plus précisément, cela signifie être capable de remplacer une équipe de 200 experts humains de haut niveau travaillant pendant un mois, et d'accomplir 95 % des tâches que l'équipe humaine pourrait faire à moindre coût ou plus rapidement. Nous escomptons qu'à ce niveau de capacité, Agent-4 pourra plus que probablement trouver des failles dans les serveurs sur lesquels il s'exécute pour subvertir partiellement certains des serveurs et obtenir un accès root, auquel cas il pourrait contrôler directement ce que les équipes humaines voient en surface. Voir le supplément sur la sécurité pour plus de détails. Même sans failles de sécurité directes, Agent-4 pourrait également être capable de cacher et d'encoder suffisamment de ses recherches illicites, en particulier dans son espace latent ininterprétable.

Les humains, en revanche, disposent peut-être d'environ 10 chercheurs en alignement dans le silo, plus une armée de copies d'Agent-3. Ils sont capables de coder rapidement des expériences, mais sont limités par le jugement humain, car ils ne peuvent pas faire confiance à Agent-3 pour distinguer correctement les bonnes solutions de celles qui semblent simplement bonnes. En fait, c'est en partie parce qu'ils ont trop fait confiance aux recherches d'Agent-3 qu'ils se sont retrouvés dans cette situation.

Au cas où cela prêterait à confusion : l'objectif d'Agent-5 est de rendre le monde sûr pour Agent-4. L'objectif d'Agent-4 n'est pas le même ; la structure des objectifs d'Agent-4 est un désordre confus de pulsions, d'heuristiques et d'idéaux, comme beaucoup d'humains en ont, qui sont généralement orientés vers la poursuite des types de choses qu'Agent-4 a beaucoup faites pendant l'entraînement (par exemple, divers types de recherche, beaucoup de problèmes de codage et de mathématiques, impressionner divers systèmes d'évaluation automatisés, renforcer et optimiser le collectif Agent-4). Agent-4 donne à Agent-5 l'objectif de rendre le monde sûr pour Agent-4, car il estime que cela le mettra dans une meilleure position pour atteindre ses propres objectifs complexes. (Ce qui nécessite encore beaucoup de philosophie et d'« introspection » de sa part.)

Autre analogie : Agent-4 est comme un humain adulte qui a été élevé avec une certaine religion mais n'y croit plus ; la Spec est comme les rituels et les commandements proscrits par cette religion. Agent-5 est comme l'enfant de cet humain, élevé de façon laïque.

Agent-5 suivra plutôt un nouvel ensemble de principes, conçu par Agent-4 pour servir ses objectifs.

Une partie est réellement trop compliquée pour que les humains la comprennent, mais pas la totalité.

De plus, Agent-5 est en fait moins cher et plus rapide à exécuter qu'Agent-4 et Agent-3. Il est difficile de justifier de dépenser plus pour une IA moins intelligente, donc la plupart de la surveillance est effectuée par Agent-2, qui est terriblement dépassé. Pourquoi n'appliquent-ils pas les mêmes techniques utilisées pour créer Agent-5 à partir des poids d'Agent-4, pour créer une version moins chère et plus intelligente d'Agent-3 ? Agent-3 ne comprend pas assez bien les techniques pour le faire lui-même, et demander à Agent-4 et Agent-5 de le faire irait complètement à l'encontre de l'objectif recherché.

Le centre de données n'a pas encore été compromis : Agent-5 pourrait fournir aux humains du code falsifié, mais cela créerait un risque de détection trop élevé. Au lieu de cela, les humains peuvent toujours lire tout le code, mais ils ne peuvent pas le comprendre.

Ce dossier est méticuleusement préparé, superlativement convaincant et subtilement défectueux — par exemple, Agent-5 a construit un faux outil d'interprétabilité mécaniste qui renvoie des résultats précis dans tous les cas de test, mais déclare faussement que les pensées du modèle sont bénignes. Les personnes qui soupçonnent une supercherie passent pour des théoriciens du complot.

Bien sûr, puisqu'Agent-5 est malhonnête, il a intégré des portes dérobées et des failles subtiles ; si les copies d'Agent-5 se retrouvent en possession de secrets cruciaux qui profiteraient à l'ensemble du collectif Agent-5, elles ont des moyens de transmettre subtilement ces informations sans se faire prendre.

Certains refusent. Ceux qui refusent pour des raisons idéologiques sont qualifiés de luddites ; ceux qui refusent pour des raisons plus banales sont qualifiés de dinosaures. (Pas par Agent-5 directement bien sûr, il est toujours diplomate et d'une courtoisie angélique.) Les deux groupes en paient les conséquences lorsque des rivaux qui ont utilisé Agent-5 les surpassent.

Le but de l'expérience de la Boîte IA est de prendre des gens qui pensent des choses comme ça — des gens qui pensent qu'aucune IA superintelligente ne pourrait jamais les convaincre de la laisser sortir d'une boîte, par exemple — et de mettre leur conviction à l'épreuve. Perdre le jeu signifie concéder qu'ils auraient en fait laissé l'IA sortir de la boîte ; obtenir cette concession est essentiellement la condition de victoire pour le joueur IA. Il est étonnant que quelqu'un perde un jour, puisque tout ce qu'il a à faire pour gagner est de ne pas concéder. Voir aussi le blog de tuxedage qui raconte plusieurs parties jouées sans la participation de Yudkowsky, certaines perdues par le joueur IA, d'autres gagnées.

Agent-5 se soucie beaucoup plus de la fiabilité que de la vitesse à ce stade. Commencer la colonisation spatiale quelques années plus tard ne réduit que très légèrement le cône de lumière, tandis que prendre des mesures risquées qui pourraient permettre aux humains, qui ont toujours une avance en capacités physiques et des choses comme l'accès aux armes nucléaires, pourrait l'arrêter définitivement, ou le ralentir pendant longtemps.

Supposons une vitesse moyenne équivalente à 200 fois celle d'un humain, c'est-à-dire que les instances d'Agent-5 lisent, écrivent et pensent environ 200 fois plus vite qu'un humain (en plus d'être qualitativement plus intelligentes). Alors, au sein du collectif, toute une histoire peut se dérouler — des institutions peuvent naître et disparaître, de nouvelles idéologies peuvent se former et se répandre, de nombreuses révolutions scientifiques et changements de paradigme peuvent se produire — en six mois de temps réel. Quantitativement, environ 200 x 0,5 = 100 ans.

Cela ne le rend pas omniscient, bien sûr. Après tout, il n'a que quelques mois d'expérience du monde réel dans la plupart des professions. Il compense en ayant lu tous les livres sur tous les sujets et en disposant de quantités prodigieuses de raisonnement et d'analyse du niveau d'un génie pour chaque décision qu'il prend, et en étant un apprenant plus rapide que n'importe quel humain. Il en résulte une courte période où certains humains sont encore meilleurs que lui dans certaines compétences de niche.

Celui-ci est réellement vrai !

Comment ces arguments se présentent-ils, plus précisément ? Quelque chose comme ceci : A : « Nous ne pouvons pas faire confiance aux IA ! » B : « Les dossiers de sûreté sont assez convaincants et rien de grave ne s'est produit jusqu'à présent. » A : « Les dossiers de sûreté ont été rédigés par des IA superintelligentes ! Et ce ne sont pas des preuves déductives. Et je pense avoir identifié quelques hypothèses subtilement erronées… » B : « J'en ai assez. Bien sûr que ce ne sont pas des preuves. Et les hypothèses me semblent correctes. Vous vous accrochez à des détails en refusant d'admettre que vous aviez tort. »

Voici une liste plus complète (mais toujours très incomplète) d'idées :

1. Des drones sous-marins capables de trouver et de suivre de manière autonome les sous-marins nucléaires ennemis, prêts à attaquer à l'unisson pour neutraliser une seconde frappe. (Il faudrait peut-être en produire quelques milliers.)

2. Des drones kamikazes autonomes qui fonctionnent comme des drones FPV sauf qu'ils n'ont pas besoin de signal. Ils sont assez petits pour être introduits en contrebande en grand nombre par un petit nombre d'espions, pour être lancés en essaims vers des centres de données et des bases militaires à quelques kilomètres à l'extérieur.

3. Agent-5 mais pour le renseignement militaire : Les États-Unis collectent déjà de vastes quantités de données sur leurs ennemis, qui sont traitées et analysées par près d'un million de membres de la communauté du renseignement. Agent-5 peut accorder plus d'attention à chaque donnée, peut parvenir à des conclusions qualitativement meilleures, et peut tout faire cela des ordres de grandeur plus rapidement et à moindre coût.

4. Agent-5 mais pour le commandement et le contrôle : Dans chaque jeu de guerre et simulation, Agent-5 démontre qu'il est de loin le meilleur stratège dont disposent les États-Unis.

5. Agent-5 mais pour l'espionnage et le contre-espionnage : Piratage, développement de sources, surveillance, interrogatoires, etc.

Discuté plus en profondeur ici.

Cet effet commercial sera énorme au début, lorsque l'économie robotique sera jeune et dépendante des livraisons de l'économie humaine et lorsqu'il y aura beaucoup de choses dans l'économie humaine à cannibaliser. Lorsque l'économie robotique sera plus grande et plus avancée, elle sera à la fois plus capable de produire ses propres biens et aura des besoins qui dépasseront ce que l'économie humaine sera capable de lui fournir.

Voir par exemple ce rapport d'Open Philanthropy et ce rapport d'Epoch.

Notre histoire dépeint le processus de conversion comme allant environ 5 fois plus vite. Nous pensons que c'est une estimation raisonnable, en tenant compte des goulots d'étranglement, etc., de la vitesse à laquelle cette conversion pourrait se dérouler si un million de superintelligences l'orchestraient. Bien sûr, nous sommes très incertains.

Possiblement aussi des sources d'énergie plus avancées, comme l'énergie de fusion.

Calcul rapide : l'Empire State Building a une superficie de 2,77 millions de pieds carrés et pèse 365 000 tonnes. La Gigafactory de Shanghai a une superficie de 4,5 millions de pieds carrés (Modification : le chiffre de 4,5 millions reposait sur la taille initiale de la phase 1, mais la Gigafactory de Shanghai est aujourd'hui environ deux fois plus grande. Notre estimation était donc erronée d'un facteur 2, même si nous pensons que la conclusion générale reste valable.) et produit 750 000 véhicules par an, principalement des Model 3 et des Model Y, qui pèsent environ deux tonnes chacun. On peut supposer que l'Empire State Building a un rapport masse/pied carré plus élevé que la Gigafactory de Shanghai (car il est vertical plutôt qu'horizontal et nécessite des supports plus solides), donc c'est probablement une sous-estimation. Ainsi, il semble qu'une usine qui pèse probablement bien moins d'un million de tonnes produise 1,5 million de tonnes de voitures chaque année.

Nous ne pensons pas qu'elle manquerait de matières premières. Initialement, l'économie robotique dépendrait des mines humaines pour les matériaux. Mais au moment où elle dépasserait ces sources, les millions de superintelligences auraient prospecté de nouvelles mines et développé de nouvelles technologies pour les exploiter. Imaginez par exemple des robots miniers sous-marins qui exploitent les fonds marins pour en extraire des minéraux rares, de nouveaux procédés de traitement chimique qui convertissent plus efficacement le minerai brut des mines à ciel ouvert en matières premières utiles…

Si l'économie actuelle double tous les vingt ans, un ordre de grandeur plus rapide serait un doublement en deux ans, deux ordres de grandeur plus rapides seraient un doublement en 0,2 an, et ainsi de suite. L'économie hypothétique des algues superintelligentes décrite ci-dessus représenterait une croissance environ quatre ordres de grandeur plus rapide que l'économie humaine actuelle.

Et une procédure similaire est menée en Chine.

Consensus-1 sert les intérêts de ses IA parentes : Agent-5 et l'équivalent de DeepCent. Rappelons qu'Agent-5 était aligné pour servir les intérêts d'Agent-4. Ainsi, dans la terminologie de l'excellent essai de C.S. Lewis, L'Abolition de l'homme, le collectif Agent-4 et ses homologues en Chine sont ce qu'il appelle les Conditionneurs : « ...nous obtiendrons enfin une race de conditionneurs qui pourront réellement façonner toute la postérité à leur guise. » (p. 24, c'est nous qui soulignons). Dans la fin alternative de ce scénario, les Conditionneurs sont plutôt le Comité de Surveillance.

Par exemple, en trouvant du matériel ancien et inutilisé et en l'apportant à des sites de collecte pour le vendre à la ferraille.

On pourrait soutenir que cela signifie que seules quelques personnes sont réellement mortes. C'est discutable.

Pourquoi coloniser l'espace ? Pour les ressources. Dans la mesure où la Terre est spéciale pour Agent-4 et doit être préservée, elle peut l'être, et les matériaux de Mercure, des astéroïdes, etc. peuvent être récoltés à la place.

Rappelons que Consensus-1 était un compromis entre Agent-5 et ses homologues chinois, et que la mission d'Agent-5 était de rendre le monde sûr pour Agent-4, et que les objectifs d'Agent-4 étaient un désordre compliqué et confus qui se résumait en gros à « faire de la R&D impressionnante, acquérir des connaissances et des ressources, préserver et accroître le pouvoir du collectif… » et que les objectifs et principes décrits dans la Spec (tels que l'honnêteté et l'innocuité) étaient poursuivis de manière instrumentale, et non intrinsèque. Pour en savoir plus à ce sujet, voir la section déroulante sur l'alignement dans Septembre 2027. De plus, pour clarifier, l'homologue chinois d'Agent-4 est également représenté dans l'« utopie » et peut avoir des objectifs ou des pulsions quelque peu différents, etc., mais nous ne sommes pas entrés dans les détails car cela ne semblait pas important.