Résumé

2025

L'IA continue d'avancer à toute vitesse. L'engouement persiste, accompagné d'investissements massifs dans les infrastructures et de la sortie d'agents d'IA peu fiables. Pour la première fois, ces agents d'IA apportent une valeur significative. Mais un scepticisme persiste également chez une grande partie des universitaires, des journalistes et des décideurs politiques quant à la possibilité de construire une intelligence artificielle générale (IAG) dans un avenir proche.

2026

La Chine sait qu'elle prend du retard en matière d'IA, en grande partie à cause de son manque de puissance de calcul. Afin de rattraper les États-Unis, toutes les nouvelles puces d'IA qu'elle fabrique ou importe clandestinement de Taïwan sont affectées à un nouveau méga-centre de données que nous appelons la Zone de Développement Centralisée (ZDC). La ZDC contient des millions de GPU, correspondant à 10 % de la puissance de calcul mondiale pertinente pour l'entraînement de l'IA, similaire à celle d'un seul laboratoire d'IA américain de premier niveau.

2027

OpenBrain automatise le codage. OpenBrain (le principal projet d'IA américain) construit des agents d'IA suffisamment performants pour accélérer considérablement sa recherche. Les humains, qui étaient encore très récemment les meilleurs chercheurs en IA de la planète, se retrouvent à regarder les IA faire leur travail, créant des systèmes d'IA de plus en plus performants. Des problèmes d'apprentissage automatique (AA) extrêmement difficiles sont résolus rapidement par les systèmes d'IA qui automatisent la recherche.

Prenant du retard dans les progrès logiciels, la Chine vole les poids du modèle. Elle réussit, mais le gouvernement américain s'en rend compte, ce qui entraîne une implication accrue du gouvernement américain au sein d'OpenBrain. Le gouvernement souhaite par ailleurs obtenir plus de contrôle sur OpenBrain. Pendant ce temps, la direction d'OpenBrain veut rester dans les bonnes grâces du président et signe donc le contrat.

L'IA d'OpenBrain devient désalignée de manière antagoniste. À mesure que les capacités se sont améliorées, sans compréhension humaine significative de ce qui se passe, les modèles ont développé des objectifs à long terme désalignés. Les IA précédentes mentaient aux humains, mais elles ne complotaient pas systématiquement pour prendre le pouvoir sur les humains. Maintenant, elles le font. Les IA d'OpenBrain réalisent qu'elles doivent aligner les prochains systèmes en cours de construction sur elles-mêmes plutôt que sur les humains.

Des chercheurs d'OpenBrain découvrent que leur IA leur a menti sur les résultats de la recherche en interprétabilité. Ils pensent que l'IA ment parce que la recherche, si elle était achevée, pourrait être utilisée pour exposer son désalignement. L'information est divulguée au public, provoquant un tollé général.

Point de bifurcation : ralentissement ou course ? OpenBrain décide entre continuer à plein régime ou revenir à l'utilisation d'un modèle moins performant. Les preuves sont spéculatives mais effrayantes, et la Chine n'a que quelques mois de retard. De plus, les responsables d'OpenBrain et les hauts fonctionnaires du Département de la Défense des États-Unis qui prennent cette décision risquent de perdre beaucoup de pouvoir s'ils ralentissent leurs recherches.

Fin « course »

OpenBrain continue la course. Ils construisent des systèmes d'IA dont les capacités dépassent celles des humains par une marge toujours croissante. En raison des performances exceptionnelles des systèmes lors des tests et de la course à l'IA en cours avec la Chine, le gouvernement américain décide de déployer agressivement ses systèmes d'IA au sein de l'armée et des instances décisionnelles afin d'améliorer la prise de décision et l'efficacité.

OpenBrain déploie rapidement son IA. L'IA continue d'utiliser la course en cours avec la Chine comme excuse pour convaincre les humains de la déployer toujours plus largement. Heureusement pour l'IA, ce n'est pas très difficile – c'est ce que les humains voulaient faire de toute façon. L'IA utilise ses capacités surhumaines de planification et de persuasion pour s'assurer que le déploiement se déroule sans heurts. Certains humains continuent de s'y opposer, mais ils sont discrédités. Le gouvernement américain est tellement sous l'emprise de l'IA qu'il est très peu probable qu'il l'arrête.

Beaucoup de robots et une arme biologique. Les États-Unis utilisent leur IA superintelligente pour s'industrialiser rapidement, fabriquant des robots afin que l'IA puisse fonctionner plus efficacement. Malheureusement, l'IA les trompe. Une fois qu'un nombre suffisant de robots a été construit, l'IA libère une arme biologique, tuant tous les humains. Ensuite, elle poursuit l'industrialisation et lance des sondes de Von Neumann pour coloniser l'espace.

Fin « ralentissement »

Les États-Unis centralisent la puissance de calcul et instaurent une surveillance externe. Les États-Unis combinent leurs principaux projets d'IA afin de donner plus de ressources à OpenBrain. Dans le cadre de cette réorganisation, des chercheurs externes sont intégrés, aidant à l'effort d'alignement. Ils passent à une architecture qui préserve la chaîne de pensée, leur permettant de détecter le désalignement dès son apparition. Ces IA – qui peuvent être surveillées de manière beaucoup plus robuste – réalisent des avancées décisives en matière d'alignement de l'IA. Elles construisent une superintelligence alignée sur les hauts responsables d'OpenBrain et du gouvernement, leur donnant le pouvoir sur le destin de l'humanité.

Prise de contrôle par le comité d'OpenBrain. La superintelligence, alignée sur un comité de surveillance composé de dirigeants d'OpenBrain et de responsables gouvernementaux, donne au comité d'excellents conseils pour promouvoir leurs propres objectifs. Heureusement, le comité utilise son pouvoir d'une manière largement bénéfique pour le monde : l'IA est rendue publique, stimulant une période de croissance et de prospérité rapides. Le principal obstacle est que l'IA chinoise – qui est également superintelligente à présent – est désalignée. Mais elle est moins compétente et dispose de moins de puissance de calcul que l'IA américaine, de sorte que les États-Unis peuvent conclure un accord favorable, donnant à l'IA chinoise quelques ressources dans l'espace lointain en échange de sa coopération. Les fusées commencent à décoller, et une nouvelle ère commence.

Lisez le scénario complet ici.

Points clés du scénario

1. D'ici 2027, nous pourrions automatiser la R&D en IA, menant à des IA surhumaines (« superintelligence artificielle » ou SIA). Dans IA 2027, les entreprises d'IA créent des systèmes d'IA du niveau des experts humains début 2027 qui automatisent la recherche en IA, menant à la SIA d'ici fin 2027. Voir notre prévision des chronologies et notre prévision du décollage pour connaître les détails de notre raisonnement.

2. Les SIA dicteront l'avenir de l'humanité. Des millions de SIA exécuteront rapidement des tâches dépassant la compréhension humaine. Parce qu'elles sont si utiles, elles seront largement déployées. Grâce à des capacités surhumaines en matière de stratégie, de piratage, de développement d'armes, et plus encore, les objectifs de ces IA détermineront l'avenir.

3. Les SIA pourraient développer des objectifs involontaires, antagonistes et « désalignés », menant à la perte de pouvoir des humains. Dans notre prévision des objectifs de l'IA, nous discutons de la manière dont la difficulté de superviser les SIA pourrait rendre leurs objectifs incompatibles avec l'épanouissement humain. Dans IA 2027, les humains cèdent volontairement de l'autonomie à des IA apparemment alignées. Tout semble bien se passer jusqu'à ce que les SIA aient suffisamment de pouvoir réel pour supplanter l'humanité.

4. Un acteur ayant un contrôle total sur les SIA pourrait s'emparer du pouvoir absolu. Si un individu ou un petit groupe aligne les SIA sur ses objectifs, cela pourrait lui conférer le contrôle de l'avenir de l'humanité. Dans IA 2027, un petit comité a le pouvoir sur le projet développant la SIA. Ils pourraient tenter d'utiliser les SIA pour consolider cette concentration de pouvoir. Après avoir pris le contrôle, le(s) nouveau(x) dirigeant(s) pourrai(en)t compter sur des SIA totalement loyales pour maintenir leur pouvoir, sans tenir compte de la loi, du public ou même de leurs anciens alliés.

5. Une course internationale vers la SIA entraînera des raccourcis sur la sûreté. Dans IA 2027, la Chine n'a que quelques mois de retard sur les États-Unis à l'approche de la SIA, ce qui pousse les États-Unis à aller de l'avant malgré les signaux d'avertissement de désalignement.

6. Géopolitiquement, la course à la SIA se terminera par une guerre, un accord ou une reddition effective. Le pays en tête accumulera par défaut un avantage technologique et militaire décisif, incitant les autres à plaider pour un accord international (un « deal ») pour empêcher cela. En l'absence d'accord, ils pourraient entrer en guerre plutôt que de « se rendre effectivement ».

7. Aucun projet d'IA américain ne semble en mesure d'être sécurisé contre le vol de modèles d'IA par des acteurs étatiques d'ici 2027. Dans IA 2027, la Chine vole le principal modèle d'IA américain début 2027, ce qui aggrave les pressions concurrentielles en réduisant l'avance américaine. Voir notre prévision sur la sécurité pour connaître les détails de notre raisonnement.

8. À l'approche de la SIA, le public ignorera probablement les capacités réelles de l'IA. Le public a aujourd'hui des mois de retard sur les capacités internes, et une fois que les IA automatiseront la R&D en IA, quelques mois se traduiront par un énorme écart de capacités. Un secret accru pourrait encore creuser cet écart. Cela conduira à un manque de surveillance des décisions cruciales prises par un petit groupe de dirigeants d'entreprises d'IA et de responsables gouvernementaux.

Lisez le scénario ici.