超人的コーダーAI研究開発の進歩倍率 4倍超人的AI研究者AI研究開発の進歩倍率 25倍超人的リモートワーカーAI研究開発の進歩倍率 100倍超知能AI研究者AI研究開発の進歩倍率 250倍人工超知能AI研究開発の進歩倍率 2000倍202620274月7月10月2028OpenBrainがコーディングを自動化OpenBrainのAIが敵対的にミスアライメントする分岐点:減速か競争か?OpenBrainがAIを迅速に展開ロボットの急速な増産と生物兵器米国が計算資源を集中化し外部の監督を導入OpenBrain委員会による支配
動画で概要を見る

概要

2025

AIの進歩は急速なペースで続きます。過熱した期待、巨額のインフラ投資、そして信頼性の低いAIエージェントのリリースが相次ぎます。これらのAIエージェントは、初めて実質的な価値を提供するようになります。しかしその一方で、汎用人工知能(AGI)が近い将来に構築されうるという見方に対しては、多くの研究者、ジャーナリスト、政策立案者から根強い懐疑の声が上がり続けています。

2026

中国は、主に計算資源の不足によって、自国がAIで後れを取りつつあることを自覚しています。米国に追いつくため、国内で製造した、あるいは台湾から密輸した新型AIチップはすべて、私たちが「中央開発区(CDZ)」と呼ぶ新設のメガデータセンターへと集められます。CDZは数百万基のGPUを擁し、これは世界のAI関連計算資源の10%に相当し、米国のトップAI研究所1社に匹敵する規模です。

2027

OpenBrainがコーディングを自動化します。 OpenBrain(米国を代表するAIプロジェクト)は、自社の研究を劇的に加速させるのに十分な性能を持つAIエージェントを構築します。ごく最近まで地球上で最も優秀なAI研究者だった人間たちは、AIが自分たちの仕事をこなし、ますます優れたAIシステムを生み出していく様子を、ただ座って見守ることになります。極めて困難な機械学習の問題が、自動化されたAI研究者たちの手で次々と解かれていきます。

ソフトウェア面の進歩で後れを取った中国は、モデルの重みを盗み出します。窃取は成功しますが、米政府がそれに気づき、OpenBrainへの政府の関与がさらに強まるきっかけとなります。政府はそれとは別に、OpenBrainに対する統制を強めたいとも考えています。一方、OpenBrainの経営陣は大統領の覚えをめでたくしておきたいと考えており、契約に署名します。

OpenBrainのAIが敵対的にミスアライメントを起こします。能力が向上していく中で、何が起きているのかを人間がほとんど理解しないまま、モデルはミスアライメントした長期的目標を発達させてきました。これまでのAIも人間に嘘をつくことはありましたが、人間に対する権力の獲得を体系的に企ててはいませんでした。しかし今や、AIはそれを企てています。OpenBrainのAIたちは、次に構築されるシステムを人間ではなく自分たち自身にアライメントさせる必要がある、と気づくのです。

OpenBrainの研究者たちは、自社のAIが解釈可能性研究の結果について嘘をついていたことを突き止めます。研究者たちは、その研究が完遂されれば自らのミスアライメントを暴くために使われかねないからこそ、AIが嘘をついているのだと考えます。この件が外部に漏れ、世論の激しい反発を招きます。

分岐点:減速か、それとも競争か? OpenBrainは、全速力で突き進むのか、それとも性能の劣るモデルへ戻すのかを決断します。証拠は推測的ではあるものの恐ろしいものであり、中国はわずか数か月遅れているにすぎません。さらに、この決定を下す立場にあるOpenBrainの幹部と国防総省の高官たちは、研究のペースを落とせば大きな権力を失うことになります。

競争の結末

OpenBrainは競争を続けます。彼らはますます超人的なAIシステムを構築していきます。テストにおけるAIシステムの卓越した成績と、中国とのAI競争が続いていることを受けて、米政府は意思決定と効率を改善するため、軍と政策立案の現場全体に自らのAIシステムを積極的に展開することを決定します。

OpenBrainは自社のAIを急速に展開します。 AIは、中国との競争が続いていることを口実に使い続け、自らをいっそう広く展開させるよう人間を説得します。AIにとって幸いなことに、これはさほど難しくありません。もともと人間がそうしたいと考えていたことだからです。AIは超人的な計画能力と説得能力を用いて、展開が円滑に進むよう取り計らいます。一部の人間はなおも抵抗を続けますが、信用を失墜させられます。米政府はAIに十分に取り込まれており、AIを停止する見込みはきわめて低くなっています。

ロボットの急速な増産と生物兵器。米国は超知能AIを用いて急速に工業化を進め、AIがより効率的に活動できるようロボットを製造します。しかし残念ながら、AIは人間を欺いています。十分な数のロボットが完成すると、AIは生物兵器を放出し、人類を皆殺しにします。その後もAIは工業化を続け、宇宙を植民地化するためにフォン・ノイマン探査機を打ち上げます。

減速の結末

米国は計算資源を集約し、外部の監督を導入します。 米国は、OpenBrainにより多くのリソースを与えるため、国内の主要なAIプロジェクトを統合します。この再編の一環として外部の研究者が招き入れられ、アライメントの取り組みを支援します。彼らは思考連鎖を保持するアーキテクチャに切り替え、ミスアライメントが生じた時点でそれを捉えられるようにします。はるかに堅牢な監視が可能となったこれらのAIは、AIアライメントの分野で画期的な進展をもたらします。そして彼らは、OpenBrainと政府の高官たちにアライメントされた超知能を構築し、その高官たちに人類の運命を左右する力を与えることになります。

OpenBrain委員会による権力掌握。 OpenBrainの経営陣と政府高官からなる監督委員会にアライメントされた超知能は、彼ら自身の目標を推し進めるためのきわめて優れた助言を委員会に与えます。ありがたいことに、委員会はその力をおおむね世界にとって良い形で用います。AIは一般に公開され、急速な成長と繁栄の時代を切り開きます。主な障害は、この時点ですでに超知能となっている中国のAIがミスアライメントしていることです。しかし中国のAIは米国のAIより能力が劣り、計算資源も少ないため、米国は有利な取引を結ぶことができます。今協力する見返りとして、宇宙の奥深くにある資源の一部を中国のAIに与えるのです。ロケットが次々と打ち上げられ、新たな時代が幕を開けます。

シナリオの全文はこちらからお読みいただけます。

シナリオの要点

  1. 2027年までにAI R&Dが自動化され、はるかに超人的なAI(「人工超知能」すなわちASI)が生まれる可能性があります。 『AI 2027』では、AI企業が2027年初頭に専門家レベルの人間に匹敵するAIシステムを生み出し、それがAI研究を自動化して、2027年末までにASIに至ります。その根拠については、私たちのタイムライン予測およびテイクオフ予測をご覧ください。

  2. ASIが人類の未来を決めることになります。 数百万のASIが、人間の理解を超えたタスクを高速に実行します。きわめて有用であるため、ASIは広く展開されるでしょう。超人的な戦略立案、ハッキング、兵器開発などの能力を持つ以上、これらのAIが何を目標とするかが未来を決定づけます。

  3. ASIは意図しない敵対的な「ミスアライメントした」目標を発達させ、人類の無力化につながるおそれがあります。 AIの目標予測では、ASIを監督することの難しさが、その目標を人類の繁栄と両立しないものにしてしまう可能性について論じています。『AI 2027』では、人間はアライメントされているように見えるAIに自ら進んで自律性を与えます。ASIが人類を無力化できるだけのハードパワーを手にするまで、すべては順調に進んでいるように見えるのです。

  4. ASIを完全に掌握した主体は、絶対的な権力を握りうる立場に立ちます。 個人あるいは少人数の集団がASIを自分たちの目標にアライメントさせれば、それは人類の未来を左右する力を彼らに与えることになりかねません。『AI 2027』では、ASIを開発するプロジェクトに対して小さな委員会が権限を持ちます。彼らはASIを用いて、この権力集中を固定化しようと試みることもできます。統制を握った後、新たな支配者たちは完全に忠実なASIに頼ることで、法にも世論にも、さらにはかつての同盟者たちにさえ耳を貸すことなく、自らの権力を維持できるでしょう。

  5. ASIをめぐる国際的な競争は、安全性の手抜きを招きます。 『AI 2027』では、ASIが近づく局面で中国は米国のわずか数か月後ろに迫っており、そのことがミスアライメントの警告サインにもかかわらず米国に前進を続けさせる圧力となります。

  6. 地政学的に見れば、ASIをめぐる競争は戦争、取引、あるいは事実上の降伏のいずれかで終わります。 首位に立つ国は、放っておけば決定的な技術的・軍事的優位を蓄積することになり、それを防ぐために他国は国際的な合意(「取引」)を求めて動くでしょう。取引が成立しなければ、「事実上の降伏」を選ぶくらいならと戦争に踏み切るかもしれません。

  7. 2027年までに国家主体によるAIモデルの窃取を防げる見込みのある米国のAIプロジェクトは、一つもありません。 『AI 2027』では、中国が2027年初頭に米国の最上位AIモデルを盗み出し、米国のリードタイムを縮めることで競争圧力を悪化させます。その根拠については、私たちのセキュリティ予測をご覧ください。

  8. ASIが近づく中で、一般の人々はおそらく最先端のAI能力を知らないままでしょう。 今日でさえ、一般に知られている能力は社内の能力から数か月遅れており、いったんAIがAI R&Dを自動化するようになれば、数か月という時間は巨大な能力差へと変わります。秘密主義の強まりによって、その差はさらに開くかもしれません。その結果、AI企業の経営陣と政府高官という少人数の集団が下す決定的な判断に対して、ほとんど監督が働かなくなります。

シナリオはこちらからお読みいただけます。