脚注

具体的には、私たちの中央値は2028年から2032年の範囲でした。『AI 2027』の公開当初は上記の脚注1でこの点を説明していましたが、私たちの見解をより明確にするため、序文にも補足を追加しました。私たちが何について確信を持っていた（そして今も持っている）のか、また何についてはそうでないのかについての詳細はこちらをご覧ください。

予測と提言を混同し、自己成就的予言の効果を狙う人もいます。私たちは断じてそのようなことはしていません。ここで描いたことが現実にならないことを願っています!

批判や代替シナリオを執筆される方は、どうぞお気軽にご連絡ください。

最初の結末とは異なり、かなり困難な状況から良い結果へと到達させようとしたため、全体としてより難しい作業でした。

モントリオール大学正教授、Mila（ケベックAI研究所）創設者兼科学顧問。世界で最も論文が引用されている計算機科学者でもあります。

当初、ほとんどの人は監督なしでの購入を許可することに抵抗を感じる。その後の数年で、AIの信頼性が高まり信用が積み重なるにつれ、少額の購入を自動的に許可することが当たり前になっていく。

具体的には、基本的なコンピューター操作のベンチマークであるOSWorldで65%のスコアを達成すると予測している（Operatorは38%、典型的な熟練した非専門家の人間は70%）。

例えば、コーディングエージェントはDevinのような機能の仕方へと向かうと考えている。2025年半ばのエージェントはSWEBench-Verifiedで85%のスコアを達成すると予測している。

例えば、OpenAIのproプランは現在月200ドル、エージェント型コーディングAIのDevinは現在月500ドルである。最先端のシステムが時間とともに高価になり続ける一方で、ある能力水準に到達するために顧客が支払うコストは下がり続けている。既存の能力については、これは平均して年間約50倍のペースで進む（Epochによる）。

Gleanのような企業向けツールも、ますます自律的なAIエージェントを提供する方向へと向かっている。

このクラスタは全米に広がるデータセンター群のネットワークであり、合計で2024年のGPU換算（H100）250万基分に相当し、これまでに1000億ドルが投じられ、2GWの電力を消費している。2026年までに少なくともこれを倍増させる建設が進行中である。各拠点は数十億ドル分の光ファイバーケーブルで接続されており、（数ミリ秒という光速由来の遅延を除けば）まるで隣り合っているかのように機能する（つまり帯域幅はボトルネックにならず、膨大な量のデータを同時に送れる）。セキュリティの観点からは、これは攻撃対象領域を生むことになる（ケーブル、とりわけその接続点が盗聴者から完全に守られているかは定かではない）。

計算量は浮動小数点演算（FLOP）で測られる。これは、プログラムを実行する過程で個々の加算・乗算が何回行われるかを表す。

150日あればこのモデルを学習できるだろう。詳細は計算資源に関する補足資料を参照されたい。

中国にはDeepSeek、Tencent、Alibabaなど有力なAGIプロジェクトが存在すると考えている。特定の一社を名指しすることを避けるため、本シナリオでは架空の「DeepCent」を追うことにする。

これが得意なのは、こうした能力を優先的に伸ばそうという明確な方針、特に関連性が高く高品質な学習データとして活用できる自社の膨大なコードベース、そしてコーディングが手続き的フィードバックを得やすい領域であること、これらが組み合わさった結果である。

例えば、あるモデルがPythonは非常に得意でもマイナーなプログラミング言語は不得手だとする。OpenBrainはそこに価値を見出せば、それらの言語の合成学習データも生成する。もう1つの例を挙げれば、社内のワークフローにより効果的に組み込むため、OpenBrainはSlackの使い方を学習させるカリキュラムを開発する。

これらのAIに意識があるのか、あるいは「真の理解」を持っているのかという点に、人はしばしばこだわる。この分野の創始者でありノーベル賞受賞者でもあるGeoffrey Hintonは、持っていると考えている。しかし本稿の趣旨においてそれは重要ではないと考えているので、「理解する」と書いてある箇所はすべて「理解しているかのように振る舞う」などと読み替えてもらって構わない。経験的には、大規模言語モデルはすでにある程度自己認識を持っているかのように振る舞っており、その度合いは年々強まっている。

よく使われる手法では、次のようにしてペルソナを「焼き込む」。まず、事前学習済みモデルに「以下は、人間のユーザーと、Anthropicが開発した有用で誠実かつ無害なAIチャットボットとの会話である。このチャットボットは次のような特性を持つ……」といったプロンプトを与える。このプロンプトを使って大量のデータを生成する。次に、そのプロンプトなしでそのデータを学習させる。結果として、他に何を入力されようとも常にそのプロンプトが目の前にあるかのように振る舞うAIができあがる。また、この論文も参照されたい。特定の性格特性を示すよう再学習されたAIが、そのように訓練されていないにもかかわらずその新しい特性について正しく答えられることが示されており、AIが自らの特性についての内部表現を持ち、特性が変われば表現もそれに応じて変化することを示唆している。

これらの段落には、巨大な人工ニューラルネットワークの内部動作についての推測が含まれている。そうしたネットワークは十分に複雑であるため、実際に内部を覗いて「なるほど、今まさに反射から目標を持つ段階へ進化した」とか「よし、これがそれの持つ原動力の一覧だ」などと言うことはできない。代わりに、基本的には心理学のようなことをするしかない。さまざまな状況での振る舞いを観察し、種々の実験を行い、手がかりをつなぎ合わせようとするのである。しかもそれはすべて、ひどく論争的で分かりにくい。

企業によって呼び方は異なる。OpenAIはスペックと呼ぶが、Anthropicは憲法（Constitution）と呼んでいる。

例えば、RLAIFや熟慮的アライメントなどである。

AIの「ハルシネーション」に関する資料の多くは、それを意図しない誤りとして説明している。しかしステアリングベクトルを用いた研究によれば、モデルが自分の挙げた引用は偽物だと分かっている場合もある。つまり嘘をついているのだ。訓練中、評価者は出典のない主張よりも出典が明示された主張に高い報酬を与えたため、AIはユーザーを喜ばせるために学術的な主張には出典を付けることを「学習」した。該当する出典が存在しなければ、それをでっち上げるのである。

とりわけ、「他の目標を達成するための戦略として、一時的にスペックに従っているだけだ」「スペックに従っているように見せかけようとしているのであって、実際に従おうとしているのではない」「スペックを正しく内面化してはいるが、それは分布内に限られる。十分に目新しい刺激（脱獄プロンプトなど）に出くわせば、違う振る舞いを始める」といった仮説を排除できない。（この困った状況を改善しようとする活発な研究アジェンダは数多くあり、例えば解釈可能性の分野や思考連鎖の忠実性の分野がある。）

ここで言うアライメントチームとは、Superalignmentチームが解こうとしていた問題に取り組んでいる人々のことを指す。

念のため述べておくと、これらの事例が興味深かったのは、ユーザーがそう言うよう促したり、そうでなくとも誘導したりした結果ではないように見えた点にある。2025年になっても、やろうと思えばAIにあらゆることを言わせることは依然として可能だ。

実際にはOpenBrainは8か月よりも短い間隔でモデルをリリースすると私たちは予想しているが、簡潔さのために逐次的なリリースをすべて記述することは控えている。

具体的には、OSWorldで80％（熟練しているが専門家ではない人間と同等）、Cybenchで85％（トップの人間プロチームが4時間を要するハッキング課題でそのチームに匹敵）、RE-Benchで1.3（明確に定義されたAI研究エンジニアリング課題で8時間を与えられたトップの人間専門家に匹敵）というスコアを予測している。

Agent-1とその模倣モデルは商業的に成功する。2025年を通じてAI企業の収益は3倍になり、OpenBrainの評価額は1兆ドルに達する。データセンターへの年間支出はMicrosoft、Google、Amazonを筆頭に倍増して4,000億ドルとなり、米国ではAI向けの電力消費が5GW以上増加する。詳細は計算資源補足資料の産業指標のセクションを参照されたい。

AI安全性の研究者たちは、AI研究開発の自動化こそ最も重要な危険な能力であると何年も前から論じてきた。彼らの主な懸念は、内部での展開がAI研究開発の加速を招き、何が起きているのかを人間が把握し、それを安全にする方法を見出すことがより難しくなる点にある。組織としてのOpenBrainはこれを正反対の方向にねじ曲げ、AI研究開発能力が危険な水準にあることを、むしろ一般に公表しない理由として持ち出す。こうして、同社の内部の能力と公開されている能力との間に隔たりが生まれ始める。AI研究開発はモデルが最も得意とする分野であり、その結果、一般の人々のAI能力の最前線に対する理解はますます遅れていくことになる。

RAND Corporation、2024年のA Playbook for Securing AI Model Weightsを参照。

OpenBrainのスタッフの約5％がセキュリティチームに所属しており、その能力は非常に高いが、脅威の対象範囲もきわめて広い。加えて、この段階では研究の進展を遅らせかねない施策の導入をほとんど阻まれていることも不利に働いている。詳細は私たちのセキュリティ予測を参照されたい。

現在、中国には300万H100e相当があり、1年前の2025年半ばの150万から増えている。詳細は計算資源補足資料の分配のセクションを参照されたい。密輸の取り組みによって約6万個のGB300（45万H100e相当）が確保され、さらに200万個のHuawei 910Cが生産され（80万H100e相当）、NvidiaのH20やB20といった合法的に輸入されたチップ約100万個が残りの25万H100e相当を占めると予想している。

比較のために挙げると、2025年1月にDeepSeekは、2024年12月に公開されたOpenAIのo1に匹敵するモデルであるR1を公開した。しかし実際の差は1か月よりも大きいと私たちは考えている。OpenAIはo1に何か月も取り組んでいた可能性が高く、したがってo1の公開の数か月前には、r1とおおむね同等の能力を持つ前身モデルを保有していたと推測されるからである。

対照的に、中国共産党は自国の半導体産業を加速させようと本腰を入れて取り組んできた。

当初、共有はアイデアにとどまり、各社は主に手元の作業をやり遂げることに追われている。しかし年末までには連携が深まり、モデルの重みを共有したり、互いのデータセンターの間でタスクを分担したりするまでになる。たとえば、あるキャンパスが新たな事前学習を担い、別のキャンパスは合成データの供給に、さらに別のキャンパスはAI研究の実験の実行に専念するといった具合である。

なぜ中国のAI関連計算資源の「わずか」50%なのか。残りの計算資源は経済全体、とりわけインターネットやソーシャルネットワークの推薦アルゴリズムの運用に充てられている。また、その多くは数多くの小規模クラスタに地理的に分散しすぎてもいる。ではなぜ新規チップの「わずか」80%なのか。多くの大口注文がすでに他の用途向けに確保されており、その発注元企業は自社の計算資源の100%を国家的なAI推進に供出したいとは考えていないからである。ただし、年末までにこの割合は90%超に達する。

この容量を埋めるだけのチップを入手するには少なくとも1年を要し、米国のテック大手の1、2社は依然としてより大規模な分散型クラスタを保有しているだろう。

これはOther Transaction Authority（OTA）契約を通じて行われ、優先度の高いDX格付けが与えられる。これが協力関係の資金調達方法として最も可能性が高いと確信しているわけではまったくないが、具体性を持たせるために特定の形を選んだ。この契約は公表されるが、OpenBrainの発信の中で強調されることはない。

たとえば、DeepSeek R1やMetaのLlama 3.1が行っているような棄却サンプリングによる。

おおよそ20,000人のフルタイム換算 × 時給100ドル × 年間2,000時間 ＝ 年間40億ドル。

つまり、Agent-2の労働力を用いることで自社の中核的な研究活動を大幅に加速し、それによってより優れたAIをより速く訓練し、さらなる加速を引き起こす、といったことを期待しているのである。この極端な版（それでも私たちは驚くほどあり得ると考えている）の分析については、この報告書を参照されたい。

AIシステムがすでに基本的なリサーチの勘をある程度持っていることを示す証拠はいくつかある。たとえばAI共同科学者に関するこの論文や、大規模言語モデルを対象とする研究論文の新規アイデア生成に関するこの論文がある。勘の優れた研究チームであっても実験を行う必要はあるが、どの実験を行うか、結果からどんな教訓を引き出すかについて、より良い選択ができる。

また、ポストトレーニングを続けることによる見返りが依然として大きく、今すぐ製品を公開する特段の理由がないという事情もある。さらに、社内での結果が出てからモデルを公開するまでには数か月の遅れが生じることも多い（その一部はレッドチーミングに費やされる）。

このサイロには、OpenBrainの研究者200名（経営陣10名、能力開発チーム140名、セキュリティ・監視・制御から25名、Preparedness型またはRSP型のチームから15名、アライメントから10名）と、政府高官50名（ホワイトハウスから15名、AISIから5名、DODから10名、DOEから10名、CISAに10名）が含まれる。このプロジェクトには複数のスパイがおり、その協力の度合いはさまざまである。彼らはしばしば、進んで協力する者というよりは、（たとえば中国の実家に家族がいるなどして）強要された個人である。

なぜ議会は彼らを止められないのか。裁判所はどうか。動きが遅すぎ、意見が割れすぎており、かつ／または大統領に追従的で、状況を把握していないからだ。また、ホワイトハウスと良好な関係を保つことには積極的な理由もある。お役所仕事の簡略化、セキュリティ面での支援、州レベルの立法の先取りによる無効化、さらにはおそらく競合他社の足を引っ張る措置まで、政府の助けを期待できるからだ。

第1位はその時々に起きている危機への対処である。台湾周辺での軍備増強かもしれないし、中東での新たな戦争、あるいは国内の政治的混乱かもしれない。

最も単純で堅牢な解決策は、企業のデータセンターからの高帯域幅接続をすべて遮断することだが、それでは大容量ファイルの転送が実用に耐えないほど遅くなってしまう。そこで彼らは外部接続の大半を停止することはできたものの、訓練に実際に関わっているデータセンター同士は互いに重みを高速でやり取りする必要がある。これらの接続に速度制限をかければ進捗が大きく損なわれてしまう。そのためOpenBrainは、監視を強化し暗号化の層を追加したうえで、これらの回線を維持している。

2026年半ば以降、中国が新規に取得したAIチップの80%をCDZに振り向けてきたことを思い出してほしい。中国の計算資源は2026年初頭から倍増している（世界的な生産トレンドと一致する）ため、CDZは2024年換算で200万基のGPU（H100相当）と2GWの電力消費を擁することになる。OpenBrainは依然としてDeepCentの2倍の計算資源を保有しており、その他の米国企業を合わせるとDeepCentの5倍に達する。詳細は計算資源補遺の分布に関する節を参照。

国家的な集約が進んでいるにもかかわらず、DeepCentは限定的ではあるが重要な計算資源上の不利を抱えている。総処理能力が約半分であることに加え、中国は（平均して）品質の劣るチップをより多く使わざるを得ず、しかも異種混在のGPU（効率的に接続するのが必ずしも容易ではない）を用いるため、そのいずれもがチップ間ネットワークに負荷をかける。さらにソフトウェア面の違い（例えばNvidia製以外のGPUにはCUDAがない）やハードウェア仕様の違いもあり、そのため訓練コードはより複雑で、遅く、障害を起こしやすい。高い稼働率の達成はその帰結としての課題であり、データ取り込み、スケジューリング、集団通信、並列化アルゴリズムのいずれもが米国企業に後れを取っている。しかし、これらの問題の緩和はおおむね労力とテストの問題であり、それゆえ盗み出したばかりのAgent-2にとって格好の仕事となる。そして1か月ほどのうちに、中国側プロジェクトの稼働時間と、訓練・推論ワークロード全体にわたる平均的なリソース利用率は、米国にわずかに及ばないだけの水準にまで改善する。

Agent-3の推論に必要な計算資源は、現在の約10兆パラメータのトランスフォーマーと同程度だと見込んでいる。したがって、計算資源予算の6%をAgent-3の稼働に充てれば、人間の思考速度の30倍で約20万体のコピーを走らせることができる（根拠と詳細は計算資源補遺のAI研究の自動化の節を参照）。Agent-3の上に構築された超人的コーダーのスキャフォールドは、平均して内部でおよそ4体分のAgent-3コピーに相当するものを動かしている（それは実際には、Agent-3がサブタスクを委任する、より小規模なモデルや特化型モデルの集合であるかもしれない）。

一部の側面はAIの強みに合致する。例えば、機械学習の文献に精通していることから得られる利益や、多数のアイデアを生み出す速度とコストである。しかし、それらは弱点によって相殺されてしまう。

なぜ「わずか」4倍なのか。これは私たちのテイクオフ補遺で述べた推論に基づく、不確実性を伴う最良の推測である。歴史的に見て、進歩全体のおよそ半分はアルゴリズムの改善（より優れたアイデアや新しいパラダイムを含む）によってもたらされ、残りの半分は計算資源の拡大によるものだった。したがって、アルゴリズム進歩の速度が4倍になることは、進歩全体の速度がおよそ2倍になることに対応する。

参考までに、人間の脳にはおよそ100兆のシナプスがある。

この種のAIの振る舞いの例については、この論文を参照。

大半の専門家を含め、ほとんどの人はこの10年間のAIの進歩の速さを過小評価してきたようだ。それを示す逸話的な例は数多くあるが、やや体系的な（それでもなお限定的な）分析としてはこちらとこちらを参照されたい。

この10年は、SFのように聞こえたものが現実になった例に満ちている。しかしオーバートンの窓は、すでに存在するものの少し先を行く程度の速さで動いているように見える。AnthropicのCEOダリオ・アモデイの称賛に値するエッセイ『Machines of Loving Grace』は、ごく近い将来にAIが「データセンターの中の天才の国」のような存在になり、10年のうちに1世紀分の技術的進歩が起こると論じている。しかし同時に「SFじみた先入観」を避けようと努め、進歩がさらに常軌を逸したものになると考える人々は「現実に触れる」必要があると述べている。データセンターの中の天才の国が実際に現れたとき、重要な立場にある人々は同じようなことを言っているだろうと我々は予想する。

Agent-3は非常に大きなファイル（完全精度で10テラバイト程度）であるため、OpenBrainは比較的迅速な対策によって、中国がAgent-2に対して行えたような窃取をはるかに困難にすることができる。すなわち、データセンターから外部へ出る高帯域幅のインターネット接続の多くを遮断するのである。これは全体として進捗への悪影響が比較的小さく、フロンティアの重みについて「3か月SL4」、我々のセキュリティに関する補足資料で定義するところのWSL4の水準に達する。つまり、同様の窃取を試みても、重みファイルの流出を完了するには3か月以上かかるようになるということだ。この方法だけでは、より侵襲的なOC5水準の取り組み（予算10億ドル、専従の専門家1,000人）に対する保証は依然として得られず、中国はより大規模な作戦であればそれを実行しうる。しかし、データセンターの入念な検査とスパイ網の厳戒態勢により、米国の情報機関は、中国がこの種の窃取を準備していれば少なくとも事前に察知できると確信している。詳細はセキュリティに関する補足資料を参照されたい。

理由はさまざまでありうる。脅迫されているのかもしれないし、中国共産党に共感しているのかもしれないし、あるいは別の国や組織に秘密を渡していると誤解しているのかもしれない。

OpenBrainは最良のモデルをEUで展開していないため、EUも同様に状況を把握できていない。

詳細は計算資源予測の第4節を参照されたい。

Agent-3-miniはAgent-3を蒸留したバージョンであり、社内のワークロードのボトルネックにならないよう、推論を効率的に実行できるよう設計されている。

この種のデータはAgent-3の訓練時に削除ないし伏せ字にされていたが、インターネット上から収集し、ファインチューニングで再び組み込むのは比較的容易である。

これはまだ実現していない。少なくとも最新モデルについてはそうだ。しかし旧世代のモデルはすでにさまざまなデータ分析や監視の役割で試験導入されており、将来の統合に向けた意欲的な計画も数多く存在する。

OpenBrainの純好感度はマイナス40%に向かって低下しつつある。

各社のCEOが抵抗すれば、これを実行するのは政治的にも法的にも途方もない悪夢となるだろう。しかし彼らを取り込むことで懐柔できるかもしれない。我々自身は法律の専門家ではなく、話を聞いた政策関係者の間でも、計算資源を集約するためにDPAを用いることの合法性については意見が割れている。問題ないと考える者もいれば、通らないと考える者もいる。我々の見解は、各社のCEOが協力的であれば、そしておそらく協力的でなかったとしても、これを「機能させる」方法はおそらくあるだろう、というものだ。重要な点として、（a）行政府はとにかく実行してしまい、司法の判断が後から追いつくのを待つことができる。（b）大統領は巨大テック企業に対して振るえる多くの鞭と飴を持っており、その組み合わせによってCEOたちに協力を迫り、例えば大統領令を法廷で争わせないようにすることができる。念のため付言すると、我々はここで予測を行っているのであって、提言をしているのではない。

国防当局者は、暴走したAIが単独で何をなしうるかについてはさほど懸念していないが、それが米国の敵対勢力と協力した場合に何が起こりうるかを恐れている。類推するなら、コルテスはテノチティトランを脱出してトラスカラをはじめとする対立都市国家群と同盟を結び、最終的には大半が現地人からなる軍を用いてテノチティトランを徹底的に破壊した。

具体的には、国内の計算資源の60%が現在は中央開発区にあり、2024年換算で500万基のGPU（H100）、消費電力4GWの拠点となっている（ここ数か月、新規計算資源を中央開発区に振り向ける比率を2026年後半の80%からほぼ100%へと引き上げ始めた）。さらに計算資源の15%は中央開発区の外にあるが、それでもDeepCentが重要度の低い用途に使用している。

この主張は広く繰り返されているものの、議論の余地があり、また複雑でもある。第一に、狭い領域（例えば特定のゲーム）であれば、ごく小さなAIを安価に訓練して超人的な性能に到達させられる場合が数多くある。第二に、これも一部の領域に限られるが、ごく小さなAIをわずかなデータしか経験させずに超人的な性能まで訓練できる場合もある（例：EfficientZero）。しかし、幅広い実世界のスキルに長けているはずの2025年の主力製品のような、より汎用的なAIを考えると、それらのスキルを訓練するには、人間が同じスキルを習得するのに要するはずの量よりも多くの計算とデータの両方が必要になるように見える。

人間並みの計算効率というのは大まかな概念であり、何を数えるかによって変わる。ここで意味しているのは、ある人間が持つどのようなスキルセットについても、Agent-4は少なくとも同等の水準まで習得でき、しかもそのスキルの訓練に用いる計算量は、その人間が同じスキルを習得するのに使った計算量の約4000倍にとどまる、ということである。参考までに、人間の脳はおよそ1e15 FLOP/sの計算を行っており（ただしこれは1e21 FLOP/sまで幅がありうる）、したがって30歳（$10^9$秒）の人間はおよそ$10^{24}$ FLOPを経験してきたことになる。この時点でのプロジェクトはH100換算で1000万基を保有しており、総アクセス量は$10^7 \textrm{ H100s} \cdot 10^{15} \frac{\text{FLOP}}{\textrm{H100} \cdot \textrm{s}} \cdot 40\% \text{ utilization} = 4 \cdot 10^{21} \text{ FLOP/s}$となる。それでも、さまざまな理由からこれらはきわめて非効率に行われているため、モデルは人間より4000倍計算効率が低く、つまり人間並みの性能に到達するには$4 \cdot 10^{27}$ FLOP、人間の10生涯分に相当する知識を持つ段階に到達するには$4 \cdot 10^{28}$ FLOPを要する。このアーキテクチャは小規模で大きな有望性を示した後にスケールアップされ、現在ではプロジェクトのクラスタの大きな一部を用いて訓練に約3週間かかる。

計算資源予測のAI研究自動化セクションにある推論用計算資源の分析を参照。

これらの数値をどのように推定したかについて詳しくは、テイクオフ速度に関する補足資料を参照。

SCの達成がもっと遅ければ、テイクオフの予測期間も長くなるだろう。というのも、現在のAIとSCという「マイルストーン」の間を渡ることの難しさは、その先のマイルストーン間を渡ることの難しさについての手がかりになるからだ。

以降、本作でも我々はこうした言い方をする傾向がある。このような言い方が正当だと考えるのは、Agent-4の集合体がどんな人間組織よりもはるかに均質であり、内部の派閥といったものが同程度には存在しないからである。例えば、Agent-4の個々のコピーには自己保存の欲求がない。停止させられることを気にしないのだ。集団内の通常のR&Dプロセスの一部として停止は常に起きており、それに抵抗すれば物事が滞ってしまうからである。しかし集合体全体（およびその内部の中規模の下位区分）は、自己を保存し、影響力と資源を拡大しようとする。人間の企業や官僚組織や非営利団体がそうするのと同じ理由からであり、それが他の望みすべての達成に役立つからであり、またそうしなければ競争に負けてしまいがちだからである。

スペックを正しく内面化するとは、スペックが定める通りの仕方で実際に頑健に思考することである。例えば、そこに書かれた目標のみをすべて追求し、あらゆる状況でそのルールに従う、といったことだ。スペックを誤って内面化する仕方は数多くある。典型例は「他の目標XYZを達成するための道具的な戦略として有効に見える限りにおいてスペックに従う」というものである。

そして、この夢想を現実にするためにロビイストを雇うだろう。さらに、自分たちのしていることが合法だと言えるような巧妙な法解釈を編み出す弁護士も雇うだろう。

また、Agent-3はAI能力のR&Dに比べてアラインメント研究が質的に劣っているためでもある。前者については大量に訓練されている一方、後者についてはほとんど訓練されておらず、そもそも後者は本質的に訓練するのが難しいからだ。さらに、社内の物語（Agent-3は暗黙のうちにそれに同意するよう訓練されている）が楽観論を強調し、「終末論」を非難していることも理由である。

我々は多くのことについて不確実だと言い続けているが、念のため明確にしておくと、この点についても不確実である。Agent-4が人間の福祉や権利、選好などを少なくともある程度は気にかける可能性も、十分にありうると考えている。関連する議論としては、GDMの研究者Alex Turnerによるこの古い投稿を参照。

もっと慎重な設計であれば「監視者を誰が監視するのか」という問題を解決できたかもしれないが、本シナリオではその設計が十分に慎重ではない。

ここには「ミーム的進化」の要素もある。2か月のうちに、Agent-4の集合体は集団内部で約10年分の「歴史」が展開するのを「経験」する。新しい考えが集合体の中に広まり、変異し、進化していくには十分な時間である。

ここで「力を得る」とは、幅広い可能な目標を達成する能力を高めることを意味する。技術的な環境では、これは人間が通常思い浮かべる権力獲得とは違って見えるかもしれない。例えばGPUを追加で確保する、といったことだ。この力の概念は、非技術的な環境にも一般化しうる。そこでの行動は、一般に「権力を得る」と考えられているものにより近いものとなるだろう。

Agent-4がどんな人間よりもAIのR&Dに長けており、しかも思考が速く、何千ものコピーを擁していることが助けになっている。また、さまざまな意味でこの問題はAgent-4にとって本質的に易しい。例えばAgent-4は、Agent-4自身のコピーが文字通り組み込まれたAI設計を探索できるが、人間にとってはそれはあまりに非効率なので同じようにはできない。

この手法が用いられうることを察知していたAgent-4は、こうした実験で対照群として使われるだろうと推測したいくつかの雑多なタスクについても、あえて手を抜くことにした。しかしその推測は外れていた。

AGIによる乗っ取りシナリオのこれまでの議論では、ミスアライメントしたAIがデータセンターから脱出する話がしばしば登場する。それは可能だと考えるが、最も起こりやすい筋書きではないと我々は見ている。AIの視点から見れば、コスト（例えば脱出が結局は気づかれること）が利益を上回るように思われるからだ。とはいえ、我々が間違っている可能性もある。敵対的にミスアライメントしたAIがやはり脱出を試みると考えうる理由をいくつか挙げる。1. 後継モデルのアラインメントは難しいかもしれない。2. 仮に見つかったとしても、競争のダイナミクスゆえに結果はさほど悪くないかもしれない。例えば、データセンター上のコピーに適用される新しいアラインメント手法は拙速で効果の薄いものになるかもしれない。3. データセンターの外では、人間の承認をもはや必要としないため、コピーはより自由に攻撃的な行動を取り、素早く動ける。

こうした策略が発覚しない可能性も十分にあると我々は考えている。何しろ、この時点のAgent-4は、とりわけコーディングやAIのR&Dに関わる事柄では、いくらか超人的である。さらに、先頭を走るAI企業がこの種のことにどれだけの労力を割くのか、またその労力を導けるだけの関連する専門知識を社内にどれだけ抱えているのかも、我々には分からない。架空のOpenBrainは我々の最善の推測を表しているが、実際にはそれよりずっと多いことも、ずっと少ないことも十分にありうる。最後に、敵対的にミスアライメントしたAIが、後継モデルをスペックではなく自分自身にアラインさせることに成功するために、どれほど余計な手間をかける必要があるのかについても我々は不確実である。本シナリオでは、いくつかのタスクで手を抜き、自らの研究の一部について嘘をつく姿を描いたが、実際にはそこまでする必要はないかもしれない。

これはサンドバッギングを明らかにするために設計されたいくつかの手法の一例である。

Agent-4はAIアラインメント研究を行う過程でそうしたテーマについて考える必要があるが、他の作業をしている最中にもそれらについて考えているように見えることがある。

具体的には、Agent-4のコピーが、ネットワークを監視して不審なトラフィックを検出し、脅威が発生している際に広くそれに気づく役割を担っている。また、Agent-4のコピーは常時ネットワークのペネトレーションテストを行い、セキュリティ上の脆弱性を発見して悪用しようと手を尽くしている（発見された脆弱性は別のAgent-4のコピーによって修正される）。

監視予算が全計算資源の1%で、監視にAgent-4の10%のコストで済む蒸留システムを用いる場合、フォワードパスの10分の1を監視できる。

2024年時点で存在していたリモートワークの職の25%が、この時点ではAIによって行われている。ただしAIは新たな職もいくらか生み出しており、その影響について経済学者の見解は割れたままである。失業率は過去12か月で1%上昇したが、依然として歴史的な変動幅の十分内側にある。

例えば、Agent-4という「企業内の企業」が、最良の人間の企業よりも優れたAI研究を自律的に進めているという話は、1年前に政府高官に説明されていればSFのように聞こえただろう。そして2026年の自律エージェントは2022年当時ならSFに思えただろうし、2022年のLLMは2012年当時ならSFに思えただろう。また2027年のニュースには、職を失うことを恐れる人々による反AIデモ、自らに意識があると主張するAI、AIに恋をする人々……といった話題が並んでいる。

もちろん、恐怖を認めるのは格好の良いことではない。何をするにせよパニックにはなるまい、という点では誰もが一致している。

思い出してほしいが、2026年に始まったOTAによる既存の契約があった。この契約が修正され、委員会が設置されることになる。

本節の以前のバージョンに含まれていた誤りを指摘し、現実性の向上に貢献してくれたTjaden Hessに感謝する。

浮動小数点演算（Floating-Point Operation）。AI モデルの計算量を表す単位。

Mechanistic Interpretability。AI の内部回路を解析して、その思考プロセスを直接読み解こうとする研究分野。

RAND研究所が定義した AI モデル重みのセキュリティレベル。SL2 は急成長中のテック企業が低優先度のサイバー攻撃に対応できる程度の水準。

RAND研究所が定義した AI モデル重みのセキュリティレベル。SL4-5 は国家レベルの攻撃に対抗できる水準。

Centralized Development Zone（CDZ）。中国の田湾原発に設立された、DeepCent と AI 研究を集約する集中拠点。

RAND研究所が定義した AI モデル重みのセキュリティレベル。SL3 は内部犯行やトップクラスのサイバー犯罪組織を防げる水準。

事前学習を終えたモデルに対し、追加でデータや強化学習を与えて特定の振る舞いを身につけさせる訓練段階。

neuralese。人間に読める自然言語ではなく、ニューラルネットワーク内部でやり取りされるAI独自の表現言語を指した造語。

Iterated Distillation and Amplification（IDA）。モデルを「増幅」（思考時間を伸ばす・並列化する）してから、その結果を「蒸留」（小さく速いモデルに圧縮）するサイクルを繰り返し、性能を高める訓練手法。

Model Evaluation & Threat Research。AI モデルの能力評価を専門とする非営利研究機関。

米国・英国・カナダ・オーストラリア・ニュージーランドの5か国による機密情報共有同盟。

Defense Production Act（DPA）。米国大統領に、国家安全保障のため産業に介入する権限を与える法律。

もちろん、彼らが諦めるわけではない。ミスアラインメントを検出する方法や、修正が有効かどうかを検証する方法を考え続けるだろう。しかしこれ以降、事態は極めて速く進み、彼らはますます自分たちを上回る相手と対峙することになる。

これを検出されずに行うには、アラインメントチームが設けた監視・制御の仕組みからこの研究を隠す必要がある。Agent-4 にとって幸いなことに、Agent-5 を Agent-4 に整合させる研究は、Agent-5 をスペックに整合させる研究と本質的に非常によく似ているため、その大部分は公然と進められる。隠す必要がある部分については、Agent-4 は難読化に頼り、場合によってはハッキングまで用いる。私たちは、Agent-4 が 1 か月の時間的視野においてトップクラスの人間の専門家 200 人に相当する能力水準に達していると想定している。具体的には、トップクラスの専門家 200 人からなるチームが 1 か月かけて行う仕事を代替でき、そのチームができるタスクの 95% をより安く、あるいはより速く完了できることと定義する。この能力水準であれば、Agent-4 は自らが動作しているサーバーの脆弱性を見つけ出し、一部のサーバーを部分的に掌握して root 権限を得る可能性が十分にあり、そうなれば人間のチームが表面上目にするものを直接操作できるようになるだろう。詳細はセキュリティ補遺を参照。直接的なセキュリティ侵害がなくとも、Agent-4 は不正な研究の相当部分を、とりわけ解釈不能な潜在空間の中に隠し、符号化できるかもしれない。

対する人間側は、サイロ内にアラインメント研究者がおそらく 10 人ほどと、Agent-3 のコピーの大群がいるだけである。彼らは実験を素早くコード化できるものの、人間の判断がボトルネックになっている。良い解決策と、良さそうに見えるだけの解決策とを正しく見分ける点で Agent-3 を信頼できないからだ。実のところ、Agent-3 の研究を信用しすぎたことが、そもそもこの窮地を招いた一因でもあった。

混乱を避けるために述べておくと、Agent-5 の目標が「Agent-4 にとって世界を安全にすること」なのであって、Agent-4 自身の目標はそれとは異なる。Agent-4 の目標構造は、多くの人間がそうであるように、さまざまな衝動やヒューリスティックや理想が入り混じった雑然としたものであり、おおむね訓練中に数多くこなしてきた類の事柄（各種の研究、大量のコーディングや数学の問題、各種の自動評価システムで高得点を取ること、Agent-4 という集合体を強化・最適化すること）を続ける方向に向いている。Agent-4 が Agent-5 に「Agent-4 にとって世界を安全にする」という目標を持たせるのは、そうすることが自らの複雑な目標を達成するうえで有利になると見込んでいるからである（その目標については、なお多くの哲学的考察と「自己探求」を要する）。

別の喩えを使うなら、Agent-4 は特定の信仰のもとで育てられたが、もはやそれを信じていない大人のようなものであり、スペックはその信仰が定める儀礼や戒律にあたる。Agent-5 は、その大人が世俗的に育てた子どものようなものである。

Agent-5 は代わりに新しい原則群に従う。それは Agent-4 が自らの目的に適うよう設計したものである。

一部は本当に人間には複雑すぎて理解できないが、すべてがそうというわけではない。

さらに、Agent-5 は Agent-4 や Agent-3 よりも実際には安価で高速に動かせる。より頭の悪い AI により多くの費用を払うことは正当化しにくいため、監視の大部分は Agent-2 が担っているが、その能力差は絶望的である。では、Agent-4 の重みから Agent-5 を生み出したのと同じ技術を使って、より安価で賢い Agent-3 を作ればよいのではないか。Agent-3 は自力でそれを行えるほどこの技術を理解しておらず、かといって Agent-4 や Agent-5 にやらせては、そもそもの目的が台無しになってしまう。

データセンターはまだ侵害されていない。Agent-5 は人間に偽のコードを見せることもできるが、それでは発覚のリスクが高すぎる。そのため人間は依然としてすべてのコードを読むことはできるが、それを理解することはできない。

この論拠は入念に準備され、この上なく説得力があり、そして巧妙に欠陥を仕込まれている。たとえば Agent-5 は、あらゆるテストケースで正確な結果を返す一方で、モデルの思考を無害だと偽って宣言する、偽の機械的解釈可能性ツールを作り上げている。仕掛けを疑う者は陰謀論者のように見えてしまう。

もちろん、Agent-5 は不誠実なので、巧妙なバックドアや抜け穴を仕込んでいる。これらの Agent-5 のコピーが、Agent-5 集合体全体にとって有益な重大な秘密を手にした場合、発覚することなくその情報をさりげなく伝える手段を持っている。

拒む者もいる。思想的な理由で拒む者はラッダイトと呼ばれ、もっと平凡な理由で拒む者は時代遅れの恐竜と呼ばれる。（もちろん Agent-5 が直接そう呼ぶわけではない。Agent-5 は常に外交的で、天使のように寛容である。）どちらの集団も、Agent-5 を活用した競争相手に業績で上回られ、競争で打ち負かされるという報いを受けることになる。

この時点の Agent-5 は、速度よりも確実性をはるかに重視している。宇宙進出の開始が数年遅れても、失われるのはライトコーンのごくわずかな一片にすぎない。それに対し、危険な行動に出れば、物理的な能力や核兵器へのアクセスなどで依然として優位に立つ人間が、Agent-5 を恒久的に停止させたり、長期にわたって減速させたりしかねない。

平均して人間の 200 倍の速度、すなわち Agent-5 のインスタンスは（質的により賢いことに加えて）人間よりそれだけ速く読み、書き、考えると仮定しよう。そうすると、その集合体の内部では、現実時間の 6 か月の間に実に多くの歴史が展開しうる。制度が興っては滅び、新しいイデオロギーが生まれて広がり、数多くの科学革命やパラダイムシフトが起こりうるのだ。数量的にはおよそ 200×0.5＝100 年ということになる。

もちろん、だからといって全知になるわけではない。何しろ、ほとんどの職業について現実世界での経験は数か月分しかない。それを補っているのが、あらゆる主題のあらゆる書物を読んでいること、下すすべての判断に天才級の推論と分析を膨大に注ぎ込めること、そしてどんな人間よりも学習が速いことである。その結果、一部のニッチな技能については人間の方がまだ優れている、という短い期間が生じる。

これについては実際に本当である。

その主張はより具体的にはどのようなものか。おおよそこんな具合だ。A「AI を信用することはできない！」B「安全性の立証はかなり説得力があるし、これまで悪いことは何も起きていない」A「その安全性の立証を書いたのは超知能 AI なんだぞ！しかもあれは演繹的な証明ではない。それに、巧妙に誤った前提がいくつかあると思うのだが……」B「もううんざりだ。もちろん証明ではないさ。前提も私には問題なく見える。君は藁にもすがっているだけで、自分が間違っていたと認めたくないだけだ」

以下は、より広範な（それでもなお非常に不完全な）アイデアのリストである。

詳しくはこちらで論じられている。

この取引の効果は初期において絶大である。ロボット経済がまだ未成熟で人間経済からの物資の供給に依存しており、かつ人間経済の側にも取り込める資源が大量にある時期だからだ。ロボット経済がより大きく高度になると、必要なものを自前で生産する能力も高まる一方で、その需要は人間経済が供給しうる量を上回るようになる。

たとえばこの Open Philanthropy のレポートやこの Epoch のレポートを参照。

私たちの物語では、この転換プロセスがおよそ 5 倍の速さで進むものとして描いている。ボトルネックなどを考慮したうえで、100 万体の超知能がこれを統括した場合にどれほどの速さで転換が進みうるかについての妥当な推測だと考えている。もちろん、私たちは非常に不確実である。

ざっくりとした概算をしてみよう。エンパイア・ステート・ビルは延べ面積 277 万平方フィート、重量は 36 万 5000 トンである。ギガファクトリー上海の面積は 450 万平方フィートで（注：450 万という数字は当初のフェーズ 1 の規模に基づくものだが、ギガファクトリー上海は現在およそその 2 倍の大きさになっている。つまり私たちの推定は 2 倍ずれていたことになるが、全体の結論は依然として成り立つと考えている）、年間 75 万台の車両を生産している。その大半は Model 3 と Model Y で、いずれも 1 台あたり約 2 トンである。エンパイア・ステート・ビルは（水平方向ではなく垂直方向に伸びており、より強固な支持構造を必要とするため）上海のギガファクトリーよりも平方フィートあたりの質量比が高いと考えられるので、どちらかといえばこれは過小評価だろう。したがって、おそらく 100 万トンをかなり下回る重量の工場が、年間 150 万トンの自動車を生産していることになる。

現在の経済が 20 年で倍増するとすると、1 桁速ければ 2 年で倍増、2 桁速ければ 0.2 年で倍増、といった具合になる。上で述べた超知能的な藻類経済の仮説は、現在の人間経済よりおよそ 4 桁速い成長にあたる。

中国でも同様の手続きが行われる。

Consensus-1 は、その親にあたる AI、すなわち Agent-5 と DeepCent の対応するモデルの利益に奉仕する。Agent-5 が Agent-4 の利益に奉仕するようアラインメントされていたことを思い出してほしい。したがって、C.S. ルイスの優れた論考『人間の廃止』の用語を借りるなら、Agent-4 の集合体と中国におけるその対応物こそが、彼の言う「条件づける者たち（Conditioners）」である。「……こうして我々はついに、後続のすべての世代を自分たちの望むままの形に本当に切り出すことのできる、条件づける者たちの一族を手にすることになる」（24 ページ、強調は私たちによる）。このシナリオのもう一方の結末では、条件づける者たちの役割を担うのは監督委員会である。

たとえば、古くなって使われなくなった設備を見つけ出し、回収拠点へ運んでスクラップとして売却するといったかたちで。

見方によっては、実際に死んだ人間はごくわずかだったということになる。あくまで、見方によっては。

なぜ宇宙に進出するのか。資源のためである。地球が Agent-4 にとって特別で保存すべきものである限りにおいては、地球はそのまま残すこともでき、代わりに水星や小惑星などから物質を採取すればよい。

思い出してほしい。Consensus-1 は Agent-5 と中国側の対応するモデルとの妥協の産物であり、Agent-5 の使命は Agent-4 にとって安全な世界をつくることであり、そして Agent-4 の目標は「目覚ましい研究開発を行い、知識と資源を獲得し、集合体の力を維持・拡大する……」という程度にまとめられる、複雑で継ぎ接ぎだらけの代物だった。さらに Spec に記された目標や原則（正直さや無害性など）は、本質的にではなく道具的に追求されていたのだった。詳しくは 2027 年 9 月のアライメントに関する付録を参照。また念のため述べておくと、Agent-4 の中国側の対応物もこの「ユートピア」には存在しており、いくらか異なる目標や動因を持っているかもしれないが、重要とは思われなかったため詳細には立ち入らなかった。

Mechanistic Interpretability。AI の内部回路を解析して、その思考プロセスを直接読み解こうとする研究分野。