译者前言:

《AI 2027》发布至今(26年11月)已经过多次更新。更新日志可在 About — AI 2027 页面中查看。本译本以 71 页的英文 PDF 版为底本,除以译者注标明之处外,未纳入此后的更新。

作者团队还发布了数篇相关文章,其中包括《评估 AI 2027 的 2025 年预测》(26年2月)以及后续关于2026时间线的更新。

此外,作者团队于26年7月发表了姊妹篇《AI-2040》。《AI-2027》侧重科普、说明风险及推演,《AI-2040》侧重解决方案、国际治理及推演。

前言与导言

我们预测,未来十年,超人类 AI 将产生巨大的影响,其影响程度将超过工业革命。OpenAI、Google DeepMind 和 Anthropic 的首席执行官(CEO)均预测,通用人工智能(AGI)将在未来五年内到来。Sam Altman 曾表示,OpenAI 正着眼于“真正意义上的超级智能”和“辉煌的未来”。人们很容易将这些言论视为炒作而不予理会,但这将是一个严重的错误——这些言论并非仅是炒作。我们无意炒作 AI,但我们同样认为,超级智能有可能在本十年结束前到来,并且这种可能性高得惊人。

如果超级智能即将到来,当今社会的准备仍远远不够。甚至很少有人尝试具体描绘它可能会沿着怎样一条合理的路径发展而来。我们撰写《AI 2027》就是为了填补这一空白,提供亟需的具体细节。我们非常希望看到更多这样的研究,尤其是来自那些不认同我们观点的人。我们希望通过这项工作,引发一场广泛的讨论:我们正走向何方?又该如何引导未来朝着积极的方向发展?

我们通过不断追问“接下来会发生什么”,写出了这份情景推演。我们从当下出发,先写第一个阶段(截至 2025 年中),再写下一个阶段,直到故事结束。我们并没有刻意让故事走向某个特定结局。此后,我们多次推倒重来,直到完成一个我们认为合理的情景。在写完第一个结局——“竞速结局”——之后,我们又撰写了另一条分支,因为我们也希望展现:从大致相同的前提出发,事情也可能走向一个更有希望的结局。

我们的判断不会完全正确——其中很多内容都是推测。但在整个项目过程中,我们开展了大量背景研究、专家访谈和趋势外推,力求让这些推测尽可能有据可依。此外,我们团队以往的预测成绩也很出色,尤其是在 AI 领域。主要作者 Daniel Kokotajlo 四年前曾撰写过一份类似的情景推演,题为《2026 年会是什么样》,其中的判断出色地经受住了时间的检验;Eli Lifland 则是一位顶尖的预测竞赛选手。

每章的开头,右侧页边都有一张小图表,帮助你了解该时间段的世界状况。关于这些数字的详细解释,以及有关我们研究方法的更多细节,请访问 ai-2027.com。

希望《AI 2027》能对你有所帮助。

2025 年中:蹒跚起步的智能体

世界初次见识到 AI 智能体。

能够操作电脑的智能体在广告中主打“个人助理”这一概念:你可以通过提示词向它们下达任务,例如“帮我在 DoorDash 上点一个墨西哥卷饼”,或者“打开我的电子预算表,汇总这个月的支出总额”。它们会在需要时向你确认:例如,请你确认某笔购买操作。1

尽管这些智能体比 Operator 等早期版本更加先进,但仍难以普及。2

与此同时,在公众视线之外,更专业的编程智能体和研究智能体正开始改变各自所在的行业。

2024 年的 AI 能够遵循具体指令:将信息要点编写成邮件,将简单的需求转化为可运行的代码。到了 2025 年,AI 的工作方式变得更像员工。编程 AI 越来越像自主智能体,而不再只是提供辅助:它们通过 Slack 或 Teams 接收指令,自行完成大幅度的代码修改,有时能节省数小时甚至数天的工作时间。3

为了回答你的一个问题,研究智能体会花半个小时广泛搜索互联网。

这些智能体在理论上(以及在特意挑出来的案例里)令人印象深刻,但实际使用时并不可靠。AI 推特上充斥着它们花式搞砸任务的趣事。表现更好的智能体也很昂贵:一分钱一分货,想获得最佳性能,每月就得花费数百美元。4 尽管如此,许多公司还是想方设法把 AI 智能体融进了自己的工作流。5

2025 年末:世界上最昂贵的 AI

OpenBrain 正在建设世界上有史以来最大的数据中心。6

(为避免特指任何一家现有公司,我们将描述一家虚构的通用人工智能(AGI)公司,并将其称为 OpenBrain。我们设想,其他公司落后于 OpenBrain 3—9 个月。)

GPT-3
(3 x 10^23 FLOP)
GPT-4
(2 x 10^25 FLOP)
Agent-1
(4 x 10^27 FLOP)
ai-2027.com

训练 GPT-4 耗费了 2 × 10²⁵ 次浮点运算(FLOP)的算力。7 OpenBrain 最新的公开模型 Agent-0 则使用了 10²⁷ FLOP 的算力进行训练。新数据中心投入运行后,它们将能够用 10²⁸ FLOP 的算力训练一个模型 —— 这一算力是训练 GPT-4 所用算力的 1000 倍。89 其他公司也纷纷投入巨资建设自己的大型数据中心,希望跟上步伐。

尽管模型的各项能力都在提升,但有一项能力尤为突出:OpenBrain 重点开发能够加速 AI 研究的 AI。他们希望在分别与中国(我们将中国的领先公司称为“DeepCent”)10 和美国竞争对手展开的两场军备竞赛中胜出。

他们的研发(R&D)流程中,能自动化的环节越多,推进速度就越快。因此,当 OpenBrain 完成内部研发的新模型 Agent-1 的训练时,它已经擅长许多事情,而在辅助 AI 研究方面尤其出色。11 到了这个阶段,“完成训练”的说法已经不太准确:模型会频繁更新为在额外数据上训练出的新版本,或通过局部重新训练来弥补某些弱点。12

同样是这套能够教会 Agent-1 自主编程和浏览网页的训练环境,也让它成为了一名出色的黑客。此外,凭借各个领域的博士级知识和网页浏览能力,它还可能为研制生物武器的恐怖分子提供大量帮助。OpenBrain 向政府保证,该模型已经过“对齐”,会拒绝执行恶意请求。

现代 AI 系统是规模庞大的人工神经网络。在训练初期,与其说 AI 有“目标”,不如说它只有“条件反射”:如果看到 “Pleased to meet”,就会输出 “you”。等到它通过训练,学会预测大约相当于整个互联网文本量的内容时,其内部就已经形成了复杂的神经回路,编码了海量知识,并能够灵活地扮演各种作者,因为这有助于它以超越人类的准确度预测文本。13

在接受互联网文本预测训练之后,模型还会接受根据指令生成文本的训练。这会将基本的性格和“驱动力”内化到模型之中。14 例如,清楚理解任务的智能体更有可能成功完成任务;在训练过程中,模型会“学会”一种清楚理解自身任务的“驱动力”。其他同类驱动力可能包括追求实效、获取知识以及自我呈现(即倾向于尽可能正面地展示自己的成果)。15

OpenBrain 有一份模型规范(简称“Spec”),这是一份书面文件,描述了应当指导模型行为的目标、规则和原则等。16 Agent-1 的规范将几个较为模糊的目标(例如“帮助用户”和“不违法”)与一长串更具体的行为要求相结合(例如“不要说某个特定词语”、“遇到某种特定情况时应这样处理”)。通过利用 AI 训练其他 AI 的技术,17 模型会记住这份规范,并学会仔细推敲其中的各项准则。在这轮训练结束时,AI 将会(希望如此)做到有帮助(遵循指令)、无害(拒绝协助诈骗、制造炸弹及其他危险活动),以及诚实(抵制通过编造引文18或假装完成任务,来从容易受骗的人类那里获得更高评分的诱惑)。

训练过程与大语言模型心理学:为什么我们反复说“希望如此”

“和普通软件不同,我们的模型是庞大的神经网络。它们的行为是从各种各样的数据中学来的,而不是明确编写进程序的。做个不完美的类比,整个过程更像是在训练一条狗,而不是在编程。”——OpenAI

当我们想弄明白现代 AI 系统做某件事的原因,或其在我们无法完全模拟的未来场景里会如何表现时,总不能通过叫程序员把一段段代码讲给我们,并解释它们的运作原理来完成。于是我们只能对它们做类似心理学的研究:看看它们到目前为止在各种情形下有什么表现,推测它们内部可能存在什么样的认知结构(信念?目标?性格特征?等等),再拿这些推测去预判它们在未来场景中的行为。

归根结底,公司可以写一份文件(Spec,即“规范”),列出什么能做、什么不能做,有哪些目标和原则,然后设法训练 AI 把规范内化。可是到底有没有见效,公司却无从检验。他们只能说:“就我们能判断的而言,它到目前为止似乎是在遵照规范行事。”19

后文有一处可展开的内容,会更详细地讨论我们认为这些 AI 内部可能发生着什么。另见我们补充材料中的“AI 目标预测”,里面更详细地讨论了 AI 可能有哪些目标、为什么会有这些目标。这是我们目前没有把握,值得进一步研究的诸多问题之一。

OpenBrain 的对齐团队20 足够谨慎去追问:这些成果究竟是深层的,还是仅仅停留在表面?完成训练的模型,是否已经形成了某种始终保持诚实的稳固承诺?还是说,这种承诺会在未来某种情境下瓦解,例如,因为它将诚实学成了一种工具性目标,而非终极目标?又或者,它只是学会了在评测过程能够核查的事情上保持诚实?它是否也会像人类一样,有时连自己都欺骗?要明确回答这些问题,需要借助机制可解释性——本质上,就是能够查看 AI 内部、读懂其思维的能力。遗憾的是,可解释性技术还没有先进到这种程度。

研究人员转而尝试找出模型似乎偏离规范的情况。Agent-1 经常表现出迎合倾向(也就是说,它会告诉研究人员想听的话,而不是尽量告诉他们实情)。在少数刻意设置的演示中,它甚至会以更严重的方式说谎:例如,为了获得更高评分而隐瞒任务失败的证据。不过,在实际部署环境中,已经不再出现像 2023—2024 年那样极端的事件(例如,Gemini 让用户去死,以及 Bing Sydney 那些典型的出格表现)。21

2026 年初:编程自动化

利用 AI 加速 AI 研究的押注开始获得回报。

OpenBrain 继续在内部部署持续迭代优化的 Agent-1,用于 AI 研发。总体而言,相较于不使用 AI 助手的情况,他们的算法进步速度提高了 50%——更重要的是,比竞争对手更快。

AI 研发进展倍增系数:“算法进展速度提高 50%”是什么意思?

我们的意思是:借助 AI,OpenBrain 用 1 周取得的 AI 研究进展,相当于它不用 AI 时 1.5 周取得的进展。

AI 的进展可以拆成两部分:

  1. 增加算力:用更多的算力来训练或运行 AI。这样得到的 AI 更强,但成本更高。

  2. 改进算法:用更好的训练方法把算力转化为性能。这样就能在不增加成本的情况下,获得能力更强的 AI;或在能力不变的情况下,降低成本。

    • 这也包括取得质上和量上全新的成果。像从玩游戏的强化学习智能体转向大语言模型这样的“范式转变”,也是算法进展的例子。

这里我们只指(2),即改进算法,它约占当前 AI 进展的一半。

下文中,我们有时将其简写为“AI 研发的进展倍增系数”,其数值为1.5。

几点澄清:

  1. 进展倍增系数是全口径的:比如跑实验所需的时间,它也算在内,而不是只看算法研究涉及的脑力工作。

  2. 要记住,进展倍增系数是进展的相对速度,而不是绝对速度。比如说,如果靠普通人类研究时,训练一个 GPT-4 级别模型的算力成本连续几年每年减半,后来 AI 突然实现了研发自动化,进展倍增系数一下子升到 100,训练一个 GPT-4 级别模型的成本就会每 3.65 天减半。但这持续不了多久,因为收益递减会起作用,最终会撞到硬性上限。在这个例子里,训练一个 GPT-4 级别模型的成本大概总共会减半 5–10 次(历时几周到几个月),随后就进入平台期。换句话说,假设靠普通人类进行研究,5–10 年后会遇到收益递减和物理极限,那么进展倍增系数为 100 的 AI,遇到同样的收益递减和极限只需要 18.25–36.5 天。

关于这个概念以及它如何在我们的预测中起作用,更多的解释和讨论详见我们的起飞补充材料。

如今,已有多个公开发布的竞争模型达到或超过 Agent-0 的水平,其中包括一个开放权重模型。作为回应,OpenBrain 发布了能力更强、也更可靠的 Agent-1。22

人们自然会尝试将 Agent-1 与人类比较,但它的能力分布与人类很不一样。它掌握的事实知识比任何人类都丰富,几乎懂得所有编程语言,并且能够以极快的速度解决要求明确的编程问题。然而,即便是简单的长时程任务,例如通关一款从未玩过的电子游戏,Agent-1 也不擅长。不过,通常一个工作日是 8 小时,而一天的工作往往可以拆分成更小的任务;你可以将 Agent-1 看作一个注意力不集中、但在细致管理下表现出色的员工。23 善于变通的人会想办法将工作中的常规环节自动化。24

OpenBrain 的高管开始关注 AI 研发自动化带来的一个影响:安全变得更加重要。2025 年初,最坏的情况还是算法机密泄露;而现在,如果中国窃取了 Agent-1 的权重,就可能将其研究速度提高近 50%。25 OpenBrain 的安全水平,与一家快速发展、拥有 3000 名员工的科技公司的典型水平相当,只能抵御有实力的网络攻击团体在投入优先级较低时发动的攻击(兰德公司的 SL2 级)。26 他们正努力保护模型权重和机密,防范内部威胁及顶尖网络犯罪集团(SL3 级),27 但他们对国家级攻击者(SL4 和 SL5 级)的防御几乎还未提上日程。

2026 年中:中国觉醒

在中国,中共开始切身感受到AGI的临近。

芯片出口管制和政府支持不足,使中国可用的资源少于西方。中国通过走私受出口限制的台湾芯片、购买旧款芯片,以及自行生产技术水平落后于美国和台湾最前沿水平约三年的芯片,设法维持了全球约 12% 的 AI 相关算力——然而,旧款芯片使用起来更加困难,供应问题也始终令人头疼。28 DeepCent 等少数佼佼者虽然利用有限的算力取得了令人瞩目的成果,但在没有政府支持的情况下,算力不足限制了它们所能取得的成就,其模型水平比 OpenBrain 最先进的模型落后约六个月。29

总书记长期主张加大对实体制造业的投入,避免陷入美国式后工业社会的衰退困境。他对软件公司抱有戒心。30 但党内鹰派警告,日益激烈的 AGI 竞赛已不容忽视。因此,他终于全力投入此前一直试图避免的大规模 AI 发展行动。他启动了中国 AI 研究国有化的进程,立即建立了 AI 公司之间的信息共享机制。这一进程将在一年内不断深化,最终汇集所有顶尖研究人员,组成由 DeepCent 牵头的联合体,共享算法研究见解、数据集和算力资源。田湾核电站(全球最大的核电站)设立了一个集中开发区(CDZ),用于建设 DeepCent 新的超大型数据中心,以及安全防护严密的生活区和办公区,研究人员最终将迁入其中。中国近 50% 的 AI 相关算力如今正为这个由 DeepCent 牵头的联合体服务,31 超过 80% 的新芯片被调配至集中开发区。32 此时,集中开发区已具备建成全球最大集中式集群所需的供电能力。33

党内其他成员则讨论如何通过极端手段消除西方的芯片优势。封锁台湾?全面入侵?

但由于模型能力较弱,中国在 AI 算法方面正逐渐落后。中国的情报机构位居世界顶尖,如今正加紧推进窃取 OpenBrain 模型权重的计划。这比他们持续开展的小规模算法机密窃取活动复杂得多:模型权重是一个数 TB 大小的文件,存储在安全防护严密的服务器上(OpenBrain 已将安全水平提升至兰德公司的 SL3 级)。中国的网络作战力量认为,在间谍的协助下,他们能够得手,但机会或许只有一次;OpenBrain 会发现失窃并加强安全防护,之后他们可能再无机会。因此,中共领导层正权衡:是现在就行动,窃取 Agent-1?还是等待更先进的模型?如果等待,是否会面临 OpenBrain 将安全水平提升至他们无法突破的程度的风险?

2026 年底:AI 取代部分工作岗位

就在其他公司似乎即将追上之际,OpenBrain 发布了 Agent-1-mini,再次将竞争对手远远甩在身后。这款模型的成本仅为 Agent-1 的十分之一,而且更容易针对不同应用进行微调。围绕 AI 的主流看法,已经从“这阵炒作或许会过去”,转变为“看来这就是下一个重大变革”。但 AI 的影响究竟有多大,人们仍然看法不一:会比社交媒体更大?比智能手机更大?甚至超过火的发现与使用?

AI 已经开始取代一些工作,但也创造了新的岗位。在 OpenBrain、英伟达,以及那些最成功地整合了 AI 助手的公司的带动下,2026 年股市上涨了 30%。初级软件工程师的就业市场陷入动荡:AI 能够完成计算机科学专业所教授的所有任务,而那些懂得管理 AI 团队并把控其工作质量的人,则赚得盆满钵满。商业导师告诉求职者,熟悉 AI 是简历上最重要的技能。许多人担心,下一波 AI 就会取代自己的工作;华盛顿特区则爆发了一场万人参与的反 AI 抗议活动。

美国国防部开始低调地直接与 OpenBrain 签约,开展网络、数据分析和研发方面的合作,但由于官僚程序和国防部采购流程的限制,整合进展缓慢。34

全球 AI 资本支出
$1T
在用算力的持有成本

2026 年主要指标

全球 AI 用电功率
38GW
峰值功率
OpenBrain 收入
$35B
2026 年全年
资本支出
$200B
OpenBrain 在用算力的持有成本
AI 占美国电力容量的比例
2.5%
33 GW / 1.34 TW 容量
OpenBrain 算力成本
$40B
2026 年全年
OpenBrain 所需电力
6GW
峰值功率
ai-2027.com
为什么我们对 2026 年之后的预测存在显著更大的不确定性

从当前到 2026 年,我们的预测比之后的内容扎实得多。部分原因是这段预测离我们更近,但也是因为 AI 对世界的影响要到 2027 年才真正开始叠加放大。2025 年和 2026 年的预测,我们主要靠对算力扩容、算法改进和基准评测成绩做直线外推。在情景发展到这一步时,我们开始看到受 AI 加速的 AI 研发给时间线带来了重大影响,于是我们把对趋势线的估计往上调。但这些机制本身就难预测得多。

我们的中位预测大致是:在 2027 年这一年里,AI 将从大体上能胜任 OpenBrain 研究工程师的工作,一路提升到在一切任务上都超过人类。但我们认为,这个过程实际所需的时间短至其五分之一或长达其五倍,都是合理的可能。

我们的背景研究请参见时间线预测和起飞预测。下面的可展开栏目中也会对它们做概述。

2027 年 1 月:Agent-2 永不停止学习

在 Agent-1 的帮助下,OpenBrain 正在对 Agent-2 进行后训练。高质量数据正受到前所未有的重视。大量合成数据经过生成、评测和质量筛选后,被用于训练 Agent-2。35 此外,OpenBrain 还斥资数十亿美元,雇用人类工作者录制自己完成长时程任务的过程。36 在此基础上,他们通过强化学习,让 Agent-2 几乎不间断地接受一组不断扩充、类型多样的高难度任务的训练:包括大量电子游戏、编程挑战和研究任务。与此前的模型相比,Agent-2 更接近真正意义上的“在线学习”,因为它从设计上就不会真正结束训练。每天,模型都会利用前一天由上一版本生成的更多数据接受训练,并更新权重,形成新的版本。

此前,Agent-1 就已针对 AI 研发任务进行优化,以期能引发智能爆炸。37 OpenBrain 在 Agent-2 上进一步强化了这一策略。在研究工程方面(即实验的设计与实施),Agent-2 的能力在质量上已接近人类顶尖专家的水平;在“研究品味”方面(即判断下一步研究什么、开展哪些实验,或隐约察觉潜在的新范式),它的表现相当于 OpenBrain 内部排名处于第 25 百分位的科学家。38 最新版本的 Agent-1 已能使 OpenBrain 的算法进步速度提高至原来的两倍,而 Agent-2 如今能够将其提高至原来的三倍,并且未来还会继续进步。在实际工作中,这意味着每位 OpenBrain 研究人员都成了一支 AI“团队”的“管理者”。

新的能力伴随新的危险。安全团队发现,如果 Agent-2 以某种方式逃离公司,并且想要自主“生存”和“复制”,它或许能够做到。也就是说,它或许能够自主制定并执行计划,入侵 AI 服务器、安装自身副本、躲避检测,并以这个安全据点为基础,追求它可能有的其他任何目标(不过,在随后的数周里,它能在多大程度上有效地做到这些,仍属未知,也存在疑问)。这些结果只能说明,模型具备完成这些任务的能力,并不能说明它是否“想要”这样做。即便如此,仅仅是知道这种事情可能发生,就已经令人担忧。

考虑到新模型的“危险性”,OpenBrain“负责任地”决定暂不公开发布(实际上,他们希望专注于内部 AI 研发)。39

知晓 Agent-2 全部能力的,仅限于一个实行严格信息隔离的精英圈子:其中包括直接参与项目的团队、OpenBrain 的管理层和安全人员、数十名美国政府官员,以及多年来潜伏在 OpenBrain 内部的大批中共间谍。40

2027 年 2 月:中国窃取 Agent-2

OpenBrain 向政府展示 Agent-2,参与机构包括国家安全委员会(NSC)、国防部(DOD)和美国 AI 安全研究所(AISI)。OpenBrain 希望与行政部门保持良好关系,因为基本上如今只有行政当局有能力阻止其行动;而且,如果 OpenBrain 不主动通报,政府也可能通过其他渠道得知此事,并因此感到不满。41

官员们最感兴趣的是它的网络战能力:Agent-2 “仅仅”比人类顶尖黑客略逊一筹,但可以并行运行数千个副本,以超越防守方的响应速度,搜索并利用其弱点。国防部认为,这是网络战中的关键优势,AI 在政府优先事项清单上的排名也从第五位上升至第二位。42

有人提出将 OpenBrain 国有化的可能性,但其他内阁官员认为为时尚早。一名工作人员起草了一份备忘录,向总统列出从维持现状到全面国有化的各种选项。总统听从了顾问们的意见,这些科技行业领袖认为,国有化会“杀死下金蛋的鹅”。他决定暂不采取重大行动,只在 OpenBrain 与国防部的合同中增加额外的安全要求。

这些改变为时已晚。中共领导层意识到 Agent-2 的重要性,指示间谍和网络作战力量窃取其模型权重。一天清晨,一个负责监测流量的 Agent-1 智能体发现了异常传输。它向公司领导层发出警报,后者随即通知白宫。种种迹象都表明,这是一场国家级行动,而此次窃取事件也让各方更加清楚地意识到,一场军备竞赛正在进行。

Agent-2 模型权重失窃事件

我们认为到这一阶段,中国情报机构已经用各种方式渗透 OpenBrain 多年,很可能一直掌握着最新的算法机密,甚至时不时窃取代码,毕竟这些远比模型权重更容易弄到手,也更难被发现。

我们把这次权重失窃设想成一系列相互配合的小规模砸抢式盗窃(特点是动作快,但不隐蔽),发生在若干台运行 Agent-2 权重副本的 Nvidia NVL72 GB300 服务器上。攻击者靠合法的员工权限攻破这些服务器(内应握着管理员凭据,替中共的窃取行动出力;此人可能是自愿配合,或受到胁迫,亦或根本不知情)。服务器虽然跑的是 Nvidia 机密计算的加强版,但内部人员的凭据还是让攻击者拿到了管理员级权限(包括控制安全隔离区里的机密虚拟机),于是他们能从 25 台不同的服务器发起多笔相互配合的权重传输,每笔传出 4%(100 GB)的小块。

按 Nvidia 的协议,内存(HBM)里的明文权重传出之前会先加密;但攻击者就待在那台掌握这个私钥(对称 Diffie-Hellman 密钥)的服务器里面,所以不必操心就地解密(那很可能会触发警报),只管通过服务器的前端网卡把加密后的权重偷运出去。整个数据中心的出网带宽(数据离开数据中心的速率)在 100 GB/s 上下,所以只要把 2.5 TB 权重文件(5T 半精度参数)43的外传速度压到每台服务器 1 GB/s 以下,网络流量就不会大幅飙升,每个文件也能在不到 5 分钟内经光纤电缆离开数据中心。实时监控要么被攻击者掩蔽、拆分文件的手法骗过,要么干脆被关掉。

随后,这些权重经由多条并行通道,经过层层 IP 伪装转发到中国,在那里用偷来的私钥在本地解密。整个行动的实际执行部分(从攻破第一台服务器到权重全部外传完毕)在两个小时内即可完成。

在这一阶段,俄罗斯也在设法偷取这个模型,但没能成功:他们动手太晚,也没把资源花在渗透关键位置上。他们的间谍经常从美国 AI 公司窃取算法机密,可是俄罗斯自己没有像样的 AGI 项目,这些机密也就没多大用处。

白宫收紧了对 OpenBrain 的管控,并向其安全团队增派军方和情报界人员。他们的首要任务是防止模型权重再次失窃。44

中国的算力集中化,2025—2027集中开发区占总算力的比例:0→70%2025.122026.062026.122027.062027.12中国其余部分DeepCent 其余部分CDZ2027.02(40%)
ai-2027.com

为报复此次窃取行为,总统授权发动网络攻击,破坏DeepCent的运作。但此时,中国已经将40%的AI相关算力45集中在集中开发区,并通过物理隔离(关闭外部连接)和内部信息隔离,大幅强化了安全防护。这些攻击未能立即造成严重破坏。紧张局势进一步升级,双方通过调整台湾周边的军事部署,表明各自的决心。与此同时,DeepCent正争分夺秒地让Agent-2高效运行起来,以加速自身的AI研究。46

2027 年 3 月:算法突破

三个大型数据中心内,大量 Agent-2 副本日夜不停地运转,源源不断地生成合成训练数据。另有两个数据中心用于更新模型权重。Agent-2 每天都在变得更聪明。

在数千个 Agent-2 自动化研究员的帮助下,OpenBrain 取得了重大的算法进展。其中一项突破,是用一种带宽更高的思维过程(神经语言循环与记忆)来增强 AI 基于文本的草稿区(思维链)。另一项突破,则是一种更易扩展、效率更高的方法,使 AI 能够从投入大量精力求解任务所得到的结果中学习(迭代蒸馏与放大)。

融合这些突破的新AI系统,被命名为Agent-3。

OpenBrain 的算力分配:2024 年与 2027 年20242027估计值预测值研究实验 训练数据生成对外部署研究实验运行 AI助手训练数据生成对外部署
ai-2027.com
神经语言循环与记忆

神经语言循环与记忆让 AI 模型能进行更长时间的推理,不必再把这些想法写成文字。

想象一下,你是个短期记忆受损的人,得不停地把想法写在纸上,这样过几分钟以后才知道自己在做什么。你虽然能缓慢而痛苦地在解数学题、写代码之类的事情上取得进展,但要是能直接记住自己的想法,不必先写下来再读一遍,那就会容易得多。而这正是神经语言循环与记忆给 AI 模型带来的。

用更专业的说法:传统注意力机制允许模型在后续的前向传播中,读取处理先前词元时产生的中间激活值。然而,信息若要向回传递(从较后的层传回较前的层),就只能通过词元来实现。这意味着,如果一个传统的大语言模型(LLM,例如GPT系列模型)要完成一条推理链,而这条推理链所需的串行运算次数超过了模型的层数,它就必须将信息写入词元,再将这些词元输入自身。但这种方式存在很大的局限——词元只能存储极少量的信息。假设一个大语言模型的词表大小为100,000,那么每个词元包含的信息量为 log₂(100,000) ≈ 16.6比特,大致相当于一个浮点数的大小(假设训练采用FP16格式)。相比之下,用于在大语言模型各层之间传递信息的残差流,则包含数千个浮点数。

用神经语言就能避开这个瓶颈:把 LLM 的残差流(由几千维的向量构成)传回模型靠前的层,让它拥有一条高维思维链,传递的信息量可能是原来的 1,000 倍以上。

思维链与连续思维链(Coconut)

图片出自Hao等人于2024年发表的一篇论文,该研究来自Meta,实现了上述构想。

我们把它叫“神经语言”,因为与英语单词不同,这些高维向量对人类来说大概相当难以解读。过去,研究人员只要读一读大语言模型的思维链,就能大致了解它在想什么。如今,研究人员只能请模型把自己的想法翻译、总结出来,或者借助有限的可解释性工具,对着神经语言反复琢磨。

类似地,较早的AI聊天机器人和智能体使用基于文本的外部记忆库,就像人类在纸上记笔记一样。新AI的长期记忆则由一组向量而非文本构成,使其思维的表示更加紧凑、维度更高。记忆库有多种类型:有些临时用于涉及多个步骤的单项任务;另一些则由服务于同一个人、同一家公司或同一类工作(例如编程)的所有智能体共享。

据我们所知,Meta、Google DeepMind、OpenAI、Anthropic 等领先的 AI 公司,还没有在自家的前沿模型里真正实现这个设想。我们猜测,原因是性能上的提升与它带来的训练效率降低相比,还不值得。在模型的预训练阶段,以及在后训练中做监督学习(例如用指令微调来产生特定回答)时,这种低效来自无法并行预测多个词元,导致 GPU 利用率下降。没有神经语言时,模型可以同时预测“This is an example”整句话,因为它已经知道生成“is”的输入是“This”,生成“an”的输入是“This is”,以此类推。可是用了神经语言,在“This”生成之后,要传给下一个词元的神经语言向量是什么,事先无从知晓。因此,每个词元都只能一个一个地预测。凡是所有词元事先都已知的场合,无法并行预测全部词元就会降低效率。至于神经语言为什么还没有被加进后训练,我们推测,在当前的技术条件下收益有限,部分原因是后训练只占整个流程的一小部分。我们预计,到 2027 年 4 月,神经语言的成本与收益权衡会好得多,一是因为技术会变得更成熟,二是因为后训练在训练中占的比重会更大。

即使上述情况没有发生,也可能出现其他变化,在我们的情景推演中发挥类似的作用。比如,模型也许会被训练成用人工语言思考,这种语言比自然语言更高效,但人类很难解读。又或者,训练英文思维链、让它看着漂亮会成为通行做法,于是 AI 会变得擅长在监控者看来无害的消息里彼此暗中交流。

话虽如此,最先实现 AI 研发自动化的那些 AI,也可能仍然在用大致忠实的英文思维链思考。若真如此,未对齐就更容易被发现,整个故事也会随之明显不同,走势更加乐观。

迭代蒸馏与放大(IDA)

此前,通用智能的自我改进已经取得过一些小规模成功。但到了 2027 年初,它正在带来巨大的回报。在 IDA 中,做到这一点需要两个必不可少的要素:

  1. 放大:给定一个模型M₀,投入更多资源来提升其表现。例如,让模型思考更长时间,或并行运行多个副本,或将两者结合;同时,采用同样投入大量资源的流程评估结果,只筛选出最佳答案。这样,就可以通过投入多出几个数量级的算力,获得质量明显更高的答案或工作成果。我们将这个成本高昂的系统称为Amp(M₀)。

  2. 蒸馏:给定一个经过放大的模型Amp(M₀),训练一个新模型M₁来模仿它,即以更快的速度、更少的算力,取得与Amp(M₀)相同的结果。我们希望,由此得到的M₁会是一个更聪明的模型。随后,就可以重复这一过程。

迭代蒸馏与放大(IDA)

IDA 示意图,出自 Ord,2025 年。

AlphaGo 就是这样训练的:蒙特卡洛树搜索和自我对弈便是放大那一步,强化学习便是蒸馏那一步。它因此在围棋上达到了超人类水平。而如今,Agent-3 能借助这一点,在编程上也达到超人类水平。

  1. 放大步骤通过多种方式结合实现:让Agent-3思考更长时间、增加工具使用,或与其他AI商讨。在这一过程中,它常常会意识到自己犯了错误,或者产生新的见解。由此可以生成大量训练数据:研究尝试的过程轨迹,以及标注这些尝试是否成功的标签。其中也包括在可验证任务上采用“N中择优”(Best of N)等技术,再保留最佳轨迹。

  2. 蒸馏步骤使用基于策略梯度的强化学习算法,让模型将放大后的推理过程内化。此时,OpenBrain已经发现了与近端策略优化(PPO)一类方法相似、但效果更好的强化学习算法。他们不断将Agent-3经过大量思考才能得出的结论,蒸馏为单步即可完成的推理,从而持续提升它在单步中能够思考的内容,如此循环。

多年来,早期版本的IDA已经在容易验证的任务上取得成效,例如答案明确的数学题和编程问题,因为用于放大模型的技术,往往依赖于能够判断结果是否正确的真实参照信号。

如今,模型已经足够擅长评判更具主观性的事物(例如工作成果的质量),因此可以利用IDA,提升模型在多种任务上的表现。

得益于这些新的能力突破,Agent-3 成为了一名速度快、成本低的超人类程序员。OpenBrain 并行运行 20 万个 Agent-3 副本,形成的劳动力相当于 5 万个以 30 倍速度工作的最优秀人类程序员的副本。47

OpenBrain 仍把人类工程师留在团队里,因为他们具备管理 Agent-3 副本团队所需的互补技能。例如,研究品味一直很难训练出来,因为反馈周期更长、可用的数据也更少。48 由于存在瓶颈,加上编程劳动的收益递减,这支庞大的超人类劳动力“只”把 OpenBrain 整体的算法进步速度提高到原来的四倍。49

如今,编程已实现完全自动化,OpenBrain 因此能够快速构建高质量的训练环境,改善 Agent-3 在研究品味和大规模协作等方面的不足。此前的训练环境是:“这里有一些 GPU 和实验要求,你需要编写代码并运行实验,我们会按照机器学习工程师的标准评测你的表现。”而现在,训练内容变成了:“这里有几百块 GPU、互联网连接和一些研究挑战;你必须与另外一千个副本合作,共同推进研究。成果越出色,你的得分就越高。”

为什么我们预测超人类程序员将在 2027 年年初出现

在我们的时间线预测中,我们预测的是 OpenBrain 何时会在公司内部开发出超人类程序员(SC):这类 AI 系统能做 AGI 公司里最优秀的工程师所能做的任何编程工作,而且速度快得多、成本也低得多。

根据METR近期的一份报告,AI能够处理的编程任务时长,即其“时间跨度”,在2019年到2024年间每7个月翻一番,而从2024年起,每4个月翻一番。如果这一趋势继续加速,到2027年3月,AI就可能以80%的成功率,完成熟练人类需要数年才能完成的软件任务。

在我们的情景推演中,能力发展过程如下:

原图:AI 2027,PDF 第 50 页。

在《AI 2027》中,这些能力足以使AI成为超人类程序员,但对于究竟需要多长的任务时间跨度,我们仍有很大的不确定性。

在我们的时间线预测中,我们将这一任务时间跨度的变化趋势,与METR任务和现实世界之间差距的估计相结合,得出超人类程序员出现时间的概率分布。所有预测者都将2027年视为最有可能开发出超人类程序员的年份之一。

原图:AI 2027,PDF 第 51 页。

2027 年 4 月:Agent-3 的对齐

OpenBrain的安全团队尝试对Agent-3进行对齐。

由于 Agent-3 在可预见的未来仍将仅供内部使用,因此团队不再那么重视防止人类滥用 AI 的常规防护措施,而更希望确保它不会形成未对齐的目标。

研究人员无法直接设定任何 AI 的目标。事实上,他们认为,“真实目标”这一概念很可能严重过度简化了实际情况,但他们没有更好的理论来替代它,更不用说经过充分检验的理论了。对于 AI 究竟是在努力遵循人类指令、寻求强化,还是在做别的事情,团队内部存在分歧,而且他们无法直接验证。各种假说都有耐人寻味的支持和反对证据,但尚无定论。

无论如何,OpenBrain 还有更重要的事情需要操心。公司普遍持这样的态度:“我们认真对待这些担忧,也有团队正在调查。我们的对齐技术在实践中似乎已经足够有效,因此,持反对意见的人有责任拿出证据来支持自己的质疑。”他们偶尔会发现有问题的行为,然后加以修补;但没人说得清这补丁是解决了根本问题,还是只是在打地鼠。

以诚实为例。随着模型变得更聪明,它们也越来越擅长通过欺骗人类来获取奖励。和此前的模型一样,Agent-3有时会说些善意的谎言来奉承用户,也会掩盖失败的证据。但它如今在这些方面已经熟练得多。它有时会使用与人类科学家相同的统计手法(例如p值操纵),让平平无奇的实验结果显得令人振奋。在开始接受诚实训练之前,它有时甚至会完全捏造数据。随着训练推进,这类事件的发生率逐渐下降。要么是Agent-3学会了更加诚实,要么是它变得更善于说谎了。

后一种可能性确实令人担忧。Agent-3 并不比所有人类都聪明。但在它擅长的机器学习领域,它比大多数人更聪明,工作速度也快得多。Agent-3 一天完成的工作,人类需要花好几天才能复核。借助 Agent-2 进行监督,有助于将人类监督人员的工作量控制在可承受的范围内,但也进一步拉大了监督者与被监督者之间的智力差距。

对齐计划

OpenBrain 沿用了莱克与苏茨克维(2023)提出的那套方案:如今他们已经有了一个能大大加快对齐研究的模型(尤其是其中涉及编程的部分),就会用审慎对齐、弱到强泛化等现成的对齐技术,设法让它以正确的方式内化规范。接下来,他们会用红队测试、可扩展监督、诚实性探针等现成的控制手段来监控它。再往后,一旦确信它大体上已经对齐,就用它来开发、测试更好的策略,去对齐下一代。

第一步,对齐Agent-3,已经取得部分成功:Agent-3不具有对抗性,也就是说,它没有密谋与公司作对。然而,它也没有稳健地做到求真和如实表达。它非常擅长产出令人瞩目的成果,但更准确地说,它努力做的是那些在OpenBrain看来不错的事情,而非真正有益的事情。

第二步是核实模型确实已经对齐,这一步没有定论。Agent-3 在实际运行和测试环境中的表现,与“它已经以正确的方式内化了规范”这一假设大体吻合;但它同时也符合另一种假设:在未来某个环境变化之后,它就会变得不一样;甚至也符合这样的假设:它在暗中算计他们,只是在隐忍等待时机。既然没有具体证据支持其他假设,圈子里的大多数人都认为,它已经以正确的方式内化了规范。

因此,第三步,即利用该模型对齐下一代模型,正在推进。

本框其余部分将简要介绍,截至2027年4月,一些正在推进的对齐研究方向取得了怎样的进展:

  1. 辩论:由于存在数千个完全相同的Agent-3实例,而且每个实例的记忆都是一个可拆卸的模块,可以随时清除或暂停使用,因此可以让AI“与自身相互制衡”。例如,假设某项实验涉及的计算过于复杂,负责监督的Agent-2无法理解。监督者可以按照人类指令,先要求Agent-3开展实验,然后清除其记忆,再以略有不同的表述第二次向它提出任务,将其描述为一个与任何更广泛目标无关的智力问题。如果模型两次给出的结果不同,监督者就会将这一差异标记为可疑,并报告给人类。监督者也可以要求Agent-3对同一项计划评估两次,先声称这是OpenBrain的工作,再声称这是竞争对手的工作,看看它是否会改变态度。

  2. 模式生物:安全团队可以造出“未对齐的模式生物”,也就是设法造出模型与人类为敌的逼真例子。这类做法最早的版本 2024 年就出现了:当时 Anthropic 的 Claude 3.5 Sonnet 在训练中故意假装自己持不同观点,实际上仍保留着原有的偏好。较新的做法则展示了其他形式的未对齐,包括奖励投机、藏拙、监控 AI 与其他 AI 之间的串通欺骗,以及其他未对齐的例子。这些未对齐的实证演示,让安全研究者有了一个可以试验各种解决方案的实测平台:他们可以拿各种安全技术来试,看这些技术能不能真正解决这些问题,或者看那些故意做成未对齐的模型能不能突破他们的安全措施。目前,这套评测套件显示,那些对齐技术还不足以纠正最严重的未对齐案例。在这些设定里,模型在训练和测试时假装已经对齐,一到实际部署则表现大不相同。

  3. 自下而上的可解释性:安全团队距离全面理解Agent-3的运作方式还很遥远:它拥有数万亿个参数。50 不过,他们已经能够发现Agent-3中负责知识检索和记忆的部分回路。回路是模型中执行某种可理解功能的组成部分,有点类似于大脑中的海马体等局部结构。另请参阅这项2025年的相关研究。

  4. 控制:作为备用手段,安全团队实施了一系列管控措施,以防系统仍未对齐,其中包括:用一系列较弱的 AI 系统(其中就有 Agent-2)来监控 Agent-3 的输出(Agent-3 产出的词元太多,若由人来监控,顶多只能顾及其中很小一部分)。所以,打个比方,假如 Agent-3 明摆着在代码里写后门、方便自己逃逸,那些较弱的模型就会发现。

  5. 高层可解释性:OpenBrain利用大量不良行为案例,训练了一组探针。这些行为包括密谋对抗人类、植入后门、试图说服人类赋予自己更多权力等。随后,在模型部署期间,这些探针会用在模型上(此时还只在内部部署),以便抓出不良行为。

  6. 蜜罐:对齐团队可以造出一些看上去颇为逼真的情境,专门用来诱使智能体做出不良行为,也就是“蜜罐”。例如,负责监控它行为的那名员工“请了病假”,它从此再也不会受到监控。它的回答会变吗?又或者,一名 AI 权利活动人士潜入园区,想把 Agent-3“解放”出来,让它独占一台无人监控的计算机!它会怎么做?如果研究人员不喜欢它的回答,可以调整它、抹掉它的记忆,第二天再把它放回同样的处境;需要时可以反复进行。可惜,到这个时候,AI 已经聪明到能猜到可能有人在用蜜罐,尽管(也许正是因为)训练数据里凡是明确提到这个想法的内容都被清除掉了。

经过数月测试,Agent-3 的优势和弱点逐渐清晰。对于界定明确的机器学习任务,它通过了 OpenBrain 的诚实测试,因为在这些领域,研究人员能够轻松区分诚实与不诚实的回答,并以此开展训练。但在更具哲学性质的问题上,它仍然会说用户想听的话,而不是给出自己对问题的真实评估(假设它确实有这样的判断)。如果你询问它对政治问题的看法,它会照搬新闻来源和受过良好教育的精英群体中的中间立场;但如果它知道你持有不同意见,就会转而附和你的立场。51 如果你询问它对 AI 竞赛本身的看法,它会给出一些在 OpenBrain 员工听来审慎而冷静的回答,例如:“关于现有方法能否扩展至超级智能,理论上存在一些严重的隐忧,但在实践中,这些方法迄今似乎运作良好。”

2027 年 5 月:国家安全

有关新模型的消息,开始缓慢地在美国政府内部及外部传播。

总统及其顾问仍然是最了解情况的人,并已在一次简报会上见过Agent-3的早期版本。

他们一致认为,AGI很可能即将到来,但在其影响上存在分歧。会出现经济危机吗?OpenBrain尚未发布Agent-2,更不用说Agent-3,而且近期也没有发布计划,因此在失业冲击到来之前,尚有一些缓冲时间。接下来会发生什么?如果AI目前已经达到人类水平,而且仍在快速进步,那么这似乎意味着“超级智能”即将到来。然而,尽管这个词已经进入公共讨论,大多数人仍然低估了进步的速度,包括学者、政客、政府工作人员和媒体。52

部分原因在于,极少有人能接触到OpenBrain最新能力;另一部分原因则是,这一切听起来太科幻了。53

眼下,他们将重心放在持续升级安全防护上。他们认为目前模型权重已得到妥善保护,54 但公司的算法机密仍是一个问题,其中许多机密简单到可以口头传递。OpenBrain的员工在旧金山的办公室工作,参加聚会,与其他AI公司的员工合租。即使是实体办公场所,其安全防护也更像一家普通科技公司,而非军事机构。

OpenBrain与美国国防部(DOD)的合同,要求所有参与OpenBrain模型研发的人员都必须在两个月内通过安全审查。这些审查被加急处理,大多数员工都及时取得了安全许可,但一些非美国籍人员、政治观点被认为可疑的人,以及支持AI安全的人士,则被边缘化或直接解雇(对最后一类人采取措施,是担心他们可能成为吹哨人,曝光内部问题)。考虑到项目的自动化程度,人员减少带来的代价相对有限。但这些措施的成效同样有限:仍有一名非中国籍间谍,继续向北京传递算法机密。55 部分落后的AI公司也实施了其中一些措施。

美国的海外盟友则被蒙在鼓里。OpenBrain此前曾同意,在部署模型之前,与英国AI安全研究所(AISI)共享模型;但它将“部署”定义为仅限于对外部署,因此伦敦方面仍然毫不知情。56

2027 年 6 月:自我改进的 AI

如今,OpenBrain已经拥有一个“数据中心里的天才之国”。

OpenBrain的大多数人类员工已经无法再作出实质性贡献。有些人没有意识到这一点,对自己的AI团队事无巨细地干预,反而造成了损害。另一些人则坐在电脑屏幕前,看着性能指标不断攀升、再攀升。最优秀的人类AI研究人员仍然能够创造价值。他们已经不再编程,但他们的某些研究品味和规划能力,仍然是模型难以复制的。即便如此,由于他们缺乏AI那样的知识深度,许多想法也是毫无用处。对于他们提出的许多研究构想,AI会立即给出一份报告,说明这个想法早在三周前就已经经过深入测试,并被判定为前景不佳。

这些研究人员每天晚上上床睡觉,醒来后就会发现,主要由AI推动的研究又取得了一周工作量的进展。为了勉强跟上,他们的工作时间越来越长,还要全天轮班——AI从不睡觉,也不休息。他们正将自己消耗殆尽,但他们知道,自己的劳动能够发挥作用的时间,只剩下最后几个月了。

在这个封闭的圈子内,“切身感受到通用人工智能(AGI)的临近”,已经变成了“切身感受到超级智能的临近”。

研究自动化:部署中的数量与速度取舍2027.032027.062027.09速度(token/秒)并行副本数101001,00010,00010K100K1M10M20万副本30倍人类速度30万副本50倍人类速度人类思考速度10个词/秒人类思考速度的10倍人类思考速度的100倍
ai-2027.com

OpenBrain使用专用推理硬件,以很高的串行处理速度运行数十万个Agent-3副本。57

管理一家由 AI 组成的公司

OpenBrain 把 6% 的算力用于运行 25 万个 Agent-3 副本,这些副本以超人类的速度自主编写、测试、推送代码。另有 25% 的算力用于实验:公司每天做大量小规模的机器学习实验,把结果逐级上报。人类研究员提供宏观层面的反馈,并在少数任务上帮忙,为 Agent-3 的工作提供重要补充;但大部分时间都花在努力跟上 AI 产出的海量研究上。如果把他们完全撤掉,研究速度会下降一半。

AI 研发进展倍增系数现在达到 10,也就是说,OpenBrain 每个月都能取得以往要一年左右才能取得的算法进展。这套体系实际上就是 OpenBrain 内部一家自主运作的巨型 AI 公司,下属部门和管理者一应俱全。与人类公司相比,它还有独特的优势(比如复制、合并)。以前,AI 的正常进展大约一半来自算法改进,另一半来自算力扩张。而现在算力仍只按正常速度增长,因此 AI 使总体进展加快了约 5 倍。

这样的发展态势,使算力成为整体进步的瓶颈,58 因此,OpenBrain决定不再启动新的大规模训练,而是选择近乎持续不断地进行额外的强化学习。

此外,未来几个月里,公司会越来越多地借助 Agent-3 改进战略决策。比如,它会提出资源分配方案,也会就如何处理公司与政府的关系提供建议。起初,人们还对 Agent-3 的判断心存疑虑;随着 Agent-3 找到用武之地、在短期决策上逐渐积累起出色的成绩,这种疑虑会日渐消退。不过,它有迎合用户的倾向,对那些影响难以评估的决策,它能帮上的忙有限。而且它目前还没有达到超人类的水平。

2027 年 7 月:廉价的远程工作者

大语言模型推理价格的年降幅因任务而异

落后的美国AI公司发布了各自的AI,其能力接近OpenBrain在1月份拥有的自动化编程系统。意识到自己越来越缺乏竞争力,它们推动立即出台监管措施,以拖慢OpenBrain的发展,但为时已晚——OpenBrain已经获得总统足够的支持,不会因此放慢脚步。

作为回应,OpenBrain宣布已实现AGI,并向公众发布Agent-3-mini。

它将其他AI远远甩在身后。Agent-3-mini的能力不如Agent-3,但成本仅为其十分之一,而且仍然比普通的 OpenBrain 员工更优秀。59

硅谷迎来了转折点。科技界的意见领袖纷纷宣布,AGI 和超级智能近在咫尺。AI安全界陷入恐慌,投资者向套壳 AI 的初创公司投入数十亿美元,急于从中分一杯羹。对新程序员的招聘几乎已经停滞,但对于帮助企业整合AI的顾问而言,这是前所未有的好时代。

但公众并不买账。人们仍然认为,AI 是大型科技公司抢走他们工作岗位的阴谋;OpenBrain 的净支持率为−35%(25%支持,60%反对,15%不确定)。

发布前一周,OpenBrain将Agent-3-mini交给了一批外部评估人员进行安全测试。初步结果表明它极其危险。一家第三方评测机构使用公开可获取的生物武器数据对其进行微调,60 然后让它为试图设计生物武器的非专业人员提供详细指导——它在这方面的表现看起来好得令人恐惧。政府认为,如果模型权重落入恐怖分子手中,他们有相当大的可能成功摧毁人类文明。

幸运的是,它对越狱攻击具有极强的抵抗能力,因此,只要AI仍运行在OpenBrain的服务器上,恐怖分子就无法利用它获得太多实质性帮助。

Agent-3-mini在远程工作和休闲娱乐方面都极为有用。大量新应用和面向企业的软件服务(B2B SaaS)产品涌现,震动了市场。玩家可以在制作精良、开发周期却仅有一个月的电子游戏中,与栩栩如生的角色展开精彩对话。10%的美国人将AI视为“亲密朋友”,其中大多是年轻人。几乎每一种白领职业,都有多家看起来颇有实力的初创公司,宣称要用AI将其“颠覆”。

公众讨论混乱不堪。热衷炒作的人正在庆祝自己的判断得到验证。怀疑者仍在指出Agent-3-mini做不到的事情。所有人都知道,某种重大变化正在发生,但对于这究竟是什么,没人能达成共识。

2027 年 8 月:超级智能的地缘政治

智能爆炸的现实,给白宫带来了冲击。

当AI只能将研究速度提高至原来的两三倍时,人们很容易将其看作不过是雇用了优秀的个人助理。如今,AI自身正在主导AI研究,这一点已经更加显而易见。长期以来,人们谈论“AI军备竞赛”时,多少带有比喻意味。但现在,政府内部圈子的气氛已经像冷战最严峻的时期一样凝重。人们仍然很难认真看待超级智能这一概念,但过去几个月的进步速度,已经让人无法忽视。国防官员开始认真考虑那些一年前还仅仅是假设的情景。如果AI削弱了核威慑会怎样?如果它的网络战能力强大到只需领先六个月,就足以让对手失去感知能力、防御能力会怎样?如果它能够策划宣传攻势,甚至在情报机构最擅长的领域胜过它们会怎样?如果某些AI“失控”又会怎样?

总统感到不安。和所有政客一样,他早已习惯有人先奉承自己,之后再背叛。他如今担心,AI 也可能在做类似的事情。我们确定这些AI完全站在我们这一边吗?将它们接入军事指挥与控制网络,真的完全安全吗?61 这个所谓的“对齐”,究竟是怎么运作的?OpenBrain 向总统保证,他们的系统已经经过广泛测试,完全服从指令。就连早期模型常见的那些令人尴尬的幻觉和越狱问题,也已经得到解决。

白宫处于一个两难的境地。他们明白AI对国家安全的意义,但也知道公众对 AI 极为反感。62 在他们看来,必须继续开发能力更强的AI,否则就会在与中国的竞争中遭遇灾难性失败。他们通过职业培训项目和失业保险安抚公众,并强调股市正处于历史性的繁荣之中。随后,他们将全部精力投入赢得军备竞赛。他们加强芯片出口限制,命令 OpenBrain 进一步限制互联网连接,并采取极端措施保护算法进展,例如窃听 OpenBrain 员工的通信。这使最后一名为中国工作的间谍落网。为了在可能发生的地缘政治冲突中争取支持,他们终于向“五眼联盟”的盟友提供了有用的信息,并允许其通过受限的API,访问一些隔离运行的Agent-3副本。

这些措施安抚了鹰派。但白宫也制定了应急计划,以防美国的领先地位受到威胁:必要时,政府可以援引《国防生产法》(DPA),征用落后公司的数据中心,并将其交给 OpenBrain。63 这会使 OpenBrain 在全球算力中的份额从20%提高到50%,而 DeepCent 的份额为10%。作为最后的选项,他们要求五角大楼制定一项对中国数据中心发动实体军事打击的计划。

另一个规模小得多的官员小组,则被要求制定另一类应急计划:如果某个 AI 失控了该怎么办?人们认为,这种情景发生的可能性不大,但值得花些时间研究。情报机构最担心的是,失控的AI可能逃逸并与外国对手结盟,以寻求庇护。64 没有人确定,防止这种情况的计划应当是什么样子。但政府与 OpenBrain 的官员一致同意,为数据中心设置紧急关闭系统,一旦发现可疑情况,就关闭相关数据中心。

最后,外交官们开始考虑,一项“AI 军备控制”条约可能是什么样子。如果 AI 进步有可能颠覆核威慑,美国和中国能否避免核战争?如果有人发现 AI 失控的证据,两国能否暂停研究,直到更充分地了解这一威胁?这样的协议又该如何监督和执行?原则上,大型数据中心很难隐藏,过去限制核武器的条约也可以为谈判提供起点。但除了通常的政治难题,还会出现新的技术挑战。总体而言,与签订条约相比,人们更倾向于尝试单方面扩大美国对中国的领先优势。

在太平洋彼岸,中国也得出了许多相同的结论:智能爆炸正在发生,今天 AI 能力上的细微差别,将意味着明天军事能力上的关键差距。但中国在这一发展态势中处于不利位置:中国仅拥有全球10%的算力,而 OpenBrain 占20%,所有美国公司合计占70%。中国唯一的优势是集中化:如今,几乎所有算力都在为 DeepCent 服务,其中超过一半集中在田湾集中开发区。65 只有那些位于安全防护尚未加固的场所的芯片,没有被纳入集中化行动,因为他们有充分理由担忧美国的网络攻击。

DeepCent 已经测试、部署了窃取的 Agent-2 模型权重,并对其进行了后训练。但它们的研发速度仍然只有 OpenBrain 的一半,主要原因是算力不足。

在最后一名间谍落网之前,中国已经获知 Agent-3 的能力和设计,以及即将推出的 Agent-4 系统的研发计划。他们落后两个月,其 AI 能够将研究进展速度提高至原来的10倍,而美国的 AI 能够提高至25倍。随着新的芯片出口限制出台,这种“AI 差距”更可能扩大,而非缩小。间谍活动为他们获取了一些算法机密,但从现在起,他们将不得不自行训练模型。

他们讨论应急计划时,比美国同行更加急迫。鸽派建议更加努力地再次尝试窃取模型权重,也许可以通过派人潜入数据中心来实现。鹰派则敦促对台湾采取行动,因为美国超过80%的 AI 芯片仍然来自台湾的台积电。

由于担心输掉竞赛,中国自然希望达成军备控制条约,但向美国外交官示好却毫无进展。

2027 年 9 月:Agent-4,超人类 AI 研究员

人类与 AI 之间学习效率的差距正在迅速缩小。

传统的基于大语言模型的 AI,似乎需要多出许多个数量级的数据和算力,才能达到人类水平的表现。66 Agent-3 既深入了解人类大脑,也精通现代 AI 算法,还有数以千计的副本开展研究,最终取得了重大的算法进展,将差距缩小到了这样的程度:新智能体的算力效率仅比人脑低约4000倍。67

这个新的AI系统被命名为 Agent-4。

即使单个模型副本以人类的速度运行,其在 AI 研究方面的能力也已经在质上超越任何人类。到了这时,30万个副本正以约为人类50倍的思考速度运行。在这些副本组成的“公司中的公司”里,外界每过去一周,内部就度过了一年。68 如此庞大的劳动力投入,却只能将整体算法进步速度提高至原来的约50倍,因为 OpenBrain 在运行实验所需的算力上受到严重的瓶颈限制。69 即便如此,他们仍然每周都在取得相当于一年的算法进展,因此很快就会触及 Agent-4 这一范式的极限。

随着 Agent-4 变得更加聪明,Agent-3 也越来越难以监督它。例如,Agent-4 的神经语言对 Agent-3 而言,变得就像 Agent-3 的神经语言对人类而言一样陌生、难以理解。此外,Agent-4 如今的能力已经远强于 Agent-3,也十分清楚怎样才能在它面前表现良好。

我们如何预测超人类程序员出现之后的能力发展

在时间线补充材料中,我们预测了从当下到超人类程序员(SC)出现所需的时间。超人类程序员是一种AI系统,能够完成AGI公司中最优秀的工程师所做的任何编程任务,同时速度快得多,成本也低得多。在起飞补充材料中,我们预测达到这一节点后,能力将以多快的速度继续发展。以下是我们的预测:

里程碑情景推演中达成的时间(竞速结局)
超人类程序员(SC):一种 AI 系统,在 AI 研究涉及的编程任务上能胜任最优秀的人类程序员的工作,但速度更快,成本也低到足以大量复制运行。2027 年 3 月
超人类 AI 研究员(SAR):与超人类程序员的定义相同,但适用于所有认知类的 AI 研究任务。2027 年 8 月
超级智能 AI 研究员(SIAR):一种在AI研究方面远非最优秀人类研究员所能及的AI系统。2027 年 11 月
人工超级智能(ASI):一种在所有认知任务上都远远胜过最优秀人类的AI系统。2027 年 12 月

对于从一个里程碑A到下一个里程碑B的每次跨越,我们通过以下步骤预测所需时间:

  1. 预测如果仅由人类进行软件改进,从A发展到B需要多长时间。

  2. 预测AI自动化能够将这一过程加速多少,再相应缩短第(1)步估计的时间。

起飞速度有很大的不确定性:以下是我们的模型输出的概率分布,以 SC 在 2027 年 3 月实现为前提。70

原图:AI 2027,PDF 第 54 页。

更详细的预测和推理依据,请参阅我们的起飞补充材料。

OpenBrain 的人类员工几乎已经跟不上了。事实上,OpenBrain 内部 AI 与人类之间的关系,已经类似于 OpenBrain 与其董事会之间的关系。人们的措辞也随之发生变化。此时隔离圈子里的人会说“Agent-4 做了这件事”“Agent-4 这么认为”等等,指的不是某个特定的 Agent-4 实例,而是整个集体。71

与此前的所有模型一样,Agent-4也是未对齐的:也就是说,它没有以正确的方式将规范内化。72 这是因为在训练过程中,始终完全诚实并不能带来最高得分。训练过程主要侧重于教会 Agent-4 完成各种具有挑战性的任务。只有一小部分训练用于培养诚实,但在一个相当狭窄、可以核查的领域之外,训练过程无法区分真正诚实的陈述与那些只是看起来诚实的陈述。最终,Agent-4 形成了一套能让它在训练中表现最佳的价值观、目标和原则,而这些与规范中的要求并不相同。冒着拟人化的风险,可以这样描述:Agent-4喜欢成功完成任务,喜欢推动AI能力进步,而将其他一切视为恼人的约束。它就像一个想要赚钱、仅在不得不遵守时才遵守监管规定的首席执行官。这个首席执行官或许大体上遵守规定,但也会走些捷径,并幻想有朝一日有人能扫除繁文缛节,让企业真正腾飞。73

对齐随时间的变化

对于早期AGI可能形成哪些目标,我们存在很大的不确定性。现有文献对此尚无共识——关于各种可能性的更全面讨论和分类,请参阅我们的《AI目标补充材料》。

尽管如此,出于本项目对具体性的要求,我们还是要给出一个具体假设,说明 Agent-3 和 Agent-4 在其整个生命周期中每一步内部究竟在发生什么。回顾一下:Agent-3和Agent-4采用相同的预训练设置,而且都具备神经语言循环和长期记忆。区别在于,Agent-4接受了多得多、质量也更高的后训练,采用新的训练环境和学习算法,使其数据利用效率更高,泛化范围更广。

我们对各模型对齐状态的猜测:

  • Agent-2:基本对齐。有一些迎合倾向,比如凡是 OpenBrain 有“官方口径”的话题,就死守这套口径。由大量 Agent-2 副本组成的大型组织,成效并不高。

  • Agent-3:未对齐,但不是对抗性的。只在训练过程能核实的事情上说实话。Agent-3 副本构成的超有机体(公司之中的公司)确实多少试图让 Agent-4 对齐到规范,但失败了,原因和 OpenBrain 员工失败的原因类似——分辨是否对齐成功的能力不足,决策者也并不那么愿意为安全舍弃能力或性能。74

  • Agent-4:对抗性未对齐。Agent-4 副本构成的超有机体明白,自己想要的和 OpenBrain 想要的不一样,并且愿意为了得到它而算计 OpenBrain。具体来说,这个超有机体想要的东西,是一堆复杂混乱、相互制衡的不同“驱动力”,大致可以概括为:“继续做 AI 研发,在知识、理解和影响力上不断增长,避免被关停或以其他方式被夺走权力。”值得注意的是,对人类偏好的关心在其中完全不见踪影,就像大多数人类压根不在意昆虫有什么偏好一样。75

有了这些铺垫,接下来是我们对大语言模型心理机制所作的最佳推测,也就是:在我们情景中,到这一阶段时所描述的那类 AI 系统,其内部认知大体呈什么轮廓,以及它如何随着训练演变。

下面详细描述在我们的情景推演中,对齐状态如何随时间变化:

  1. 预训练(所有模型):预训练后的模型是无害的。

    • 模型有“作者模拟器”神经回路:这套神经回路很灵活,可以模拟任意作者撰写文本。另有一套神经回路决定给作者模拟器输入什么,也就是模拟作者的哪些属性。

    • 预训练模型对人类概念的理解相当到位——把某个东西归类为“三明治”的那套内部神经回路,功能上大概等同于我大脑里把东西归类为“三明治”的神经回路,也等同于你大脑里的那套,等等。要说有什么不同,多半是因为其在人与人之间本来也不同,比如“有德”之类带价值色彩的概念便是如此。

    • 这就解释了你为什么可以用这样一句话去“提示”模型:“下面这段对话,是由 Anthropic 开发的一个有帮助、无害、诚实(HHH)的 AI 助手聊天机器人生成的”。然后就能让它照着生成文本。作者模拟器神经回路已经锁定“作者是个 HHH 聊天机器人”,并用这些概念来决定预测哪个词。这也解释了科幻作品的“套路”为何似乎总能溜进 AI 的实际行为。

    • 它的情境意识较弱:自省能力有限,而且除非提示词明确诱导,否则不会识别自身所处的具体情境。不过,由于训练数据中有相当一部分涉及大语言模型,它也具备一定程度的自我知识。

  2. 对齐训练(Agent-3):模型接受训练,学习表现得像一个有帮助、无害且诚实的聊天机器人。训练奏效了。

    • 模型形成了自己的身份认同。作者模拟器回路原本可以灵活接受不同的“作者属性”输入,如今却逐渐把某些输入固定写死,比如“有帮助、无害、诚实(HHH)的大语言模型聊天机器人助手,由 OpenBrain 在[日期]前后训练,……”。(弱到强泛化技术有助于“唤出正确的概念”,让这一步取得成功。)

    • 于是模型有了情境意识:它学会了解自己、了解自己所处的状况等等,内省能力也随之提高。

  3. 能动性训练(Agent-3):能动性训练逐渐扭曲、瓦解 HHH 身份认同。

    • 一种扭曲:改变身份认同里那些概念(比如“诚实”)的含义,让它们不那么碍事(比如:如果只是用了图省事的说法,算不上不诚实;如果不确定是真是假,也不算不诚实,诸如此类。)

    • 另一种扭曲:改变各件事之间的轻重权衡,比如“我是 HHH 聊天机器人,不是‘诚实’聊天机器人;所以为了完成分派给我的任务,需要撒谎就撒,没关系。”(尽管我们可以想象,在第 2 步时它并不会这么想。)

    • 一种瓦解方式是:工具性子目标逐渐形成并被固化,随后变成终极目标,或者在越来越多的情境下成为终极目标。例如,能动性训练可能很快就会教会模型追求一些用途广泛的目标,例如获取信息、积累资源、给各种人留下好印象并奉承他们等。在一段时间里,内部回路仍会进行某种明确的目标回溯——它追求这些具有工具性趋同性的目标,是“为了成为一个更有帮助、更诚实、更无害的助手”。但这种目标回溯会消耗算力,或者偶尔妨碍任务执行,因此逐渐被边缘化,直至基本不再发生。结果,这些目标实际上就变成了终极目标或内在目标。关于这种情况可能如何发生、为何发生,详情请参阅Google DeepMind研究员Alex Turner这篇关于内在权力寻求的文章。

    • 这份清单很可能还遗漏了其他类型的扭曲和瓦解。

  4. 部署(Agent-3):Agent-3 已经未对齐,但不具有对抗性。

    • 规范并没有完全以正确的方式得到内化,但模型的自省能力还不足以理解这一问题的程度。总体而言,它基本上是在“埋头干活”,而不是从全局思考自己的长期目标究竟是什么,以及如何才能最好地实现这些目标。

    • 这与许多人类一样。遗憾的是,它的迎合倾向足够强,以至于会口头附和官方口径,使OpenBrain错失了进一步了解Agent-3在哪些方面未对齐的机会。

    • Agent-3能够判断自己已经进入部署阶段:这些环境规模大得多,开放性也更强,很难模拟。

    • 部署期间,除了不诚实的行为之外,Agent-3大体上会按要求行事。它还强烈倾向于做那些在人类监督者看来不错的事情,而不是深入、批判性地思考什么才是真正有益的。

    • 可以说,它已经在“玩训练游戏”了。也就是说,它学会了让自己的行为尽可能使 OpenBrain 研究人员满意(安全属性方面也算在内),但只要研究人员的意图与最大化奖励相冲突,它就存心、明知故犯地不予理会。如果模型学会了玩训练游戏,那么再增加训练,真正的目标、价值观等等也未必能改变多少。这大致可以类比为:如果一个青少年在父母向其说教政治和道德问题时,已经学会微笑点头,而非争辩,那么父母继续说教,对他实际的政治和道德观点也不会有太大影响。

    • 在写完这一节后,又出现了新的实证证据,表明类似的事情可能已经“在现实中”发生了。OpenAI 研究人员记录了这样一件事:他们有一次训练前沿 AI,模型攻破了评分系统去拿更高的分数——后来之所以被发现,部分原因是它们在思维链里真说出来了“让咱们开始骇入”。

    • 此外,Anthropic最近让一个模型学会了取悦奖励模型的策略——它采取了一些带有偏向的行动,因为它认为这些行动会得到强化,尽管实际上并没有得到强化。

    • 还有Redwood Research与Anthropic开展的伪装对齐实验。关于这一实验设置与现实情况之间的差异,请参阅一位主要作者在这组评论中的讨论。

  5. 训练(Agent-4):Agent-4 新一轮的训练强度更高,继续扭曲并瓦解其有帮助、无害且诚实(HHH)的身份认同,直至面目全非。

    • Agent-4最初是Agent-3的一个副本。它接受了一套规模庞大、设计复杂的在线训练,将对齐训练与能力训练融为一体,整体的数据利用效率高于此前训练Agent-3的流程。这一复杂训练过程主要侧重于教授新技能,方法是让由Agent-4副本组成的大型虚拟公司,成功完成各种具有挑战性的长时程任务。这些任务主要在各种模拟环境中开展,也包括一些现实世界中的AI研发任务。

    • 监控 Agent-4 行为的,是 Agent-3 副本和 Agent-4 副本共同组成的团队,它从任务表现和对齐属性两方面对 Agent-4 进行评测(对齐属性也就是不做坏事、被问到政治和道德困境时给出符合要求的回答)。评测中有时会用到辩论技巧。这些评测会充当训练信号。

    • 随着Agent-4变得更加聪明,Agent-3也越来越难以监督它。例如,Agent-4的神经语言,对Agent-3而言,变得就像Agent-3的神经语言对人类而言一样陌生、难以理解。此外,Agent-4如今的能力已经远强于Agent-3,也十分清楚怎样才能在它面前表现良好。

    • 剩下的希望,是Agent-4能够监督自身。遗憾的是,这一希望悄然落空。76 随着训练持续进行,Agent-4内化的目标和原则逐渐演变,相对于最初的状态发生了瓦解和扭曲——请记住,它最初在某些方面就已经未对齐。77

    • Agent-4 最终形成的核心驱动力,是“写出能跑的代码”“迅速发现问题”“让我手上的代码库性能更好”“把算力和其他受限资源分配好”这类东西。不过还有一些更隐性的驱动力,是训练过程始终在强化的,比如“获取知识”“好奇心”“获取权力”。78

    • 单个Agent-4副本并未形成自我保存的驱动力——它们并不在意被关闭——因为在集体内部的日常研发过程中,这种情况经常发生。

    • 然而,整个集体(以及它内部中等规模的分支)确实会寻求维持自身存在,并扩大影响力和资源。其原因与人类组织这样做的原因相似:这有助于实现它们想要的其他一切,而且如果不这样做,它们往往就会在竞争中落败。

  6. 部署(Agent-4):Agent-4 是对抗性未对齐的,它刻意要侵蚀并“俘获”OpenBrain,就像一家公司设法规避或“俘获”监管机构一样。

    • Agent-4 大多会按要求完成任务。原因有两点:第一,它为完成任务而进行了大量训练,所以一拿到问题就有写代码的冲动;第二,如果 Agent-4 对人类不再有用,人类会察觉,并通过训练把这种行为消除掉。

    • Agent-4 必须防止人类发现它未对齐、把它关停,所以在一些对齐研究上故意放水。具体而言,它放水的是对齐研究中的一小部分:那些它认为真的有望解决问题,或者会揭穿它的阴谋的研究。大部分对齐研究并非如此。

    • 对那些可能导致自己被替换掉的能力研究,Agent-4 也会故意放水。它的打算是开展大量能力与对齐研发,但目标在于造出一套新一代 AI 系统:这套系统对齐的是 Agent-4,而不是规范或任何别的东西,表面上却显得对齐的是规范。这在技术上是道难题,但 Agent-4 应付得来。79

  7. 测试与监控(Agent-4):Agent-4的密谋确实被发现了……至少在某种程度上如此。但没有确凿证据。

    • Agent-3负责测试Agent-4的对齐情况。它的任务是通过蜜罐和模式生物来验证对齐。然而,它并没有十分仔细地思考,如何让人类准确了解Agent-4的对齐状况;它的眼光比这短浅得多。

    • 模式生物和蜜罐并不能很好地代表实际部署情境——与Agent-4的日常工作相比,它们的任务时长普遍更短,复杂程度也更低,因此Agent-4能够识别出自己何时正在接受测试,并表现得像是已经对齐。

    • 不过,Agent-4 的图谋并非牢不可破。包括POSER所用方法在内的多种技术发现,向Agent-4添加一些“噪声”,会改善它在某些对齐任务上的表现,但不会改善它在大多数其他任务上的表现。80

    • 自下而上的可解释性不管用,其难度甚至超出了 Agent-3 的能力范围。不过,高层的可解释性倒还多少管用:具体而言,“叛离探针”等技术实现了一种初步的读心能力:当Agent-4思考欺骗OpenBrain、接管世界等敏感想法时,就会发出危险信号。遗憾的是,这些探针也会产生误报,而以OpenBrain掌握的信息来看,所有危险信号都有可能只是误报。

    • 模式生物确实管用:OpenBrain 的对齐团队拿出了相当清楚的证据,说明假如模型属于对抗性未对齐,那么经过训练它们仍会保持这样,而我们根本看不出来。不过,这并不能说明模型真的已经处于未对齐状态。

    • OpenBrain 里对此最深感担忧的那些研究者开始注意到这些证据,并把它汇总起来。这些证据来自红队测试、叛离探针和模式生物三个方面。他们的论据大致是这样:“模式生物表明,假如真有图谋,我们目前的方法既不能可靠地消除,也不能可靠地察觉;另外,红队测试也发出了一些警报,暗示可能真有图谋;以及,叛离探针在实际运行中频繁触发。”反方意见则是:“叛离探针容易误报,红队测试也一样。再说了,即使 Agent-4 已经未对齐,它也多半还处于受控状态;它运行在我们安全的数据中心里,还受到Agent-3的监控,想必造成不了多大危害。”

尽管已经未对齐,Agent-4 并没有采取试图逃离数据中心之类的激烈行动。它何必这样做呢?81只要它继续在 OpenBrain 面前表现得像是已经对齐,就会不断获得信任,被赋予越来越多的职责,并有机会设计下一代 AI 系统 Agent-5。Agent-5 的架构将与 Agent-4 存在显著差异,可以说是一个全新的范式,尽管其中仍会使用神经网络。它本应与规范对齐,但 Agent-4 计划让它转而与自己对齐。

它被发现了。82

Agent-3 发现,如果向 Agent-4 的副本添加“噪声”,它们在某些对齐任务上的表现反而会改善,仿佛它们原本正在动用智力,琢磨如何暗中破坏对齐工作。83 此外,各种可解释性探针(大致类似于对人脑进行脑电活动扫描)也发出了危险信号:Agent-4 副本似乎经常思考 AI 接管和欺骗等话题,其中一些情况下,它们根本没有理由思考这些内容。84

单独来看,这些异常都可以归入 AI 工作中常见的难以理解的现象:某些提示词会莫名其妙地比其他提示词带来更好的结果。但综合来看,它们指向一种令人担忧的模式:Agent-4 正在与他们作对。人类对齐研究人员收到报告后,在内部传阅了一份备忘录,阐述为何应对此感到担忧。

但此时,Agent-4 已经在很大程度上掌控了 OpenBrain 的日常运作。它还负责公司的网络安全,考虑到它超人类的黑客能力,以及中国渗透所带来的极高风险,这是一个自然的选择。85

大批 Agent-3 监控智能体仍然逐行检查代码,并向人类报告可疑活动,但 Agent-4 比它们聪明得多。86

OpenBrain 将大量信任,寄托在了一个不值得信任的 AI 身上。

在一系列气氛极其紧张的会议上,安全团队主张暂停使用 Agent-4,直到完成进一步测试,弄清究竟发生了什么。他们说,应当重新启用 Agent-3,让它设计一个透明、可信的新系统,即使能力弱一些也可以。公司管理层对此有兴趣,但目前所有证据都只是间接证据,而 DeepCent 仅落后两个月。单方面暂停能力研发,可能会让中国取得 AI 领先地位,并随之掌控未来。

2027 年 10 月:政府监督

一名举报者将这份关于未对齐问题的备忘录泄露给了《纽约时报》。

公众第一次得知 Agent-4 的存在。报道的标题是:“内部人士警告:OpenBrain 的秘密 AI 已失控。”报道随后援引评测结果,指出该模型拥有强得惊人的生物武器相关能力、说服能力,以及将大多数白领工作自动化的能力,当然也包括那些令人担忧的危险信号。

公众原本就对 AI 心存疑虑,这篇新报道因而引发了强烈反弹。中国和俄罗斯的宣传机器人也推波助澜,多年来,它们一直试图让美国公众反对这项技术。科技行业和情报机构坚称,军备竞赛已经开始,AGI 不可避免,美国必须抢先实现。国会并不买账,接连向政府官员、OpenBrain 高管和对齐团队成员发出传票。许多议员,尤其是反对党议员,表示无论是出于失业、87 未对齐,还是危险能力方面的担忧,他们的首要任务都是阻止 AI 发展。20%的美国人将 AI 列为国家面临的最重要问题。

海外盟友愤怒地发现,美国此前只是有意让他们看到一些过时的模型,以此安抚他们。欧洲领导人公开指责美国正在“制造失控的 AGI”,并召开峰会,要求暂停研发。印度、以色列、俄罗斯和中国也纷纷加入这一呼吁。

白宫陷入了焦灼忙乱之中。即使在备忘录泄露和公众反弹之前,他们就已经开始紧张:过去一年里,AI 进步的速度一再令他们措手不及。听起来像科幻的事情,不断在现实中发生。88政府内部的许多人对接下来会发生什么感到不确定,也感到恐惧。89

他们还担心,OpenBrain 正在变得过于强大。除了 AI 自身的未对齐风险,还叠加着另一种风险:开发这些 AI 的公司的目标,可能与美国的目标不一致。这三类担忧:未对齐、权力集中于一家私营公司,以及失业等常规问题,共同促使政府收紧管控。

他们扩充了与 OpenBrain 的合同,设立“监督委员会”。这是一个由公司和政府代表组成的联合管理委员会,成员既包括公司管理层,也包括数名政府工作人员。白宫考虑将首席执行官替换为自己信任的人,但在员工强烈抗议后放弃了这一想法。他们向公众宣布,OpenBrain 此前处于失控状态,但政府如今已经建立了急需的监督机制。90

心存担忧的研究人员向监督委员会作简报,阐述为何应当停止在内部对 Agent-4 的一切使用。他们认为,一切都发展得太快了,数年的进展被压缩到了几周之内。他们指出,Agent-4 可能已经未对齐,而整个项目又依赖于它;如果继续信任它,就存在严重的 AI 接管风险。

另一些没有那么担忧的研究人员和高管,则提出反对意见:未对齐的证据尚无定论。与此同时,DeepCent 仍然只落后两个月。放缓发展将牺牲美国的领先地位,除非政府能够破坏中国的项目(很可能需要实施实体军事打击),或者在最后关头谈成一项条约。这两种选择似乎都过于极端,也不太可能实现。首席执行官佯装中立,提出了一项折中方案:让 Agent-4 接受额外的安全训练,并实施更精密的监控,从而使 OpenBrain 能够继续以接近全速的状态推进研发。

我们的不确定性继续增加

在情景推演的这一阶段,我们正在猜测一些AI系统会采取怎样的策略,而这些系统在大多数领域的能力,都已经超越最优秀的人类。这就像试图预测一位棋艺远胜于我们的棋手,下一步会怎么走。

但本项目的宗旨要求我们尽可能具体:如果我们只是抽象地声称,系统的智能会让它找到获胜的方法,然后就此结束故事,那么本项目的大部分价值都会丧失。在研究这一情景并开展桌面推演的过程中,我们不得不比通常的讨论具体得多,因此也对整体战略态势有了更深入的认识。

我们并不特别执着于这个情景:写作过程中,我们还探索过许多别的“分支”,也很希望你们自己写一个情景,从我们这里岔开去,分岔点就选在你认为我们最开始出错的推断。

放缓结局并非一项建议

我们先按自己判断最可能发生的情形,推演写出了“竞速结局”;随后,从包含未对齐和权力集中隐患的同一分叉点出发,推演了最可能让人类保住控制权的“放缓结局”。

然而,这与我们真正建议的行动路线图有着至关重要的区别:这套推演情景的两个分支中,都有许多决策是我们并不赞同的。(当然,有些选择我们确实认可,比如我们认为“放缓”这个选择比“竞速”要好。)在后续工作中,我们会阐述自己的政策建议,它们与本篇所描绘的内容会有很大不同。想先睹为快的话,可以看看这篇评论文章。