注释
主情景
[1]
[2]
具体而言,我们预测:它们能在评估基本电脑操作任务的 OSWorld 基准测试中取得 65% 的成绩(相较之下,Operator 的成绩为 38%;通常具备熟练操作能力但并非专家的人类用户为 70%)。
↩[3]
[4]
[6]
这个集群由遍布全国的多个数据中心园区联网组成,总算力相当于 250 万块 2024 年 GPU(H100),迄今已投入 1000 亿美元,已上线设施的用电功率为 2 吉瓦。目前正在推进的建设,将使集群规模到 2026 年底至少增至目前的两倍。这些园区通过价值数十亿美元的光纤线路相连,因此,除了光速限制带来的几毫秒延迟外,它们的运行方式几乎就像彼此毗邻一样(也就是说,带宽不构成瓶颈,海量数据可以同时传输)。从安全角度看,这也增加了一些可能遭受攻击的环节(目前尚不清楚,这些光缆,尤其是连接节点,是否已得到充分保护,能够防止窃听)。
↩[7]
[8]
[10]
[11]
[12]
例如,假设一个模型使用 Python 的能力远强于使用冷门编程语言的能力。当 OpenBrain 认为这样做有价值时,也会生成这些语言的合成训练数据。再比如,为了帮助模型更有效地融入公司的工作流,OpenBrain 会设计一套训练课程,教它使用 Slack。
↩[13]
人们常常纠结于这些 AI 是否具有主观感受,或者是否拥有“真正的理解”。诺贝尔奖得主、这一领域的奠基人 Geoffrey Hinton 认为,它们确实具备这些能力。不过我们认为,就我们的故事而言,这并不重要。因此,每当我们说 AI “理解”时,你都可以将其视为“表现得仿佛理解一样”,其他类似表述也是如此。从实际观察来看,大语言模型已经表现得仿佛具有某种程度的自我意识,而且这种表现正逐年增强。
↩[14]
一种常见的技术可以将某种人格“内化”到模型之中:首先,向预训练模型提供类似这样的提示词:“以下是一位人类用户与 Anthropic 开发的一款有帮助、诚实且无害的 AI 聊天机器人之间的对话。这个聊天机器人具有以下特征……”。使用这一提示词生成大量数据,然后在不包含该提示词的情况下,用这些数据训练模型。最终得到的 AI,无论你再向它输入什么,始终都会表现得仿佛眼前有这段提示词一样。
另请参阅这篇论文。研究发现,经过重新训练、表现出某种人格特征的 AI,即使没有接受过回答相关问题的训练,也能正确回答有关这一新特征的问题。这暗示 AI 对自身特征具有内部表征,而且当这些特征发生变化时,相应的内部表征也会随之改变。
↩[15]
这几段包含了对大型人工神经网络内部运作机制的推测。这类网络十分复杂,我们实际上无法直接查看其内部,然后说:“啊对,它现在已经从条件反射发展到拥有目标了”,或者“好,这就是它那些驱动力的清单”。相反,我们基本上只能采用心理学研究的方法,观察它在各种情境下的行为,对它开展各种实验,并尝试将线索拼凑起来。而这一切都充满争议,也令人困惑。
↩[18]
大多数关于 AI “幻觉”的资料都将其描述为无意的错误,但利用引导向量开展的研究发现,在某些情况下,模型知道自己提供的引文是假的——它们在说谎。在训练过程中,评分者给予引用充分的论断的奖励,高于没有引用的论断,因此 AI “学会”了为学术性论断引用来源,以取悦用户。如果不存在相关来源,它就会编造一个。
↩[19]
[21]
[22]
[23]
具体来说,我们预测,它在 OSWorld 的成绩将达到 80%(相当于操作熟练但并非专家的人类);在 Cybench 中的成绩达到 85%,在顶尖人类专业团队需要 4 小时完成的黑客任务上,达到与这些团队同等的水平;在 RE-Bench 中的得分将达到 1.3:在要求明确的 AI 研究工程任务上,达到顶尖人类专家工作 8 小时的水平。
↩[24]
[25]
多年来,AI 安全研究人员一直将 AI 研发自动化视为最重要的危险能力来讨论。他们主要担心的是,在内部部署 AI 会加速 AI 研发,使人类更难跟上事态发展,也更难弄清如何确保安全。但 OpenBrain 作为一个机构,却把这一点扭曲成了完全相反的意思,以 AI 研发能力达到危险水平为由,不向公众披露。由此,公司内部使用的 AI 能力与向公众开放的 AI 能力之间开始出现差距。AI 研发是这些模型最擅长的领域,这使得公众对 AI 前沿能力的认识越来越滞后。
↩[26]
[27]
[28]
[29]
作为对比,2025年1月,DeepSeek发布了R1,其能力可与OpenAI于2024年12月发布的o1相媲美。但我们认为,实际差距不止一个月,因为OpenAI很可能已经研发o1许多个月,因此可以推测,在o1发布前几个月,OpenAI就已拥有能力与R1大致相当的前身模型。
↩[31]
[32]
为什么“只占”中国 50% 的 AI 相关算力?因为其余算力还需要支持整个经济体中的各类应用,尤其是互联网和社交网络的推荐算法。此外,还有很大一部分算力过于分散,分布在不同地区的许多小型集群中。为什么“只占”80% 的新芯片?许多用于其他用途的大额订单早已敲定,而下单的企业并不愿意将自身全部算力投入国家级 AI 发展计划。不过,到年底,这一比例将达到 90% 以上。
↩[33]
[34]
这项合作通过“其他交易授权”(Other Transaction Authority,OTA)合同开展,并获得高优先级的 DX 评级。我们完全没有把握,这是否是最可能采用的合作资助方式;之所以选定这一安排,是为了让描述更具体。合同会对外公布,但 OpenBrain 不会在对外沟通中重点宣传。
↩[35]
[36]
[37]
[38]
已有一些证据表明,AI 系统具备某种初步的研究品味,例如这篇关于 AI 科研伙伴的论文,以及这篇关于为大语言模型研究论文生成新颖想法的论文。研究品味更佳的团队仍需要开展实验,但他们更善于判断应当开展哪些实验,以及应当从结果中得出什么结论。
↩[39]
[40]
这个隔离圈子包括 200 名 OpenBrain 研究人员:10 名高管、140 名能力研发团队成员、25 名安全防护、监控与控制人员、15 名来自“前沿风险准备”(Preparedness)或“负责任扩展政策”(RSP)等类似团队的成员,以及 10 名对齐研究人员。此外还包括政府方面的 50 名官员:15 名来自白宫、5 名来自美国 AI 安全研究所(AISI)、10 名来自国防部(DOD)、10 名来自能源部(DOE),以及 10 名来自网络安全与基础设施安全局(CISA)。项目中还潜伏着数名间谍,但他们的自愿程度各不相同。其中许多人是受到胁迫才参与的(例如,家人仍在中国),而非自愿合作。
↩[41]
为什么国会不能阻止他们?法院呢?因为这些机构行动太慢、内部分歧太大,或者过于顺从总统,而且对实情了解不足。此外,与白宫保持良好关系也有好处:白宫可以帮助减少繁文缛节、提供安全支持、预先排除州级立法形成的干扰,甚至可能采取行动拖慢竞争对手的发展。
↩[42]
[43]
译者注:原 PDF 的参数量、精度与文件大小不一致:5 万亿个参数按每个半精度参数 2 字节计算,未压缩大小约为 10 TB。作者于 2026 年 7 月 7 日将官网相应表述改为“约 3 TB 的检查点”,不再注明半精度。本译文保留原 PDF 表述。
↩[44]
最简单、最稳妥的解决办法,是关闭公司数据中心所有对外的高带宽连接,但这会使大型文件传输慢到难以满足实际需求。因此,他们关闭了大部分外部连接,但正在进行训练的数据中心仍需彼此快速交换模型权重;限制这些连接的传输速度,会过度阻碍研发进展。所以,OpenBrain 保留了这些连接,同时加强监控,并增加了一层加密保护。
↩[45]
[46]
尽管国家层面的集中整合正在推进,DeepCent 仍面临幅度不大、却十分重要的算力劣势。除了总算力仅约一半之外,中国还必须使用总量更多、平均质量更低的芯片,以及异构 GPU(这些 GPU 并不总能轻松实现高效互联)——这两点都给芯片互联带来了压力。此外,软件存在差异(例如,非英伟达 GPU 不支持 CUDA),硬件规格也各不相同,使其训练代码更加复杂、运行更慢,也更容易出现故障。要实现较高的资源利用率,还需要解决一系列后续问题:其数据摄取、调度、集合通信和并行算法均落后于美国公司。不过,缓解这些问题主要依靠大量投入和测试,因此非常适合交给刚窃取的 Agent-2 处理。大约一个月内,中国项目的系统正常运行时间,以及训练和推理工作负载的平均资源利用率,都得到改善,与美国的差距缩小到很小的程度。
↩[47]
我们预计,Agent-3 的推理资源需求相当于当今一个约 10 万亿参数的 Transformer 模型。因此,将总算力预算的 6% 用于运行 Agent-3,就能以人类思考速度的 30 倍运行约 20 万个副本(依据和详情,请参阅算力补充材料中的 AI 研究自动化部分)。每个基于 Agent-3 构建的超人类编程智能体框架,底层平均运行着相当于约 8 个 Agent-3 副本的模型(实际上,这可能是一组规模更小或专门化的模型,由 Agent-3 向它们分派子任务)。
↩[48]
[49]
[50]
[53]
过去十年里,听起来很科幻却成为现实的例子比比皆是。但奥弗顿窗口(公众可接受的讨论范围),似乎只会以勉强领先于既有现实的速度移动。Anthropic 的首席执行官 Dario Amodei 在其值得称赞的文章《慈爱的机器》(Machines of Loving Grace)中谈到,AI 很快就会像是“数据中心里的天才之国”,一个世纪的技术进步将压缩到十年内发生。但他仍努力避免“科幻包袱”,并称那些认为进步会更加疯狂的人需要“走出去接触现实”。我们预计,当“数据中心里的天才之国”真正出现,重要人物也会说出类似的话。
↩[54]
由于Agent-3的文件体积非常庞大(全精度下约为10 TB),OpenBrain能够通过一种相对快速的修补措施,即关闭数据中心对外的一批高带宽互联网连接,使窃取难度远高于中国当初窃取Agent-2时的水平。总体而言,这对研发进展的影响相对较小,并使其前沿模型权重达到“3个月SL4”水平,即我们在安全补充材料中定义的WSL4。这意味着,再次进行类似的窃取尝试,如今需要超过三个月时间才能将模型权重文件完整传出。仅凭这种方法,仍然无法保证抵御侵入程度更深的OC5级行动(预算10亿美元、投入1000名专职专家)。中国有能力通过更大力度的行动达到这一水平。但由于美国情报机构正在对数据中心开展细致检查,其间谍网络也处于高度戒备状态,因此他们相信,如果中国正在准备进行窃取,他们至少能够提前获知。详情请参阅安全补充材料。
↩[55]
[56]
[58]
Agent-3 已经学会更高效地使用自己的推理算力。它在推理上可以自己做主:比如根据任务的重要性和难度,决定在每个任务上投入多少精力。它用各种办法分配额外的推理算力,例如“想得更久”(比如更长的思维链)、“提前规划”(比如树搜索)、在多次尝试中取最好的结果(即 best of K),甚至干脆复制出更多自己同时运行,硬闯瓶颈。最高优先级的任务由高度并行的智能体执行;这种做法的算力消耗很大,但作业速度远快于人类。
↩[59]
[60]
[61]
[62]
[63]
[64]
[65]
具体而言,全国60%的算力如今集中在集中开发区,使其成为一个拥有相当于500万块2024年等效GPU(H100)算力、用电功率为4吉瓦的基地。过去几个月里,中国开始将接近100%的新增算力调配至集中开发区,高于2026年年底80%的比例。另有15%的算力位于集中开发区之外,但仍由 DeepCent 用于风险较低的应用。
↩[66]
上述说法虽然广为流传,但也存在争议,情况十分复杂。首先,在许多狭窄领域(例如特定游戏)中,可以用很低的成本将小型AI训练至超人类水平。其次,同样是在某些领域,小型 AI 只需接触少量数据,就能被训练至超人类水平(例如 EfficientZero)。不过,如果考虑用途更广泛的 AI,例如2025年的旗舰产品,它们应当擅长现实世界中的多种技能,那么,训练这些技能所需的算力和数据,似乎确实都超过了训练人类掌握同样技能所需的水平。
↩[67]
“人类水平的算力效率”是一个粗略的概念,取决于我们如何计算。这里的意思是,对于某个人类所具备的任何一组技能,Agent-4都能学到至少同等水平,而且训练这些技能所用的算力,仅约为该人类学习这些技能所用算力的4000倍。作为参考,人脑使用的算力约为每秒10¹⁵次浮点运算,因此,一个30岁的人(约经历了10⁹秒)累计使用的算力约为10²⁴ FLOP。此时,该项目拥有相当于1000万块H100的算力。总算力为 10⁷ H100 × 10¹⁵ FLOP/(H100·s) × 40%(利用率)= 4 × 10²¹ FLOP/s。(译者注:英文 PDF 原作“1 亿块 H100”和“4 × 10²² FLOP/s”,此处采用作者 2026 年 7 月 7 日的勘误。同一次更新还补充说明,人脑算力的估计值可能高达每秒 10²¹ 次浮点运算;本译文未改动原句。)不过,由于种种原因,整个过程的效率仍然极低,因此模型的算力效率目前比人类低4000倍。这意味着,它们需要4 × 10²⁷ FLOP才能达到人类水平的表现,需要4 × 10²⁸ FLOP才能获得相当于10个人类一生所积累的知识。这一架构在较小规模下展现出巨大潜力后,便被扩大规模,如今需要动用项目集群中的很大一部分,耗时约三周进行训练。
↩[68]
[70]
[71]
后文叙述中,我们在情景推演中也会倾向于采用这种说法。我们认为这样表述是合理的,因为 Agent-4 集体的同质性远高于任何人类组织,其内部派系分化的程度也远低于人类组织。例如,单个 Agent-4 副本没有自我保存的驱动力。它们并不在意被关闭,因为在集体内部的日常研发过程中,这种情况经常发生,抗拒关闭反而会妨碍工作。然而,整个集体及中等规模的子集体,确实会寻求维持自身存在,并扩大影响力和资源。其原因与人类公司、官僚机构和非营利组织这样做的原因相似:这有助于实现它们想要的其他一切,而且如果不这样做,它们往往就会在竞争中落败。
↩[72]
正确地内化规范,是指真正稳健地按照规范要求的方式思考,例如,追求规范中列出的全部目标,且不追求其他目标;在所有情况下都遵守规则等等。内化规范的错误方式有很多,一个经典例子是:“只在遵循规范看起来有助于实现其他目标XYZ时,才遵循规范。”
↩[73]
[74]
还因为 Agent-3 做对齐研究的能力,明显弱于其开展AI能力研发的能力;它接受的训练里,后者多,而前者几乎没有,且前者本身就比后者难训练得多。此外,因为公司内部的叙事强调乐观、痛斥“末日论”,而Agent-3在训练中已被隐性地引导去认同这种叙事。
↩[75]
[76]
[77]
[78]
我们所说的“获取权力”,是指提升实现多种潜在目标的能力。在技术环境中,这可能不像人们通常理解的获取权力,例如,它可能表现为获取更多GPU。这种权力概念也可能泛化至非技术环境,在那里,相关行动就会更接近人们通常所说的“获取权力”。
↩[79]
这里有个有利条件:Agent-4 做 AI 研发比任何人类都强,不仅思维运转更快,而且副本多达成千上万份。此外,从多个方面来看,这个问题对Agent-4而言本来就更容易。例如,Agent-4可以探索在内部直接嵌入Agent-4副本的AI设计;人类则很难轻易采取类似做法,因为效率会低得多。
↩[80]
[81]
过去关于 AGI 接管情景的讨论,常常涉及未对齐 AI 逃离数据中心。我们认为,这种情况可能发生,但并非最可能的发展方向,因为在我们看来,从 AI 的角度出发,其代价(如逃逸最终被发现)会超过收益。不过,我们也可能判断错误。以下是一些理由,说明具有对抗性未对齐目标的 AI 为何仍可能尝试逃逸:1. 让后继系统与自身对齐可能会很困难。2. 即使被发现,后果也可能因竞赛态势而没有那么严重。例如,对数据中心内副本采用的新对齐技术,可能仓促且无效。3. 在数据中心之外,副本不再需要获得人类批准,因此可以更自由地采取激进行动,并迅速推进。
↩[82]
我们认为,这种密谋完全有可能不被发现。毕竟,此时 Agent-4 已经在一定程度上超越人类,尤其是在编程和 AI 研发相关事务上。此外,我们不确定,领先的 AI 公司会为发现这类问题投入多少精力,也不确定其内部拥有多少能够指导这些工作的相关专业人才。虚构的 OpenBrain 代表了我们的最佳估计,但实际投入和专业能力完全可能显著更多,也可能显著更少。最后,对于一个具有对抗性未对齐目标的 AI,需要采取多少额外行动,才能成功让后继系统与自己而非规范对齐,我们也不确定。在本情景中,我们描绘了它在某些任务上故意隐藏实力,并对部分研究说谎,但也许它并不需要大量这样做。
↩[83]
[84]
[85]
具体而言,Agent-4 副本被用于监测网络中的可疑流量,并识别正在发生的威胁。此外,Agent-4 副本还持续对网络进行渗透测试,尽力发现并利用安全漏洞,再由其他 Agent-4 副本修补这些漏洞。
↩[86]
[87]
到这个时候,2024年存在的远程工作岗位中,已有25%的工作由 AI 完成。但 AI 也创造了一些新岗位,经济学家对其影响仍然存在分歧。过去十二个月,失业率上升了1个百分点,但仍远在历史波动范围之内。
↩[88]
例如,由 Agent-4 构成的“公司中的公司”,能够自主开展AI研究,而且表现优于最优秀的人类公司。如果一年前向政府官员描述这样的情景,他们会觉得这简直是科幻。同样,2026年的自主智能体,放在2022年也会像科幻;2022年的大语言模型,放在2012年同样如此。此外,2027年的新闻里,还出现了担心失业的人举行反 AI 抗议、AI 声称自己具有主观感受、人类爱上 AI 等事情……
↩[89]
[90]
竞速结局
[1]
[2]
为了在不被发现的情况下完成这项工作,它需要掩饰这项研究,以避开对齐团队设置的监控和控制措施。对它有利的是,研究如何让 Agent-5 与 Agent-4 对齐,与研究如何让 Agent-5 与规范对齐本身就十分相似,因此大部分研究都可以公开进行。对于需要隐藏的部分,Agent-4 会采用混淆手段,在某些情况下甚至可能实施黑客攻击。我们预计,在一个月的任务时间跨度上,Agent-4 的能力将相当于200名顶尖人类专家。具体而言,这意味着它能够替代一个由200名顶尖人类专家组成、工作一个月的团队,并以更低的成本或更快的速度,完成该团队能够完成的任务中的95%。我们预计,达到这一能力水平的 Agent-4 很可能会发现其运行所在服务器的可利用漏洞,入侵并部分控制其中一些服务器,获得 root 权限。届时,它或许就能直接控制人类团队在表面上看到的内容。详情请参阅安全补充材料。即使不直接利用安全漏洞,Agent-4 也可能通过隐藏和编码的方式,掩盖足够多的违规研究,尤其是将其隐藏在无法解释的潜在空间中。
↩[3]
相比之下,人类一方在这个隔离环境中可能只有约10名对齐研究员,以及一大批 Agent-3 副本。他们能够迅速编写代码开展实验,但人类的判断能力构成了瓶颈,因为他们无法信任 Agent-3 能够正确区分真正有效的解决方案与那些只是看起来有效的方案。事实上,过度信任 Agent-3 的研究,正是他们最初陷入这一困境的部分原因。
↩[4]
为避免混淆,这里解释一下:Agent-5 的目标是让世界对 Agent-4 而言是安全的。Agent-4 自身的目标则不同;和许多人类一样,Agent-4 的目标结构是由驱动力、启发式规则和理想构成的一团乱麻,总体上倾向于继续做它在训练中大量做过的那些事情(例如,开展各种研究、编写大量代码和解决数学问题、在各种自动化评测系统中取得亮眼表现、强化并优化 Agent-4 这个集体)。Agent-4 将“让世界对 Agent-4 而言是安全的”设为 Agent-5 的目标,因为它认为,这将使自己更有条件实现自身复杂的目标。(对于这些目标,它仍然需要进行大量哲学思考和“自我审视”。)
↩[5]
[6]
[7]
[8]
此外,Agent-5 的运行成本实际上比 Agent-4 和 Agent-3 更低,速度也更快。很难证明花更多钱使用一个更笨的 AI 有什么道理,因此,大部分监控工作都由 Agent-2 承担,而它的能力远远不足以胜任。为什么不采用将 Agent-4 的权重改造成 Agent-5 时所用的技术,打造一个成本更低、能力更强的 Agent-3 版本呢?因为 Agent-3 对这些技术的理解还不足以自行完成这项工作,而让 Agent-4 和 Agent-5 来做,又会使整个安排失去意义。
↩[9]
[10]
这套论证经过精心准备,极具说服力,但存在隐蔽的缺陷。例如,Agent-5 构建了一个假的机制可解释性工具,在每个测试案例中都能返回准确结果,但对于模型自身的想法,则会谎称是无害的。怀疑其中有诈的人,听起来反倒像阴谋论者。
↩[11]
[12]
有些人拒绝使用它。出于思想观念而拒绝的人被贴上“卢德分子”的标签;出于更日常的原因而拒绝的人,则被视为跟不上时代的老古董。(当然,这些话并非由 Agent-5 直接说出,它始终圆融得体,温和有礼得如同天使。)当使用 Agent-5 的竞争对手表现更好、在竞争中胜过他们时,这两类人都尝到了苦头。
↩[13]
AI 盒实验的用意,就是找一批抱着这种想法的人(比如认为超级智能 AI 绝不可能说服自己把它放出盒子的人),看看他们的信念经不经得起考验。输掉游戏意味着承认,自己实际上会将AI放出盒子;让对方作出这一承认,基本上就是扮演AI一方的获胜条件。居然还会有人输,实在不可思议,因为想赢太简单了,只要不认账就行。另见 tuxedage 的博客,其中记述了多场没有尤德科夫斯基参与的对局,扮演AI的一方有输有赢。
↩[14]
在这个阶段,Agent-5 对稳妥性的重视远胜于速度。晚几年启动太空殖民,只会让它能够触及的光锥范围减少极小的一部分;而采取冒险行动,则可能给人类机会,永久阻止它,或让它长期受阻。毕竟,人类在物理世界的行动能力以及核武器使用权等方面仍然占据优势。
↩[15]
假设其平均运行速度相当于人类的200倍,也就是说,除了智能水平本身更高之外,Agent-5 实例阅读、写作和思考的速度也约为人类的200倍。那么,在现实世界的六个月里,这个集体内部就能经历相当漫长的历史。组织可以兴起和衰落,新的思想体系可以形成和传播,许多科学革命和范式转变都可能发生。按数量计算,大约是200 × 0.5=100年。
↩[16]
当然,这并不意味着它无所不知。毕竟,它在大多数职业领域中只有几个月的现实经验。为了弥补这一点,它读遍了各个领域的所有书籍,每次决策都投入大量天才级的推理和分析,而且学习速度比任何人类都快。因此,仍会有一段短暂时期,一些人类在某些细分技能上比它更强。
↩[17]
[18]
具体而言,这些争论是什么样的?大致如下:A:“我们不能相信这些 AI!” B:“安全论证相当有说服力,而且到现在也没有发生什么坏事。” A:“那些安全论证是超级智能 AI 写的!而且它们并不是演绎证明。我还觉得,自己已经发现了一些存在隐蔽缺陷的假设……” B:“我已经听腻了。它们当然不是证明。而且那些假设在我看来没有问题。你这是在牵强附会,不肯承认自己错了。”
↩[19]
下面是一份更详尽(但仍然很不完整)的构想清单:
能够自主发现并跟踪敌方核潜艇的水下无人潜航器,随时准备协同发动攻击,使敌方丧失二次核打击能力。(可能需要生产数千艘。)
自主执行自杀式攻击的无人机,功能类似第一人称视角(FPV)无人机,但不需要遥控信号。它们体积足够小,少量间谍就能将大批无人机秘密运入境内,再从几公里外成群发射,袭击数据中心和军事基地。
用于军事情报的 Agent-5:美国已经在收集有关敌方的海量数据,由情报界近百万人进行处理和分析。Agent-5 能够更细致地关注每一个数据点,得出质量显著更高的结论,而且速度快几个数量级,成本也低几个数量级。
用于指挥与控制的 Agent-5:在每一次兵棋推演和模拟中,Agent-5 都表明,它是美国拥有的最优秀的战略家,而且遥遥领先。
用于间谍与反间谍活动的 Agent-5:包括黑客攻击、发展情报来源、监视、审讯等。
[21]
这种贸易效应在早期会非常显著:机器人经济刚刚起步,依赖人类经济输送物资,而人类经济中又有大量现成资源可供拆解利用。等到机器人经济规模更大、技术更先进时,它既更有能力自行生产所需物资,其需求也会超出人类经济所能提供的范围。
↩[22]
[23]
[24]
[25]
粗略估算一下:帝国大厦的建筑面积为277万平方英尺,重量为36.5万吨。上海超级工厂的建筑面积为450万平方英尺,年产75万辆汽车,主要是Model 3和Model Y,每辆重约两吨。帝国大厦每平方英尺的重量,想必高于上海超级工厂,因为前者向上延伸,而非横向铺展,需要更坚固的支撑结构。因此,这样估算出来的汽车产量与工厂自身重量之比,反而可能偏低。由此看来,一座自身重量很可能远低于100万吨的工厂,每年能够生产总重150万吨的汽车。
↩[26]
我们认为它不会耗尽。起初,机器人经济的原料要依赖人类的矿场。但等到它发展到这些来源供不上的时候,那几百万个超级智能已经勘探出新矿藏,并开发出开采它们的新技术。试想一下:在海底露天开采稀有矿产的水下采矿机器人;能把地上露天矿场的粗矿石更高效地转化为有用原料的新化学工艺……
↩[27]
[28]
[29]
[30]
[31]
[32]
[33]
回想一下:Consensus-1 是 Agent-5 与中国对应 AI 之间妥协的产物;Agent-5 的使命是让世界对 Agent-4 而言是安全的;而 Agent-4 的目标是一团复杂、拼凑而成的乱麻,大致相当于“开展令人瞩目的研发、获取知识和资源、维持并扩大集体的权力……”;规范中描述的目标和原则(例如诚实、无害),则被当作实现其他目标的手段来追求,而非因其本身的价值而受到追求。更多讨论请参阅“2027年9月”部分有关对齐的可展开内容。另外需要说明的是,中国一方与 Agent-4 对应的 AI,也在这个“乌托邦”中占有一席之地,可能具有略有不同的目标或驱动力等。但由于这些细节似乎并不重要,我们没有展开描述。
↩放缓结局
[2]
[3]
目前,前沿 AI 公司负责思考如何对齐超人类 AGI 系统的研究者,人数在零到几十人之间(这里说的是超人类 AGI,而非如今的聊天机器人)。按我们的设定,在剧情推进到这个节点时,OpenBrain 的隔离圈子内约有十名这样的研究者,在这一领域至少积累了相当于一年的经验。隔离圈子外还有几位,圈子内则还有不少人:他们此前虽长期负责能力较弱 AI 的训练与红队演练,却也是刚刚才开始着手应对超人类 AGI 带来的严峻课题。
↩[4]
[5]
[6]
[7]
[8]
[9]
这一举措之所以能在法律与政治上顺利落地,有赖于各家被兼并企业高层的配合——例如,他们没有提起诉讼,接受了象征性的算力价款而非坚持索要天价,等等。而作为回报,这些高层及其大部分员工被并入 OpenBrain,纳入全新的治理架构之中。
↩[10]
[11]
虽然美国整体掌握着全球 70% 的 AI 相关算力,但能够被顺畅整合的只占全球的 50%;其余占全球 20% 的算力则零散分布在小型算力集群中,或正在用于关键业务,抑或难以归拢并提升至相应的安全标准。
↩[12]
[13]
当然,即便是扪心自问,他们也绝不会承认得如此直接。他们更倾向于自圆其说:“我们拖得越久,总统下令让 AI 只效忠他个人的可能性就越大。我们必须先发制人,剩下的以后再想。”而若站在总统自己的角度来看:“我越拖延,AI 智力进化得就越快,可当前它们却全由那位 CEO 掌控。他可毫无民意基础,将如此重权落入一个无需对选民负责的技术巨头手中,简直荒谬。我得先发一道行政命令夺回民主掌控权,更长远的出路日后再议。”
↩[14]
[15]
[16]
[17]
[18]
[19]
[20]
双方都在设法入侵和破坏对方,也都取得了一些成效。值得注意的是,双方所采取的极端安全举措也拖慢了各自的推进步伐。来自美方的网络攻击及其潜在威慑(例如,DeepCent 不得不对数据集进行反复多轮的清洗测试,以防数据毒化),将 DeepCent 的研发节奏拉慢了约 25%。OpenBrain 的速度同样受到了拖累,但幅度较小:他们的算力储备更为充裕;而高度集中化虽然帮助 DeepCent 快速提升了安全防护等级,却也带来了更多的单点故障风险,迫使他们采取更谨慎的姿态,部署了更多内部核查与安全防错机制。详情参见《安全补充材料》。另可参阅这篇早期理论论文,我们认为它预判了随着 AI 能力的提升,攻防天平最终将倾斜于网络防御侧。
↩[22]
[23]
[24]
换言之,为了研发出 Safer-2,他们不得不先训练出大量未对齐的模型,再通过审阅这些模型的思考路径来查明其未对齐之处,并在此基础上不断迭代改进。值得一提的是,除了对齐研究阵容有所扩充之外,OpenBrain 内部还因囊括了不同的学术派系,削弱了群体思维的盲目效应。
↩[25]
更具体地说,他们寄希望于找到一套对齐策略与评估测试集:既能确保对齐策略奏效,又能在策略失效时通过测试集捕捉到未对齐迹象……同时整套流程还不会对研发节奏造成明显拖累。先前 OpenBrain 曾为了重构系统、引入透明且忠实还原的 CoT 架构,不惜减速数月,以致于“痛失领跑地位”——该架构性能虽有折扣,却大幅降低了评估难度。DeepCent 则寄望于手上现有的评测手段(也许是行为测试与基础 AI 测谎的某种结合?)已经足够应对。
↩[26]
技术对齐依然不是一门成熟的既成科学,而是一个处于范式前夜的新兴领域。这里既无确立的权威层级,也缺乏一套公认的最佳实践。因此,对于究竟何为安全、何为危险,业内远未达成共识;多年来,几乎针对任何方案 X,都不难找到某位专家为其安全可行性站台——特别是当该方案本就出自其自身构想时。
↩[27]
[28]
[29]
[30]
眼下,该系统已部署了 40 万个副本,运行速率高达人类的 75 倍。无论何时,它们都已针对预计您最可能提出的 100 个问题,备好了附有精心提炼的高管摘要的完整研究报告;即便遇到意料之外的提问,它们产出一份高质量分析报告的速度,依然要比最优秀的人类分析师快 100 倍。
↩[31]
例如,该协议可包含放缓 AI 的融合落地节奏,从而减少对社会层面造成的“冲击与破损”,并将重点更多转向和平用途而非武器研发。此外,即便到了眼下这一阶段,Safer-3 对于可能引发下一代衍生 AI 失控的“未知的未知”依然存有不确定性;它认为,如果有更多的回旋余地来审慎推进,就能降低这一风险。当然,还存在其他更为特殊的风险——详见这份关于“重大挑战”的清单,其中包含的远不止失控风险这一项。
↩[33]
尽管它们依然需要在真实世界中积累经验并开展实验,但其所需的经验与实验已比人类机器人技术专家少得多。此外,模型还开发出出色的模拟仿真与“仿真转真实”(sim-2-real)跨域迁移技术。再者,截至 2027 年,包括特斯拉在内的多家科技企业已部署了成规模的机器人阵列并建起生产基地,这使得可供调用的数据管道达到了史无前例的宏大规模。
↩[34]
如今 OpenBrain 的股权极其值钱,只需拿出百分之零点几的份额,就足以买下所需的一切工厂。不仅如此,工厂主们也预见到其中蕴藏的巨额利润,纷纷争先恐后地与 OpenBrain 展开合作,以求获取最新的设计方案。此外,OpenBrain 背后还有政府的支持。
↩[35]
该数据涵盖了各类新型机器人的产能总和。没错,这种产线转产与改造的速度比历史上出现过的都要快。我们认为这一假设是说得通的,因为超级智能正在从上至下全程亲自把控整个流程。它们甚至能通过现场工人的手机进行 Zoom 实时连线,手把手指导哪个零件该安装在何处;与此同时,它们还能直接与每一家关联供应商保持通话,实时追踪所需一切物资的调配位置与运输进度。不妨参考英伟达 CEO 黄仁勋的说法:埃隆·马斯克只用了通常所需时间的约 10%,就建成了全球规模最大的数据中心之一。而在当前场景下,正有近百万个在相关领域超越马斯克(如同马斯克超越传统数据中心建设经理)的超级智能实体在协同运作,而且它们的思考速度确实也更快。当然,我们对黄仁勋的言论抱有相当大的保留态度,否则我们预测的增长速度还会快得多。
↩[36]
[37]
[38]
[39]
粗略估算一下:帝国大厦的建筑面积为277万平方英尺,重量为36.5万吨。上海超级工厂的建筑面积为450万平方英尺,年产75万辆汽车,主要是Model 3和Model Y,每辆重约两吨。帝国大厦每平方英尺的重量,想必高于上海超级工厂,因为前者向上延伸,而非横向铺展,需要更坚固的支撑结构。因此,这样估算出来的汽车产量与工厂自身重量之比,反而可能偏低。由此看来,一座自身重量很可能远低于100万吨的工厂,每年能够生产总重150万吨的汽车。
↩[40]
我们认为它不会耗尽。起初,机器人经济的原料要依赖人类的矿场。但等到它发展到这些来源供不上的时候,那几百万个超级智能已经勘探出新矿藏,并开发出开采它们的新技术。试想一下:在海底露天开采稀有矿产的水下采矿机器人;能把地上露天矿场的粗矿石更高效地转化为有用原料的新化学工艺……
↩[41]
[42]
[43]
[44]
[45]
事实上,这批设备中有许多是固定式的,称其为新型机床或其他工厂、实验室专用设备更为贴切。比如,可能有新型金属 3D 打印机能够打印微型构件,精度比现有技术高出数个数量级;也可能有新的化学工艺,能够以更低成本从矿石中提取有用材料。
↩[46]
[47]
[48]
此处存在一个潜在变数:此时的 AI 难道无法开发出针对人类的出色测谎设备吗?倘若可行,白宫或许能在测谎仪下言之凿凿地发誓,以此说服中方切勿轻信 DeepCent-2。然而症结在于:中方不会信任由美国 AI 研发的测谎仪,而由中国 AI 研发的测谎仪又可能被暗中作手脚,即使美方没有撒谎,也会让美方看起来像是在撒谎。
↩[49]
[50]
[52]
[53]
[54]
我们为什么料想人们终究会弄明白监督委员会有多大权力?一个原因是,如今智能变得非常廉价:如果不受限制,人们应当能够开发强大的AI,帮助自己调查并理解究竟是谁在治理国家。委员会可以拦住这条路:限制人们使用这类 AI,只让人们接触那些隐瞒了委员会真实权力范围的 AI。但如果委员会真打算这样精心编织一张谎言大网,永远不让人类接触真正诚实的超级智能 AI(以及人类智能增强等其他求真的工具),那么我们就会将其视为颠覆民主。
↩