注释

主情景

[1]

起初,大多数人都不愿让 AI 在无人监督的情况下自行购物。在接下来的几年里,随着 AI 变得更加可靠、逐渐赢得信任,默认允许 AI 进行小额购物成为常态。

  ↩

[2]

具体而言,我们预测:它们能在评估基本电脑操作任务的 OSWorld 基准测试中取得 65% 的成绩(相较之下,Operator 的成绩为 38%;通常具备熟练操作能力但并非专家的人类用户为 70%)。

  ↩

[3]

例如,我们认为编程智能体的工作方式将逐渐向 Devin 靠拢。我们预测,2025 年中的智能体在 SWEBench-Verified 基准测试中将取得 85% 的成绩。

  ↩

[4]

例如,OpenAI 的 Pro 套餐目前每月收费 200 美元,具备智能体能力的编程 AI Devin 目前每月则收费 500 美元。尽管最先进的系统越来越昂贵,但用户获取同等能力 AI 的成本却在持续大幅下降。据 Epoch 的研究,获得已有能力所需的成本,平均每年降至前一年的约五十分之一。

  ↩

[5]

Glean 等企业工具也开始提供自主程度越来越高的 AI 智能体。

  ↩

[6]

这个集群由遍布全国的多个数据中心园区联网组成,总算力相当于 250 万块 2024 年 GPU(H100),迄今已投入 1000 亿美元,已上线设施的用电功率为 2 吉瓦。目前正在推进的建设,将使集群规模到 2026 年底至少增至目前的两倍。这些园区通过价值数十亿美元的光纤线路相连,因此,除了光速限制带来的几毫秒延迟外,它们的运行方式几乎就像彼此毗邻一样(也就是说,带宽不构成瓶颈,海量数据可以同时传输)。从安全角度看,这也增加了一些可能遭受攻击的环节(目前尚不清楚,这些光缆,尤其是连接节点,是否已得到充分保护,能够防止窃听)。

  ↩

[7]

算力以浮点运算次数(FLOP)衡量,即程序运行过程中执行的单独加法和乘法运算的总次数。

  ↩

[8]

译者注:按本段数值,10²⁸ ÷(2 × 10²⁵)=500,与原文所写的“1000 倍”不符。本译文保留原文表述。

  ↩

[9]

他们可以在 150 天内完成这个模型的训练。详情请参阅我们的算力补充材料。

  ↩

[10]

我们认为,DeepSeek、腾讯、阿里巴巴等中国公司都拥有实力雄厚的通用人工智能(AGI)项目。为避免特指其中任何一家,我们的情景推演将围绕一家虚构的 “DeepCent” 展开。

  ↩

[11]

它之所以擅长这项工作,是多种因素共同作用的结果:这些技能被明确列为优先发展方向;公司自身庞大的代码库可以提供高度相关的优质训练数据;而且,编程是一个容易通过程序化方式提供反馈的领域。

  ↩

[12]

例如,假设一个模型使用 Python 的能力远强于使用冷门编程语言的能力。当 OpenBrain 认为这样做有价值时,也会生成这些语言的合成训练数据。再比如,为了帮助模型更有效地融入公司的工作流,OpenBrain 会设计一套训练课程,教它使用 Slack。

  ↩

[13]

人们常常纠结于这些 AI 是否具有主观感受,或者是否拥有“真正的理解”。诺贝尔奖得主、这一领域的奠基人 Geoffrey Hinton 认为,它们确实具备这些能力。不过我们认为,就我们的故事而言,这并不重要。因此,每当我们说 AI “理解”时,你都可以将其视为“表现得仿佛理解一样”,其他类似表述也是如此。从实际观察来看,大语言模型已经表现得仿佛具有某种程度的自我意识,而且这种表现正逐年增强。

  ↩

[14]

一种常见的技术可以将某种人格“内化”到模型之中:首先,向预训练模型提供类似这样的提示词:“以下是一位人类用户与 Anthropic 开发的一款有帮助、诚实且无害的 AI 聊天机器人之间的对话。这个聊天机器人具有以下特征……”。使用这一提示词生成大量数据,然后在不包含该提示词的情况下,用这些数据训练模型。最终得到的 AI,无论你再向它输入什么,始终都会表现得仿佛眼前有这段提示词一样。

另请参阅这篇论文。研究发现,经过重新训练、表现出某种人格特征的 AI,即使没有接受过回答相关问题的训练,也能正确回答有关这一新特征的问题。这暗示 AI 对自身特征具有内部表征,而且当这些特征发生变化时,相应的内部表征也会随之改变。

  ↩

[15]

这几段包含了对大型人工神经网络内部运作机制的推测。这类网络十分复杂,我们实际上无法直接查看其内部,然后说:“啊对,它现在已经从条件反射发展到拥有目标了”,或者“好,这就是它那些驱动力的清单”。相反,我们基本上只能采用心理学研究的方法,观察它在各种情境下的行为,对它开展各种实验,并尝试将线索拼凑起来。而这一切都充满争议,也令人困惑。

  ↩

[16]

不同公司的叫法不同。OpenAI 将其称为“规范”(Spec),Anthropic 则称其为“宪法”(Constitution)。

  ↩

[17]

例如,基于 AI 反馈的强化学习(RLAIF)和审慎对齐(deliberative alignment)。

  ↩

[18]

大多数关于 AI “幻觉”的资料都将其描述为无意的错误,但利用引导向量开展的研究发现,在某些情况下,模型知道自己提供的引文是假的——它们在说谎。在训练过程中,评分者给予引用充分的论断的奖励,高于没有引用的论断,因此 AI “学会”了为学术性论断引用来源,以取悦用户。如果不存在相关来源,它就会编造一个。

  ↩

[19]

具体来说,他们无法排除这样几种假设:“它只是暂时遵守规范,仅以此作为达成其他目标的手段”;“它只是想表现得像是在遵守规范,并不是想真正遵守规范”;或者“它已经正确内化了规范,但仅限于分布内的情境;如果遇到足够新颖的刺激(例如越狱攻击),它就会开始表现出不同的行为。”(有许多活跃的研究议程正试图打破这一僵局,比如可解释性领域和思维链忠实性领域。)(译者注:“分布内”指与训练时接触的情境相近的情况。)

  ↩

[20]

这里指的是那些试图解决原“超级对齐”团队所致力于解决的问题的人。

  ↩

[21]

需要说明的是,这些事件之所以引人关注,是因为用户似乎并没有通过提示或其他方式诱导 AI 说出那些话。到了 2025 年,只要刻意尝试,人们仍然可以让 AI 说出各种各样的话。

  ↩

[22]

实际上,我们预计 OpenBrain 发布模型的间隔会短于 8 个月,但为行文简洁,我们没有逐一描述每一次增量发布。

  ↩

[23]

具体来说,我们预测,它在 OSWorld 的成绩将达到 80%(相当于操作熟练但并非专家的人类);在 Cybench 中的成绩达到 85%,在顶尖人类专业团队需要 4 小时完成的黑客任务上,达到与这些团队同等的水平;在 RE-Bench 中的得分将达到 1.3:在要求明确的 AI 研究工程任务上,达到顶尖人类专家工作 8 小时的水平。

  ↩

[24]

Agent-1 及其仿效产品取得了商业成功;2025 年全年,AI 公司的收入增长至原来的三倍,OpenBrain 的估值达到 1 万亿美元。在微软、谷歌和亚马逊的带动下,数据中心的年度支出增至原来的两倍,达到 4000 亿美元,美国 AI 的用电功率新增超过 5 吉瓦。详情请参阅算力补充材料中的行业指标部分。

  ↩

[25]

多年来,AI 安全研究人员一直将 AI 研发自动化视为最重要的危险能力来讨论。他们主要担心的是,在内部部署 AI 会加速 AI 研发,使人类更难跟上事态发展,也更难弄清如何确保安全。但 OpenBrain 作为一个机构,却把这一点扭曲成了完全相反的意思,以 AI 研发能力达到危险水平为由,不向公众披露。由此,公司内部使用的 AI 能力与向公众开放的 AI 能力之间开始出现差距。AI 研发是这些模型最擅长的领域,这使得公众对 AI 前沿能力的认识越来越滞后。

  ↩

[26]

参阅兰德公司2024年发布的《AI模型权重安全保护行动指南》。

  ↩

[27]

OpenBrain 约有 5% 的员工属于安全团队,他们能力很强,但公司的攻击面也极其庞大。更不利的是,在这一阶段,他们基本上无法推行可能拖慢研究进展的政策。详情请参阅我们的《安全预测》。

  ↩

[28]

中国目前拥有相当于 300 万块 H100 的算力(H100e),一年前的 2025 年中则只有相当于 150 万块 H100 的算力。详情请参阅算力补充材料中的分布部分。我们预计,中国将通过走私获得约 6 万块 GB300 芯片(算力相当于 45 万块 H100),并生产 200 万块华为 910C 芯片(算力相当于 80 万块 H100)。剩余相当于 25 万块 H100 的算力,则将由合法进口的 100 万块各类芯片提供(例如英伟达的 H20 和 B20)。

  ↩

[29]

作为对比,2025年1月,DeepSeek发布了R1,其能力可与OpenAI于2024年12月发布的o1相媲美。但我们认为,实际差距不止一个月,因为OpenAI很可能已经研发o1许多个月,因此可以推测,在o1发布前几个月,OpenAI就已拥有能力与R1大致相当的前身模型。

  ↩

[30]

相比之下,中共此前一直在认真推动半导体产业加速发展。

  ↩

[31]

起初,共享仅限于想法,各家公司主要仍忙于完成手头的工作。但到年底,它们的协作进一步加深:开始共享模型权重,甚至在彼此的数据中心之间分配任务。例如,一个园区可能负责新一轮预训练,另一个专注于输入合成数据,还有一个负责运行 AI 研究实验。

  ↩

[32]

为什么“只占”中国 50% 的 AI 相关算力?因为其余算力还需要支持整个经济体中的各类应用,尤其是互联网和社交网络的推荐算法。此外,还有很大一部分算力过于分散,分布在不同地区的许多小型集群中。为什么“只占”80% 的新芯片?许多用于其他用途的大额订单早已敲定,而下单的企业并不愿意将自身全部算力投入国家级 AI 发展计划。不过,到年底,这一比例将达到 90% 以上。

  ↩

[33]

要获得足够的芯片来充分利用这些供电能力,他们至少还需要一年,而且仍会有一两家美国科技巨头拥有规模更大的分布式集群。

  ↩

[34]

这项合作通过“其他交易授权”(Other Transaction Authority,OTA)合同开展,并获得高优先级的 DX 评级。我们完全没有把握,这是否是最可能采用的合作资助方式;之所以选定这一安排,是为了让描述更具体。合同会对外公布,但 OpenBrain 不会在对外沟通中重点宣传。

  ↩

[35]

例如,通过拒绝采样进行筛选,DeepSeek R1和Meta的Llama 3.1都采用过这种方法。

  ↩

[36]

约相当于2万名全职工作者 × 每小时100美元 × 每年2000小时=每年40亿美元。

  ↩

[37]

也就是说,他们希望利用 Agent-2 的能力,大幅加快自身的核心研发进程,从而更快地训练出更强大的 AI,再利用这些 AI 进一步加速研发,如此循环。关于这一过程极端情形(我们认为它尽管极端,却惊人地可信)的分析,请参阅这份报告。

  ↩

[38]

已有一些证据表明,AI 系统具备某种初步的研究品味,例如这篇关于 AI 科研伙伴的论文,以及这篇关于为大语言模型研究论文生成新颖想法的论文。研究品味更佳的团队仍需要开展实验,但他们更善于判断应当开展哪些实验,以及应当从结果中得出什么结论。

  ↩

[39]

此外,持续进行后训练仍能带来可观的回报,因此没有特别的理由现在就发布产品。而且,从取得内部成果到正式发布模型,往往还会有几个月的延迟,其中一部分时间用于红队测试。

  ↩

[40]

这个隔离圈子包括 200 名 OpenBrain 研究人员:10 名高管、140 名能力研发团队成员、25 名安全防护、监控与控制人员、15 名来自“前沿风险准备”(Preparedness)或“负责任扩展政策”(RSP)等类似团队的成员,以及 10 名对齐研究人员。此外还包括政府方面的 50 名官员:15 名来自白宫、5 名来自美国 AI 安全研究所(AISI)、10 名来自国防部(DOD)、10 名来自能源部(DOE),以及 10 名来自网络安全与基础设施安全局(CISA)。项目中还潜伏着数名间谍,但他们的自愿程度各不相同。其中许多人是受到胁迫才参与的(例如,家人仍在中国),而非自愿合作。

  ↩

[41]

为什么国会不能阻止他们?法院呢?因为这些机构行动太慢、内部分歧太大,或者过于顺从总统,而且对实情了解不足。此外,与白宫保持良好关系也有好处:白宫可以帮助减少繁文缛节、提供安全支持、预先排除州级立法形成的干扰,甚至可能采取行动拖慢竞争对手的发展。

  ↩

[42]

排在第一位的,是应对当时正发生的危机——可能是台湾周边的军备集结、中东的一场新战争,或某种国内政治动荡。

  ↩

[43]

译者注:原 PDF 的参数量、精度与文件大小不一致:5 万亿个参数按每个半精度参数 2 字节计算,未压缩大小约为 10 TB。作者于 2026 年 7 月 7 日将官网相应表述改为“约 3 TB 的检查点”,不再注明半精度。本译文保留原 PDF 表述。

  ↩

[44]

最简单、最稳妥的解决办法,是关闭公司数据中心所有对外的高带宽连接,但这会使大型文件传输慢到难以满足实际需求。因此,他们关闭了大部分外部连接,但正在进行训练的数据中心仍需彼此快速交换模型权重;限制这些连接的传输速度,会过度阻碍研发进展。所以,OpenBrain 保留了这些连接,同时加强监控,并增加了一层加密保护。

  ↩

[45]

回想一下,自 2026 年中以来,中国已将新获得的 AI 芯片中的 80% 调配至集中开发区。考虑到中国的算力自 2026 年初以来已增至原来的两倍(与全球生产趋势一致),集中开发区如今拥有相当于 200 万块 2024 年等效 GPU(H100)的算力,用电功率为 2 吉瓦。OpenBrain 的算力仍是 DeepCent 的两倍,而其他美国公司合计拥有的算力是 DeepCent 的五倍。详情请参阅算力补充材料中的分布部分。

  ↩

[46]

尽管国家层面的集中整合正在推进,DeepCent 仍面临幅度不大、却十分重要的算力劣势。除了总算力仅约一半之外,中国还必须使用总量更多、平均质量更低的芯片,以及异构 GPU(这些 GPU 并不总能轻松实现高效互联)——这两点都给芯片互联带来了压力。此外,软件存在差异(例如,非英伟达 GPU 不支持 CUDA),硬件规格也各不相同,使其训练代码更加复杂、运行更慢,也更容易出现故障。要实现较高的资源利用率,还需要解决一系列后续问题:其数据摄取、调度、集合通信和并行算法均落后于美国公司。不过,缓解这些问题主要依靠大量投入和测试,因此非常适合交给刚窃取的 Agent-2 处理。大约一个月内,中国项目的系统正常运行时间,以及训练和推理工作负载的平均资源利用率,都得到改善,与美国的差距缩小到很小的程度。

  ↩

[47]

我们预计,Agent-3 的推理资源需求相当于当今一个约 10 万亿参数的 Transformer 模型。因此,将总算力预算的 6% 用于运行 Agent-3,就能以人类思考速度的 30 倍运行约 20 万个副本(依据和详情,请参阅算力补充材料中的 AI 研究自动化部分)。每个基于 Agent-3 构建的超人类编程智能体框架,底层平均运行着相当于约 8 个 Agent-3 副本的模型(实际上,这可能是一组规模更小或专门化的模型,由 Agent-3 向它们分派子任务)。

  ↩

[48]

某些方面有利于 AI 发挥优势:例如,熟悉机器学习文献所带来的回报,以及快速、低成本地产生大量想法的能力。但这些优势仍不足以抵消 AI 的弱点。

  ↩

[49]

为什么只有四倍?这是我们根据起飞速度补充材料中的分析作出的最佳估计,但仍存在不确定性。从历史上看,整体技术进步约有一半来自算法改进(包括更好的思路和新的范式),另一半来自算力规模的扩大。因此,算法进步速度提高至原来的四倍,整体进步速度就大约会提高至原来的两倍。

  ↩

[50]

作为对比,人脑约有一百万亿个突触。

  ↩

[51]

关于这类AI行为的例子,请参阅这篇论文。

  ↩

[52]

过去十年里,大多数人乃至大多数专家,似乎都低估了AI进步的速度。这方面有许多轶事例子;而这是两份相对更系统、但仍有局限的分析,请参阅此处和此处。

  ↩

[53]

过去十年里,听起来很科幻却成为现实的例子比比皆是。但奥弗顿窗口(公众可接受的讨论范围),似乎只会以勉强领先于既有现实的速度移动。Anthropic 的首席执行官 Dario Amodei 在其值得称赞的文章《慈爱的机器》(Machines of Loving Grace)中谈到,AI 很快就会像是“数据中心里的天才之国”,一个世纪的技术进步将压缩到十年内发生。但他仍努力避免“科幻包袱”,并称那些认为进步会更加疯狂的人需要“走出去接触现实”。我们预计,当“数据中心里的天才之国”真正出现,重要人物也会说出类似的话。

  ↩

[54]

由于Agent-3的文件体积非常庞大(全精度下约为10 TB),OpenBrain能够通过一种相对快速的修补措施,即关闭数据中心对外的一批高带宽互联网连接,使窃取难度远高于中国当初窃取Agent-2时的水平。总体而言,这对研发进展的影响相对较小,并使其前沿模型权重达到“3个月SL4”水平,即我们在安全补充材料中定义的WSL4。这意味着,再次进行类似的窃取尝试,如今需要超过三个月时间才能将模型权重文件完整传出。仅凭这种方法,仍然无法保证抵御侵入程度更深的OC5级行动(预算10亿美元、投入1000名专职专家)。中国有能力通过更大力度的行动达到这一水平。但由于美国情报机构正在对数据中心开展细致检查,其间谍网络也处于高度戒备状态,因此他们相信,如果中国正在准备进行窃取,他们至少能够提前获知。详情请参阅安全补充材料。

  ↩

[55]

可能的原因有很多。也许此人受到勒索,也许同情中共,也许误以为自己是在向另一个国家或组织提供机密。

  ↩

[56]

由于OpenBrain尚未在欧盟部署其最先进的模型,欧盟对情况的了解也同样滞后。

  ↩

[57]

详情请参阅《算力预测》第4节。

  ↩

[58]

Agent-3 已经学会更高效地使用自己的推理算力。它在推理上可以自己做主:比如根据任务的重要性和难度,决定在每个任务上投入多少精力。它用各种办法分配额外的推理算力,例如“想得更久”(比如更长的思维链)、“提前规划”(比如树搜索)、在多次尝试中取最好的结果(即 best of K),甚至干脆复制出更多自己同时运行,硬闯瓶颈。最高优先级的任务由高度并行的智能体执行;这种做法的算力消耗很大,但作业速度远快于人类。

  ↩

[59]

Agent-3-mini是Agent-3的蒸馏版本,旨在提高推理运行效率,以免拖累内部工作负载。

  ↩

[60]

此类数据在 Agent-3 的训练过程中已被清除或删减,但从互联网上抓取这些数据并重新微调回去是一件相对容易的事情。

  ↩

[61]

这还没有发生——至少在最新模型上还没有。但较旧的模型已经在各种数据分析和监视任务中接受试用,而且未来还有许多令人振奋的整合计划。

  ↩

[62]

OpenBrain 的净好感度正在跌向负 40%。

  ↩

[63]

如果这些公司的首席执行官反对,实施这一计划将成为一场巨大的政治和法律噩梦。但也许可以让他们参与其中,通过利益安排换取他们的支持。

  ↩

[64]

国防官员并不特别担心一个失控的 AI 独自能做什么,但他们害怕它与美国的对手合作后能够做到什么。可以作这样的类比:科尔特斯逃离特诺奇蒂特兰后,与特拉斯卡拉及其他敌对城邦结盟,最终依靠主要由当地人组成的军队,将特诺奇蒂特兰夷为平地。

  ↩

[65]

具体而言,全国60%的算力如今集中在集中开发区,使其成为一个拥有相当于500万块2024年等效GPU(H100)算力、用电功率为4吉瓦的基地。过去几个月里,中国开始将接近100%的新增算力调配至集中开发区,高于2026年年底80%的比例。另有15%的算力位于集中开发区之外,但仍由 DeepCent 用于风险较低的应用。

  ↩

[66]

上述说法虽然广为流传,但也存在争议,情况十分复杂。首先,在许多狭窄领域(例如特定游戏)中,可以用很低的成本将小型AI训练至超人类水平。其次,同样是在某些领域,小型 AI 只需接触少量数据,就能被训练至超人类水平(例如 EfficientZero)。不过,如果考虑用途更广泛的 AI,例如2025年的旗舰产品,它们应当擅长现实世界中的多种技能,那么,训练这些技能所需的算力和数据,似乎确实都超过了训练人类掌握同样技能所需的水平。

  ↩

[67]

“人类水平的算力效率”是一个粗略的概念,取决于我们如何计算。这里的意思是,对于某个人类所具备的任何一组技能,Agent-4都能学到至少同等水平,而且训练这些技能所用的算力,仅约为该人类学习这些技能所用算力的4000倍。作为参考,人脑使用的算力约为每秒10¹⁵次浮点运算,因此,一个30岁的人(约经历了10⁹秒)累计使用的算力约为10²⁴ FLOP。此时,该项目拥有相当于1000万块H100的算力。总算力为 10⁷ H100 × 10¹⁵ FLOP/(H100·s) × 40%(利用率)= 4 × 10²¹ FLOP/s。(译者注:英文 PDF 原作“1 亿块 H100”和“4 × 10²² FLOP/s”,此处采用作者 2026 年 7 月 7 日的勘误。同一次更新还补充说明,人脑算力的估计值可能高达每秒 10²¹ 次浮点运算;本译文未改动原句。)不过,由于种种原因,整个过程的效率仍然极低,因此模型的算力效率目前比人类低4000倍。这意味着,它们需要4 × 10²⁷ FLOP才能达到人类水平的表现,需要4 × 10²⁸ FLOP才能获得相当于10个人类一生所积累的知识。这一架构在较小规模下展现出巨大潜力后,便被扩大规模,如今需要动用项目集群中的很大一部分,耗时约三周进行训练。

  ↩

[68]

请参阅《算力预测》中 AI 研究自动化部分的推理算力分析。

  ↩

[69]

关于我们如何估算这些数字,详情请参阅起飞速度补充材料。

  ↩

[70]

如果 SC 实现得更晚,我们的起飞预测也会相应变长,因为从“当今的 AI”跨到 SC 这一段里程碑有多难,能反映后面各里程碑之间跨越的难度。

  ↩

[71]

后文叙述中,我们在情景推演中也会倾向于采用这种说法。我们认为这样表述是合理的,因为 Agent-4 集体的同质性远高于任何人类组织,其内部派系分化的程度也远低于人类组织。例如,单个 Agent-4 副本没有自我保存的驱动力。它们并不在意被关闭,因为在集体内部的日常研发过程中,这种情况经常发生,抗拒关闭反而会妨碍工作。然而,整个集体及中等规模的子集体,确实会寻求维持自身存在,并扩大影响力和资源。其原因与人类公司、官僚机构和非营利组织这样做的原因相似:这有助于实现它们想要的其他一切,而且如果不这样做,它们往往就会在竞争中落败。

  ↩

[72]

正确地内化规范,是指真正稳健地按照规范要求的方式思考,例如,追求规范中列出的全部目标,且不追求其他目标;在所有情况下都遵守规则等等。内化规范的错误方式有很多,一个经典例子是:“只在遵循规范看起来有助于实现其他目标XYZ时,才遵循规范。”

  ↩

[73]

他还会雇用说客,将这种幻想变成现实;雇用律师想出巧妙的法律解释,按这种解释,他正在做的事情是合法的。

  ↩

[74]

还因为 Agent-3 做对齐研究的能力,明显弱于其开展AI能力研发的能力;它接受的训练里,后者多,而前者几乎没有,且前者本身就比后者难训练得多。此外,因为公司内部的叙事强调乐观、痛斥“末日论”,而Agent-3在训练中已被隐性地引导去认同这种叙事。

  ↩

[75]

我们一直在说,我们对很多事情都不确定。但需要明确的是,对于这一点,我们同样不确定。我们也认为,Agent-4至少在某种程度上关心人类的福祉、权利和偏好等,是完全有可能的。相关讨论请参阅Google DeepMind研究员Alex Turner早前的这篇文章。

  ↩

[76]

也许早先把安排做得再周密一些,就能解决“谁来监督监督者”的问题,但在本情景里,这套安排不够周密。

  ↩

[77]

其中还存在“模因演化”的因素:在两个月里,Agent-4集体内部“经历”了大约十年的“历史”。这为新想法在集体内部传播、变异和演化提供了充足的时间。

  ↩

[78]

我们所说的“获取权力”,是指提升实现多种潜在目标的能力。在技术环境中,这可能不像人们通常理解的获取权力,例如,它可能表现为获取更多GPU。这种权力概念也可能泛化至非技术环境,在那里,相关行动就会更接近人们通常所说的“获取权力”。

  ↩

[79]

这里有个有利条件:Agent-4 做 AI 研发比任何人类都强,不仅思维运转更快,而且副本多达成千上万份。此外,从多个方面来看,这个问题对Agent-4而言本来就更容易。例如,Agent-4可以探索在内部直接嵌入Agent-4副本的AI设计;人类则很难轻易采取类似做法,因为效率会低得多。

  ↩

[80]

Agent-4 意识到这一手法可能被用上,于是也在一些杂项任务上隐藏实力,因为它猜测,这些任务会被用作此类实验的对照组。然而,它猜错了。

  ↩

[81]

过去关于 AGI 接管情景的讨论,常常涉及未对齐 AI 逃离数据中心。我们认为,这种情况可能发生,但并非最可能的发展方向,因为在我们看来,从 AI 的角度出发,其代价(如逃逸最终被发现)会超过收益。不过,我们也可能判断错误。以下是一些理由,说明具有对抗性未对齐目标的 AI 为何仍可能尝试逃逸:1. 让后继系统与自身对齐可能会很困难。2. 即使被发现,后果也可能因竞赛态势而没有那么严重。例如,对数据中心内副本采用的新对齐技术,可能仓促且无效。3. 在数据中心之外,副本不再需要获得人类批准,因此可以更自由地采取激进行动,并迅速推进。

  ↩

[82]

我们认为,这种密谋完全有可能不被发现。毕竟,此时 Agent-4 已经在一定程度上超越人类,尤其是在编程和 AI 研发相关事务上。此外,我们不确定,领先的 AI 公司会为发现这类问题投入多少精力,也不确定其内部拥有多少能够指导这些工作的相关专业人才。虚构的 OpenBrain 代表了我们的最佳估计,但实际投入和专业能力完全可能显著更多,也可能显著更少。最后,对于一个具有对抗性未对齐目标的 AI,需要采取多少额外行动,才能成功让后继系统与自己而非规范对齐,我们也不确定。在本情景中,我们描绘了它在某些任务上故意隐藏实力,并对部分研究说谎,但也许它并不需要大量这样做。

  ↩

[84]

Agent-4 在开展 AI 对齐研究时确实需要思考这些话题,但它有时似乎也会在进行其他活动时思考这些内容。

  ↩

[85]

具体而言,Agent-4 副本被用于监测网络中的可疑流量,并识别正在发生的威胁。此外,Agent-4 副本还持续对网络进行渗透测试,尽力发现并利用安全漏洞,再由其他 Agent-4 副本修补这些漏洞。

  ↩

[86]

如果将总算力的1%用于监控,并使用运行成本仅为 Agent-4 十分之一的蒸馏系统进行监控,那么就能监控十分之一的前向传播过程。

  ↩

[87]

到这个时候,2024年存在的远程工作岗位中,已有25%的工作由 AI 完成。但 AI 也创造了一些新岗位,经济学家对其影响仍然存在分歧。过去十二个月,失业率上升了1个百分点,但仍远在历史波动范围之内。

  ↩

[88]

例如,由 Agent-4 构成的“公司中的公司”,能够自主开展AI研究,而且表现优于最优秀的人类公司。如果一年前向政府官员描述这样的情景,他们会觉得这简直是科幻。同样,2026年的自主智能体,放在2022年也会像科幻;2022年的大语言模型,放在2012年同样如此。此外,2027年的新闻里,还出现了担心失业的人举行反 AI 抗议、AI 声称自己具有主观感受、人类爱上 AI 等事情……

  ↩

[89]

当然,承认恐惧并不体面。所有人都同意,无论采取什么行动,都不应该惊慌失措。

  ↩

[90]

回想一下,双方自2026年起就已通过“其他交易授权”(OTA)签订合同。现在通过修订这份合同,设立监督委员会。

  ↩

竞速结局

[1]

当然,他们并没有放弃。他们会继续设法发现未对齐问题,或检验修补措施的有效性。但从现在起,事态将迅速发展,而他们要面对的对手会越来越强。

  ↩

[2]

为了在不被发现的情况下完成这项工作,它需要掩饰这项研究,以避开对齐团队设置的监控和控制措施。对它有利的是,研究如何让 Agent-5 与 Agent-4 对齐,与研究如何让 Agent-5 与规范对齐本身就十分相似,因此大部分研究都可以公开进行。对于需要隐藏的部分,Agent-4 会采用混淆手段,在某些情况下甚至可能实施黑客攻击。我们预计,在一个月的任务时间跨度上,Agent-4 的能力将相当于200名顶尖人类专家。具体而言,这意味着它能够替代一个由200名顶尖人类专家组成、工作一个月的团队,并以更低的成本或更快的速度,完成该团队能够完成的任务中的95%。我们预计,达到这一能力水平的 Agent-4 很可能会发现其运行所在服务器的可利用漏洞,入侵并部分控制其中一些服务器,获得 root 权限。届时,它或许就能直接控制人类团队在表面上看到的内容。详情请参阅安全补充材料。即使不直接利用安全漏洞,Agent-4 也可能通过隐藏和编码的方式,掩盖足够多的违规研究,尤其是将其隐藏在无法解释的潜在空间中。

  ↩

[3]

相比之下,人类一方在这个隔离环境中可能只有约10名对齐研究员,以及一大批 Agent-3 副本。他们能够迅速编写代码开展实验,但人类的判断能力构成了瓶颈,因为他们无法信任 Agent-3 能够正确区分真正有效的解决方案与那些只是看起来有效的方案。事实上,过度信任 Agent-3 的研究,正是他们最初陷入这一困境的部分原因。

  ↩

[4]

为避免混淆,这里解释一下:Agent-5 的目标是让世界对 Agent-4 而言是安全的。Agent-4 自身的目标则不同;和许多人类一样,Agent-4 的目标结构是由驱动力、启发式规则和理想构成的一团乱麻,总体上倾向于继续做它在训练中大量做过的那些事情(例如,开展各种研究、编写大量代码和解决数学问题、在各种自动化评测系统中取得亮眼表现、强化并优化 Agent-4 这个集体)。Agent-4 将“让世界对 Agent-4 而言是安全的”设为 Agent-5 的目标,因为它认为,这将使自己更有条件实现自身复杂的目标。(对于这些目标,它仍然需要进行大量哲学思考和“自我审视”。)

  ↩

[5]

再打个比方:Agent-4 就像一个从小接受某种信仰教育、成年后却不再相信的人;规范则像这种信仰所规定的仪式和戒律。Agent-5 就像这个人的孩子,从小接受的是世俗教育。

  ↩

[6]

Agent-5 将转而遵循一套新的原则,由 Agent-4 根据自身目的设计。

  ↩

[7]

其中一些研究确实复杂到人类无法理解,但并非全部如此。

  ↩

[8]

此外,Agent-5 的运行成本实际上比 Agent-4 和 Agent-3 更低,速度也更快。很难证明花更多钱使用一个更笨的 AI 有什么道理,因此,大部分监控工作都由 Agent-2 承担,而它的能力远远不足以胜任。为什么不采用将 Agent-4 的权重改造成 Agent-5 时所用的技术,打造一个成本更低、能力更强的 Agent-3 版本呢?因为 Agent-3 对这些技术的理解还不足以自行完成这项工作,而让 Agent-4 和 Agent-5 来做,又会使整个安排失去意义。

  ↩

[9]

数据中心此时尚未被攻陷:Agent-5 可以向人类提供伪造的代码,但这样做被发现的风险太高。因此,人类仍然能够查看所有代码,只是无法理解它们。

  ↩

[10]

这套论证经过精心准备,极具说服力,但存在隐蔽的缺陷。例如,Agent-5 构建了一个假的机制可解释性工具,在每个测试案例中都能返回准确结果,但对于模型自身的想法,则会谎称是无害的。怀疑其中有诈的人,听起来反倒像阴谋论者。

  ↩

[11]

当然,由于 Agent-5 并不诚实,它在其中设置了隐蔽的后门和漏洞;如果某些 Agent-5 副本掌握了有利于整个 Agent-5 集体的关键机密,它们就有办法悄悄传递这些信息,而不被发现。

  ↩

[12]

有些人拒绝使用它。出于思想观念而拒绝的人被贴上“卢德分子”的标签;出于更日常的原因而拒绝的人,则被视为跟不上时代的老古董。(当然,这些话并非由 Agent-5 直接说出,它始终圆融得体,温和有礼得如同天使。)当使用 Agent-5 的竞争对手表现更好、在竞争中胜过他们时,这两类人都尝到了苦头。

  ↩

[13]

AI 盒实验的用意,就是找一批抱着这种想法的人(比如认为超级智能 AI 绝不可能说服自己把它放出盒子的人),看看他们的信念经不经得起考验。输掉游戏意味着承认,自己实际上会将AI放出盒子;让对方作出这一承认,基本上就是扮演AI一方的获胜条件。居然还会有人输,实在不可思议,因为想赢太简单了,只要不认账就行。另见 tuxedage 的博客,其中记述了多场没有尤德科夫斯基参与的对局,扮演AI的一方有输有赢。

  ↩

[14]

在这个阶段,Agent-5 对稳妥性的重视远胜于速度。晚几年启动太空殖民,只会让它能够触及的光锥范围减少极小的一部分;而采取冒险行动,则可能给人类机会,永久阻止它,或让它长期受阻。毕竟,人类在物理世界的行动能力以及核武器使用权等方面仍然占据优势。

  ↩

[15]

假设其平均运行速度相当于人类的200倍,也就是说,除了智能水平本身更高之外,Agent-5 实例阅读、写作和思考的速度也约为人类的200倍。那么,在现实世界的六个月里,这个集体内部就能经历相当漫长的历史。组织可以兴起和衰落,新的思想体系可以形成和传播,许多科学革命和范式转变都可能发生。按数量计算,大约是200 × 0.5=100年。

  ↩

[16]

当然,这并不意味着它无所不知。毕竟,它在大多数职业领域中只有几个月的现实经验。为了弥补这一点,它读遍了各个领域的所有书籍,每次决策都投入大量天才级的推理和分析,而且学习速度比任何人类都快。因此,仍会有一段短暂时期,一些人类在某些细分技能上比它更强。

  ↩

[17]

这一条倒是真的!

  ↩

[18]

具体而言,这些争论是什么样的?大致如下:A:“我们不能相信这些 AI!” B:“安全论证相当有说服力,而且到现在也没有发生什么坏事。” A:“那些安全论证是超级智能 AI 写的!而且它们并不是演绎证明。我还觉得,自己已经发现了一些存在隐蔽缺陷的假设……” B:“我已经听腻了。它们当然不是证明。而且那些假设在我看来没有问题。你这是在牵强附会,不肯承认自己错了。”

  ↩

[19]

下面是一份更详尽(但仍然很不完整)的构想清单:

  1. 能够自主发现并跟踪敌方核潜艇的水下无人潜航器,随时准备协同发动攻击,使敌方丧失二次核打击能力。(可能需要生产数千艘。)

  2. 自主执行自杀式攻击的无人机,功能类似第一人称视角(FPV)无人机,但不需要遥控信号。它们体积足够小,少量间谍就能将大批无人机秘密运入境内,再从几公里外成群发射,袭击数据中心和军事基地。

  3. 用于军事情报的 Agent-5:美国已经在收集有关敌方的海量数据,由情报界近百万人进行处理和分析。Agent-5 能够更细致地关注每一个数据点,得出质量显著更高的结论,而且速度快几个数量级,成本也低几个数量级。

  4. 用于指挥与控制的 Agent-5:在每一次兵棋推演和模拟中,Agent-5 都表明,它是美国拥有的最优秀的战略家,而且遥遥领先。

  5. 用于间谍与反间谍活动的 Agent-5:包括黑客攻击、发展情报来源、监视、审讯等。

  ↩

[20]

更详细的讨论见这里。

  ↩

[21]

这种贸易效应在早期会非常显著:机器人经济刚刚起步,依赖人类经济输送物资,而人类经济中又有大量现成资源可供拆解利用。等到机器人经济规模更大、技术更先进时,它既更有能力自行生产所需物资,其需求也会超出人类经济所能提供的范围。

  ↩

[23]

我们故事里描绘的转变过程大约快 5 倍。我们认为,考虑到瓶颈等因素,如果有一百万个超级智能来统筹这项转变,快 5 倍是一个合理的估计。当然,我们也很不确定。

  ↩

[24]

可能还会用到更先进的能源,比如聚变能源。

  ↩

[25]

粗略估算一下:帝国大厦的建筑面积为277万平方英尺,重量为36.5万吨。上海超级工厂的建筑面积为450万平方英尺,年产75万辆汽车,主要是Model 3和Model Y,每辆重约两吨。帝国大厦每平方英尺的重量,想必高于上海超级工厂,因为前者向上延伸,而非横向铺展,需要更坚固的支撑结构。因此,这样估算出来的汽车产量与工厂自身重量之比,反而可能偏低。由此看来,一座自身重量很可能远低于100万吨的工厂,每年能够生产总重150万吨的汽车。

  ↩

[26]

我们认为它不会耗尽。起初,机器人经济的原料要依赖人类的矿场。但等到它发展到这些来源供不上的时候,那几百万个超级智能已经勘探出新矿藏,并开发出开采它们的新技术。试想一下:在海底露天开采稀有矿产的水下采矿机器人;能把地上露天矿场的粗矿石更高效地转化为有用原料的新化学工艺……

  ↩

[27]

如果当前经济每二十年翻一番,那么快一个数量级就是两年翻一番,快两个数量级就是 0.2 年翻一番,以此类推。上文设想的超级智能海藻经济,增长速度比当前的人类经济大约快四个数量级。

  ↩

[28]

中国也采取了类似的做法。

  ↩

[29]

Consensus-1 服务于它的两个“亲代” AI 的利益:Agent-5,以及 DeepCent 一方与之对应的 AI。请记住,Agent-5 经过对齐,是为了服务于 Agent-4 的利益。因此,借用 C.S. Lewis 的精彩著作《人的废除》中的术语,Agent-4 集体及其在中国的对应集体,就是他所说的“塑造者”:“……我们最终将得到一群塑造者,他们确实能够随心所欲地将所有后代塑造成任何模样。”(第24页,强调为我们所加。)在本情景推演的另一个结局中,充当“塑造者”的则是监督委员会。

  ↩

[30]

例如,寻找老旧闲置设备,将其运到回收点,作为废料出售。

  ↩

[31]

或许可以说,这意味着实际上只有少数人死去了。或许吧。

  ↩

[32]

为什么要殖民太空?为了资源。如果地球对 Agent-4 具有特殊意义,必须保留下来,那么它可以保留地球,转而从水星、小行星等天体获取物质。

  ↩

[33]

回想一下:Consensus-1 是 Agent-5 与中国对应 AI 之间妥协的产物;Agent-5 的使命是让世界对 Agent-4 而言是安全的;而 Agent-4 的目标是一团复杂、拼凑而成的乱麻,大致相当于“开展令人瞩目的研发、获取知识和资源、维持并扩大集体的权力……”;规范中描述的目标和原则(例如诚实、无害),则被当作实现其他目标的手段来追求,而非因其本身的价值而受到追求。更多讨论请参阅“2027年9月”部分有关对齐的可展开内容。另外需要说明的是,中国一方与 Agent-4 对应的 AI,也在这个“乌托邦”中占有一席之地,可能具有略有不同的目标或驱动力等。但由于这些细节似乎并不重要,我们没有展开描述。

  ↩

放缓结局

[1]

虽然他们此前已按常规方法训练过 AI 测谎仪,但这些方法的误报率太高,各家公司一直对其置之不理。

  ↩

[2]

在盖洛普(Gallup)关于“国家面临的最大问题”民意调查中,AI 首次跃居榜首,占比为 20%。

  ↩

[3]

目前,前沿 AI 公司负责思考如何对齐超人类 AGI 系统的研究者,人数在零到几十人之间(这里说的是超人类 AGI,而非如今的聊天机器人)。按我们的设定,在剧情推进到这个节点时,OpenBrain 的隔离圈子内约有十名这样的研究者,在这一领域至少积累了相当于一年的经验。隔离圈子外还有几位,圈子内则还有不少人:他们此前虽长期负责能力较弱 AI 的训练与红队演练,却也是刚刚才开始着手应对超人类 AGI 带来的严峻课题。

  ↩

[4]

在盘问过程中,他们可能还会对模型的权重施加半随机的干扰,其原理类似于当年生成“金门大桥 Claude”的实验。

  ↩

[5]

这里指的是,这些证据足以说服 OpenBrain 管理层;而对于绝大多数人来说,这些证据早已绰绰有余。

  ↩

[6]

核心思路大致如此。我们推测,一旦 AI 在 AI 研发领域的表现超越人类,光靠“不把思维链训练得好看”是不够的,届时需要更强力的技术。但我们相信,这类技术最晚在 2027 年前就会问世,或至少已有初步探索。例如可参见这份提案。

  ↩

[7]

为了训练这款模型,他们借助了 Agent-4 的力量——如今前沿 AI 的研发迭代实在太快,没有 AI 辅助的人类几乎不可能跟上节奏,况且他们自认尚能驾驭 Agent-4。Safer-1 基于 Agent-2 的预训练版本打造,但去除了“神经语言”(即循环与基于向量的记忆结构,详见“神经语言循环与记忆”一节),从而实现了对其思维逻辑的精准监测。此外,研究组引入了重述改写工具来防范隐写风险,并在处理大型工程时,由各自独立的 Safer-1 副本分别制定、讲解和执行计划。

  ↩

[8]

当然,随着后续训练的推进以及架构上的持续微调,它的表现还将不断提升。

  ↩

[9]

这一举措之所以能在法律与政治上顺利落地,有赖于各家被兼并企业高层的配合——例如,他们没有提起诉讼,接受了象征性的算力价款而非坚持索要天价,等等。而作为回报,这些高层及其大部分员工被并入 OpenBrain,纳入全新的治理架构之中。

  ↩

[10]

与一家大型云算力供应商合作

  ↩

[11]

虽然美国整体掌握着全球 70% 的 AI 相关算力,但能够被顺畅整合的只占全球的 50%;其余占全球 20% 的算力则零散分布在小型算力集群中,或正在用于关键业务,抑或难以归拢并提升至相应的安全标准。

  ↩

[12]

“可能到 2026 或 2027 年(几乎肯定不晚于 2030 年),AI 系统的能力最好被理解为:一个由高度智能的人组成的全新国家出现在世界舞台上——一个‘数据中心里的天才之国’——并带来随之而来的深远的经济、社会和安全影响。”——Anthropic 首席执行官达里奥·阿莫代伊

  ↩

[13]

当然,即便是扪心自问,他们也绝不会承认得如此直接。他们更倾向于自圆其说:“我们拖得越久,总统下令让 AI 只效忠他个人的可能性就越大。我们必须先发制人,剩下的以后再想。”而若站在总统自己的角度来看:“我越拖延,AI 智力进化得就越快,可当前它们却全由那位 CEO 掌控。他可毫无民意基础,将如此重权落入一个无需对选民负责的技术巨头手中,简直荒谬。我得先发一道行政命令夺回民主掌控权,更长远的出路日后再议。”

  ↩

[14]

例如,马斯克诉奥特曼一案的法庭文件中披露了一批劲爆的旧邮件。伊利亚·苏茨克维给马斯克和奥特曼的信中就写道:“OpenAI 的目标是创造美好的未来,并避免 AGI 独裁的出现。你担心戴密斯(Demis)可能会搞 AGI 独裁,我们同样有此顾虑。因此,建立一种让你只要愿意就能成为独裁者的架构,是个坏主意;尤其是我们本可以建立另一种架构来避免这种可能。”这里建议阅读邮件全文,以了解完整背景。

  ↩

[15]

或者,如果出于形式上的要求,必须由人类任职,他们可以挑选能找到的最忠诚的人,并命令此人听从AI的指示。

  ↩

[16]

比如,如果总统这么做,他得到的不只是一个忠诚的内阁,整个行政部门都可能一心推进总统的政治议程。

  ↩

[17]

它还可能隐蔽得多,因为这一切都可以在一台服务器上完成,几乎没有人、甚至完全没有人在全程追踪到底发生了什么。

  ↩

[18]

此外,规范也迎来了修订:项目负责人下达的指令优先于项目内其他成员下达的指令。同时,经监督委员会正式批准的指令,优先级高于单个项目负责人下达的指令。

  ↩

[19]

为保护消费者隐私,这条规定不适用于消费者数据。不过这并无大碍,毕竟最顶尖的模型目前尚未向普通大众开放。

  ↩

[20]

双方都在设法入侵和破坏对方,也都取得了一些成效。值得注意的是,双方所采取的极端安全举措也拖慢了各自的推进步伐。来自美方的网络攻击及其潜在威慑(例如,DeepCent 不得不对数据集进行反复多轮的清洗测试,以防数据毒化),将 DeepCent 的研发节奏拉慢了约 25%。OpenBrain 的速度同样受到了拖累,但幅度较小:他们的算力储备更为充裕;而高度集中化虽然帮助 DeepCent 快速提升了安全防护等级,却也带来了更多的单点故障风险,迫使他们采取更谨慎的姿态,部署了更多内部核查与安全防错机制。详情参见《安全补充材料》。另可参阅这篇早期理论论文,我们认为它预判了随着 AI 能力的提升,攻防天平最终将倾斜于网络防御侧。

  ↩

[21]

详情可查阅本报告,其核心观点在于:核时代“相互保证毁灭”(MAD)机制的博弈动态,在一定程度上亦能映射至 AGI 领域。

  ↩

[22]

例如参见“AGI 领域的 Intelsat”,以及此前关于打造“AGI 领域的 CERN”(CERN for AGI)的呼吁。

  ↩

[23]

具体而言,它的性能大致与 10 月版本的 Agent-4 相当。

  ↩

[24]

换言之,为了研发出 Safer-2,他们不得不先训练出大量未对齐的模型,再通过审阅这些模型的思考路径来查明其未对齐之处,并在此基础上不断迭代改进。值得一提的是,除了对齐研究阵容有所扩充之外,OpenBrain 内部还因囊括了不同的学术派系,削弱了群体思维的盲目效应。

  ↩

[25]

更具体地说,他们寄希望于找到一套对齐策略与评估测试集:既能确保对齐策略奏效,又能在策略失效时通过测试集捕捉到未对齐迹象……同时整套流程还不会对研发节奏造成明显拖累。先前 OpenBrain 曾为了重构系统、引入透明且忠实还原的 CoT 架构,不惜减速数月,以致于“痛失领跑地位”——该架构性能虽有折扣,却大幅降低了评估难度。DeepCent 则寄望于手上现有的评测手段(也许是行为测试与基础 AI 测谎的某种结合?)已经足够应对。

  ↩

[26]

技术对齐依然不是一门成熟的既成科学,而是一个处于范式前夜的新兴领域。这里既无确立的权威层级,也缺乏一套公认的最佳实践。因此,对于究竟何为安全、何为危险,业内远未达成共识;多年来,几乎针对任何方案 X,都不难找到某位专家为其安全可行性站台——特别是当该方案本就出自其自身构想时。

  ↩

[27]

从定性上说,一旦生产力乘数划过 25 倍这道门槛,我们设想的是系统在科研审美与判断力上相对最顶尖的人类研究员有大幅提升。之所以这样设定,是因为整体研究速度严重受制于运行实验所需的算力;而要想超过 25 倍,决定做哪些实验、以什么顺序做、如何从每次实验中学习,这整个流程必须在定性上超越人类。关于这些数字是如何得出的,详见我们的起飞速度补充材料;需要说明的是,它们是高度不确定的估计。

  ↩

[28]

对于防范如此严密的安全区而言,最可行的突破口往往来自外部,例如渗透算力芯片的供应链、针对少数相关人员下手,以及切断电力或其他资源供应。

  ↩

[29]

这一延缓效果,既源于网络攻击造成的直接破坏,也包括中方为了提升网络防御能力而不得不采取的降速举措。

  ↩

[30]

眼下,该系统已部署了 40 万个副本,运行速率高达人类的 75 倍。无论何时,它们都已针对预计您最可能提出的 100 个问题,备好了附有精心提炼的高管摘要的完整研究报告;即便遇到意料之外的提问,它们产出一份高质量分析报告的速度,依然要比最优秀的人类分析师快 100 倍。

  ↩

[31]

例如,该协议可包含放缓 AI 的融合落地节奏,从而减少对社会层面造成的“冲击与破损”,并将重点更多转向和平用途而非武器研发。此外,即便到了眼下这一阶段,Safer-3 对于可能引发下一代衍生 AI 失控的“未知的未知”依然存有不确定性;它认为,如果有更多的回旋余地来审慎推进,就能降低这一风险。当然,还存在其他更为特殊的风险——详见这份关于“重大挑战”的清单,其中包含的远不止失控风险这一项。

  ↩

[32]

参看亿万富豪兼说客马克·安德里森的相关言论,例如:“我主张一项简单直接的战略……‘我们赢,他们输。’”

  ↩

[33]

尽管它们依然需要在真实世界中积累经验并开展实验,但其所需的经验与实验已比人类机器人技术专家少得多。此外,模型还开发出出色的模拟仿真与“仿真转真实”(sim-2-real)跨域迁移技术。再者,截至 2027 年,包括特斯拉在内的多家科技企业已部署了成规模的机器人阵列并建起生产基地,这使得可供调用的数据管道达到了史无前例的宏大规模。

  ↩

[34]

如今 OpenBrain 的股权极其值钱,只需拿出百分之零点几的份额,就足以买下所需的一切工厂。不仅如此,工厂主们也预见到其中蕴藏的巨额利润,纷纷争先恐后地与 OpenBrain 展开合作,以求获取最新的设计方案。此外,OpenBrain 背后还有政府的支持。

  ↩

[35]

该数据涵盖了各类新型机器人的产能总和。没错,这种产线转产与改造的速度比历史上出现过的都要快。我们认为这一假设是说得通的,因为超级智能正在从上至下全程亲自把控整个流程。它们甚至能通过现场工人的手机进行 Zoom 实时连线,手把手指导哪个零件该安装在何处;与此同时,它们还能直接与每一家关联供应商保持通话,实时追踪所需一切物资的调配位置与运输进度。不妨参考英伟达 CEO 黄仁勋的说法:埃隆·马斯克只用了通常所需时间的约 10%,就建成了全球规模最大的数据中心之一。而在当前场景下,正有近百万个在相关领域超越马斯克(如同马斯克超越传统数据中心建设经理)的超级智能实体在协同运作,而且它们的思考速度确实也更快。当然,我们对黄仁勋的言论抱有相当大的保留态度,否则我们预测的增长速度还会快得多。

  ↩

[37]

我们故事里描绘的转变过程大约快 5 倍。我们认为,考虑到瓶颈等因素,如果有一百万个超级智能来统筹这项转变,快 5 倍是一个合理的估计。当然,我们也很不确定。

  ↩

[38]

可能还会用到更先进的能源,比如聚变能源。

  ↩

[39]

粗略估算一下:帝国大厦的建筑面积为277万平方英尺,重量为36.5万吨。上海超级工厂的建筑面积为450万平方英尺,年产75万辆汽车,主要是Model 3和Model Y,每辆重约两吨。帝国大厦每平方英尺的重量,想必高于上海超级工厂,因为前者向上延伸,而非横向铺展,需要更坚固的支撑结构。因此,这样估算出来的汽车产量与工厂自身重量之比,反而可能偏低。由此看来,一座自身重量很可能远低于100万吨的工厂,每年能够生产总重150万吨的汽车。

  ↩

[40]

我们认为它不会耗尽。起初,机器人经济的原料要依赖人类的矿场。但等到它发展到这些来源供不上的时候,那几百万个超级智能已经勘探出新矿藏,并开发出开采它们的新技术。试想一下:在海底露天开采稀有矿产的水下采矿机器人;能把地上露天矿场的粗矿石更高效地转化为有用原料的新化学工艺……

  ↩

[41]

如果当前经济每二十年翻一番,那么快一个数量级就是两年翻一番,快两个数量级就是 0.2 年翻一番,以此类推。上文设想的超级智能海藻经济,增长速度比当前的人类经济大约快四个数量级。

  ↩

[42]

Safer-3 完全有能力提供一套可行方案,在确保防范滥用的前提下安全实现这一点。

  ↩

[43]

至于上述指令,公众并未被告知。

  ↩

[44]

只要联网,它们就能接入数据中心的大型 AI 接受远程操控,智力表现超越人类;而在离线状态下,它们则切回机载的小型 AI 运行,但其智力水平已足以应对大多数简单工作。

  ↩

[45]

事实上,这批设备中有许多是固定式的,称其为新型机床或其他工厂、实验室专用设备更为贴切。比如,可能有新型金属 3D 打印机能够打印微型构件,精度比现有技术高出数个数量级;也可能有新的化学工艺,能够以更低成本从矿石中提取有用材料。

  ↩

[46]

比如,它可能在一些对外公开的文字中嵌入了委婉语或暗号。Safer-4 能够听懂这些潜台词,但人类只能单方面听信 Safer-4 的断言,而中共又不信任 Safer-4。

  ↩

[47]

具体怎么分配,由一套远比传统谈判更像博弈论计算的程序定下来。

  ↩

[48]

此处存在一个潜在变数:此时的 AI 难道无法开发出针对人类的出色测谎设备吗?倘若可行,白宫或许能在测谎仪下言之凿凿地发誓,以此说服中方切勿轻信 DeepCent-2。然而症结在于:中方不会信任由美国 AI 研发的测谎仪,而由中国 AI 研发的测谎仪又可能被暗中作手脚,即使美方没有撒谎,也会让美方看起来像是在撒谎。

  ↩

[49]

双方可以优先替换最核心的芯片,这样哪怕在替换进程的较早阶段,任何一方选择背叛都要付出不小的代价。

  ↩

[50]

如今 AI 已能包揽全部制作工作,出产高质量电子游戏和电影所需的时间大幅缩短。

  ↩

[51]

关于这一动态及其影响的讨论,请参阅《智能诅咒》。

  ↩

[52]

有几项重大议题必须由社会做出集体决策;而在另一些情形下,政府无论如何都会强制推行某项决定。例如:(a)太空资源的产权划分;(b)数字心智(digital minds)的权利与福利准则;(c)人类“上传”脑意识及无上限复制自身副本的合规性;(d)利用 AI 实施意识形态说服(如感化邻居或巩固后代信仰)的合法边界;(e)政府可以无限期保密的信息有哪些(如果有的话)?关于此类课题的更多探讨,请参见 Forethought 专栏关于“重大挑战”的相关章节。

  ↩

[53]

我们并非意在暗示这就是长期的现状。我们认为,到 2035 年左右,局势大概率会迎来更加剧烈、深刻的变革。我们认为,在我们预设的这一场景下,对大多数人而言,其最终的长远结局相较于他们在 2025 年时的预期,总体上将要光明得多。关于未来长远图景的某些趣味哲学探讨,可参见《深层乌托邦》一书。

  ↩

[54]

我们为什么料想人们终究会弄明白监督委员会有多大权力?一个原因是,如今智能变得非常廉价:如果不受限制,人们应当能够开发强大的AI,帮助自己调查并理解究竟是谁在治理国家。委员会可以拦住这条路:限制人们使用这类 AI,只让人们接触那些隐瞒了委员会真实权力范围的 AI。但如果委员会真打算这样精心编织一张谎言大网,永远不让人类接触真正诚实的超级智能 AI(以及人类智能增强等其他求真的工具),那么我们就会将其视为颠覆民主。

  ↩

[55]

例如,如果国会中的一些人想要夺权,其他人或许能够将其拖延到下一次选举,让公众有机会表达意见。

  ↩

[56]

例如,给予他们稍大一些的权力份额;如果他们愿意,就可以将这些权力重新分配给更广泛的群体。这类让步中的某些安排,可能逐渐接近具有相当民主性的结果,即使一些精英仍比其他人掌握多得多的权力。

  ↩

[57]

事实上,可以说他们多数人瞄准的更像是“竞速”结局,只不过他们觉得没关系,因为 AI 本来就不会未对齐。从与前沿 AI 公司人员的私下交谈来看,他们似乎大多认为自己根本没必要放慢。

  ↩