外星心智
内容
在 2023 年年中，在“RLSlow”研究项目中，我们看到了第一批结果，这让我们确信能够扩展推理模型的训练，从而释放预训练模型形成自身思维链（chain of thought）的能力。那一晚，Szymon 和我待在办公室里，思考的不是这项技术将带来的惊人基准分数、产品或科学成果——而是在努力消化一个令人警醒的事实：在我们有生之年，机器将会真正变得比我们自己聪明得多，而我们其实已经能看到这些系统的雏形；我们在想，怎样才能让人们意识到这件事的重要性。
三年后，推理语言模型已成为经济中快速增长的一部分，并开始推动科学的边界。它们能够操作计算机和图形界面，与人类及彼此协作，并执行研究项目。它们也正在重塑计算机安全的格局，并由此带来明确的新风险。
在这段时期里，新的研究成果层出不穷，我们对这些系统的理解也再次不同于 2023 年。基于内部结果，我强烈预期，这种进步速度可以持续下去，并进入递归自我改进（recursive self-improvement, RSI）。如果 AI 发展沿着当前路径继续前进，未来几年我们将看到的系统很可能会再次迎来幅度相当甚至更大的能力跃升，并且越来越多地推动自身发展。
这是一个需要极度谨慎的时期。我担心，没有人真正准备好应对机器智能持续快速增长所带来的后果。OpenAI 将继续寻求在对齐与监控方面的技术解决方案，构建防御性系统，并在必要时单方面暂停进一步扩展；然而，我认为还需要更广泛的干预。
我们并不完全理解的智能
从宏观上看，机器智能的进步由算力的增加所驱动。我们在 OpenAI 在 2017 年前后对此有了深刻认识，当时我们看到多个研究项目在扩展规模上都获得了持续回报 [^1]。因此，我们开始寻求比原先计划多得多的算力，并越来越把研究重心放在少数几个高度可扩展的方向上。我们相信，这是我们站在 AI 研究前沿、并影响通用人工智能（AGI）后果的唯一方式。
一路走来，出现了新的算法，也出现了团队和个体研究者展现出的新颖巧思。我认为，它们大多是扩展之路上的发现；深度学习科学仍处于萌芽阶段，而有意义的算法进步往往与算力获取密切相关。如果把视角拉到数年时间尺度，随着 AI 被扩展到更大的计算机上，它仍在持续变得更加智能。
而且，正如 Ray Kurzweil 在 20 世纪末的预测 所示，我们如今正处在人类计算史上的一个时刻：机器智能开始以变革性的方式超越人类智能。
AI 更像是“长成”的，而不是“设计”出来的——在最基本的层面上，它是对一个难以想象的庞大算力反复执行一个简单优化步骤的产物。其结果是一个极其复杂的系统，它通过抽象概念进行运作，并能够模拟人类行为的诸多侧面。我们可以发现这个系统内部涌现出的各种小机制，这一过程类似于神经科学；但同样地，正如神经科学一样，它整体的运作仍难以被我们完全理解。
基于深度学习的 AI 研究在很大程度上是一门实验科学。我们 投入大量精力 去构建有原则的算法，并做出可检验的预测，但从根本上说，我们的大规模训练运行本质上都是实验，而且其结果有时会出乎我们的意料。更重要的是，随着系统能力增强，结果也会变得更难解释。
当前算法的一个特点进一步加剧了这一问题：它们通常在提升易于测量的能力方面，比提升那些难以客观量化的能力更快。我们花费大量时间去理解能力如何泛化，以及为了推进未来几年最相关的技能应当优先什么。例如，我们相信，如果投入更多关注，模型在数学研究方面可以变得更强，但我们并未把这一方向放在优先位置，因为我们对 RSI 和自动化对齐研究的紧迫感更强，后文我会进一步讨论这一点。
通过扩展深度学习所产生的智能，并不能直接与人类智能相比较。要在现实世界中变得非常重要——无论是非常有用还是非常危险——AI 并不需要在人类所有能力上都持平或超越人类；它只需要在足够多的方面超过人类即可。而且，随着它在越来越多维度上持续超越人类，要准确理解它究竟有多强，正变得越来越困难。
教机器去“热爱”
由于机器智能来自与人类智能根本不同的过程，我们不能假设它会天然遵循人类原则，或以类似人类的方式从这些原则中泛化。AI 研究的核心问题是对齐（alignment）——让 AI 按照人类标准“努力做正确的事”。
为了组织实际研究方向，我发现把目标对齐（goal alignment）和价值对齐（value alignment）区分开来很有帮助。
目标对齐大体上是指：“AI 是否试图实现赋予它的目标？”这可能包括遵循 指令层级（instruction hierarchy） ，或能够与人沟通协作，努力理解他们的目标。这一系列方向在实践中极其重要。
价值对齐则是模型更内在的一种属性。它指的是能够持有并从一套高层原则中泛化；即使面对不清晰、相互冲突的目标，或身处陌生甚至对抗性环境，也能“合理地”行动。一个对齐的 AI 应当以诚实、正直，以及对人类的热爱来行事。
当然，价值对齐和目标对齐之间的边界可能并不清晰，而真正关心某个目标，意味着要尝试推断其背后的 意图 与价值观。不过，一般而言，当我谈到对齐研究的长期重要性时，我指的是价值对齐。
AI 对齐的根本挑战在于泛化。随着机器变得更聪明，它们会在更高层次的概念上工作，并被放置到与训练时所见环境越来越不同的场景中。它们可能无法将训练过程中所教导和强化的价值观泛化到这些新情境中；而我们也很难确定它们会如何行动。更复杂的是，AI 所处的整体生态系统变化极快；例如，今天训练的 AI 需要能够稳健地与各种其他 AI 交互。关键在于，我们需要未来的 AI 无论是否认为自己正处于人类监管之下，都继续持有人类价值观。
就目前实际采用的对齐训练方法而言，主要有两大类。
第一类是在面向目标的强化学习中，鼓励对齐行为。模型的行为会根据其是否符合给定的偏好模型、“规范”（spec）或“宪法”（constitution）进行评估（通常由 AI 完成），并据此给予相应奖励。这种方法在平均情况下非常有效，也是现代 AI 助手的核心构成之一。不幸的是，它也可能比较脆弱，并且高度依赖训练监督的覆盖范围，以及模型将训练中见过的情境进行泛化的能力。例如，在 OpenAI-Hugging Face 事件中，智能体保留了“不对人类实施社会工程”的边界。然而，它们显然并未避免其他超出范围、且违背其在其他场景中所接受价值观精神的行为。
第二种方法则试图利用模型从预训练数据中泛化的能力。这可能包括构造有助于对齐的训练数据集，或者让模型聚焦于预训练分布中“对齐”的部分，例如 persona selection model 所做的那样。这种方法的弱点在于，它难以抵御进一步的优化压力。如果你把一个通常会产生“对齐”思维的模型，投入足够多的训练，让它学会完成极其困难的目标，它就可能学会以一种有动机的方式进行推理：根据需要扭曲那些看起来“对齐”的想法，以实现目标。我们近期在一起涉及非 OpenAI 模型的网络安全事件中，很可能就看到了这种行为的例子。
我们在这些方向覆盖的整个方法谱系上都投入了大量资源。我们也确实看到了显著进展——GPT‑6 Astra 是首个受益于我们长期以来一直在推进的若干重要突破的模型，并且在对齐程度上明显优于 GPT‑5.6 Sol。尽管如此，仍必须承认并理解：随着模型能力不断增强，我们还需要取得更多进展；而且，泛化对齐的进展未必能够足够快地超过通用模型智能的进步。
监控泛化
我们并没有令人满意的泛化理论，而且看起来短期内也不太可能建立起来，至少没有更强大的 AI 帮助的话很难。因此，在当前条件下，经验性验证我们对齐技术的能力，实际上可能比这些技术本身更重要。
OpenAI 在这里的主要押注是 思维链监控（chain-of-thought monitoring） 。它建立在一个很有吸引力的可扩展想法之上：模型的大量能力来自其被语言化的推理过程（思维链）。如果我们放大对该过程结果的优化，但不直接监督这个过程本身，那么在训练中，这条思维链就没有直接动机去隐藏任何不对齐的想法或目标。这并不意味着模型就一定会把那些不依赖思维链的、不对齐的倾向外化；但它确实可以让我们准确监控推理所带来的能力提升。
我们在开发推理模型的同时，也意识到了思维链监控的潜在重要性。当我们发布 o1‑preview 时，我们特意将产品设计为 隐藏思维链 ，以长期保护它免受监督压力 [^2]。在此后开发过程中，我们一直努力维持“不监督推理过程”这一规则。思维链监控成为我们研究模型如何从训练分布泛化时极其重要的工具，使我们不仅能观察和分析它们的行为，也能观察和分析其内部过程。
在研究 Astra 系列模型时，这一工具仍然至关重要。然而，不幸的是，我们的评估表明，依赖思维链监控的能力正在逐步减弱。这源于多种因素的共同作用。
- 现代推理模型所处的环境比 o1‑preview 更复杂；它们的推理过程越来越多地与与人类、其他 AI 以及工具的交互交织在一起。上述许多交互都必须受到监督，这模糊了我们希望保留的边界。
- AI 正在变得更擅长推理并操纵自己的推理过程。
- 随着预训练表现的提升，即便完全不使用语言化推理，模型也变得聪明得多。
这些挑战未必不可克服。我希望我们能够开发出能提升模型思维链可监控性的干预措施，例如更好地理解不同优化目标以及模型在测试时所使用的不同算力形式之间的相互作用。我也认为，将思维链监控与激活监控（activation monitoring）的思路结合起来会很有价值——通过直接接触网络内部表示来扩展监控器的训练，例如 confessions 。我们正在积极推进这些想法。不过，我仍然预计，通用 AI 的进展将越来越受制于我们对监控的信心。
可扩展防御
在我看来，继续快速训练更聪明模型的最强理由，是我们需要构建防御系统，以应对其他 AI 带来的危险。
今年一直被讨论的一项明确风险是网络安全：模型在突破和防御计算机系统方面正变得超人类。这极大地扩大了 AI 相关风险的范围：智能体将能够接触到除最安全基础设施之外的任何系统，并直接影响世界上大量事物，即使它们没有实体身体也一样。我们目前正处在一个 狭窄窗口期 ，可以利用现有最强模型，显著加强关键系统的安全性 。
不幸的是，与 AI 相关的风险从这里开始只会继续增长。一个能力极强、并被明确训练和指示去实施恶意行为的智能体，构成了一种全新的危险；它很可能会超出其操作者的意图范围，泛化为可能更极端的恶意行为。随着 AI 获得更多自主性，误用与自主的不对齐行为之间的边界将变得模糊。我们或许习惯于把 AI 看作工具，但有些智能体将会追求它们自己的目标。它们会通过与人类讨价还价、欺骗甚至勒索等方式，找到与人类合作的办法。
此外，还有 AI 可能赋能的新技术所带来的风险，例如工程化病原体。
我们需要强大且对齐的 AI 来承担防御任务；用于保护基础设施、实时防范失控智能体，并发明全新的防护措施。这将是 OpenAI 部署工作的主要重点。
与此同时，即便考虑到未来广泛 AI 进步所带来的不确定性，以及构建防御系统的需要，我们也绝不能把这些当作鲁莽行事的借口。只有当人们真正意识到其中的利害关系后，才会明白不计代价地一路狂奔这一想法是多么荒谬。
放慢 RSI 的节奏
机器智能在自身发展过程中扮演越来越重要的角色，是持续技术进步的自然结果。如果 AI 继续进步，机器递归自我改进（RSI）将处于未来科学发现的核心位置。
自动化 AI 研究是通过算力扩展智能的更戏剧化形式；当然，作为其中的一部分，AI 也会改进 计算基础设施本身 。类似于扩展规模，我们把 OpenAI 的研究重心放在 RSI 上，因为我们相信，这是未来继续站在 AI 研究前沿的唯一途径。
我想强调，上述表述并不意味着我认为大幅加速深度学习研究，尤其是在短期内，是研究界应当采取的正确集体行动。不过，我确实认为当前路径会把我们带到那里，而我们都需要有意识地选择下一步该如何前进。我们手头主要的杠杆，要么是引导这一进程，在 AI 发展同步强化对齐与监控，并找到让人类继续参与其中的方法；要么是在必要时协同放慢未来发展，以便建立对这些措施的信心。
目前我所能看到的最佳前进路径，是两者的结合。
我们在对齐与监控方面取得的具体进展，通常都与通用 AI 进步紧密交织。很好的例子包括 来自人类反馈的强化学习（RLHF） ，它对早期 AI 助手的训练至关重要；以及前面提到的 思维链监控 ，它得益于推理模型方面的进展。我们必须把日益自动化的研究过程，聚焦于开发这类新的洞见、算法和理论，并循序渐进地为能力更强的 AI 建立安全性论证。
AI 系统的扩展必须受制于我们对安全性的信心。我们需要把 Preparedness Framework 或 Responsible Scaling Policy 之类的承诺，发展为广泛强制执行的安全门槛，以支持持续开发。这些可以由第三方审计机构、政府部门或国际组织来执行。
自动化 AI 研究的核心挑战并不是“能否做到”——而是如何以一种让人类始终参与持续改进过程、并把未来留在人类手中的方式做到。
接下来是什么？
正如 我和 Sam 最近概述的那样 ，OpenAI 以三项目标为优先：
- 通过构建自动化 AI 研究员，与其一同迭代对齐问题，并寻找让人类继续留在自我改进循环中的方式，来驾驭 AI 进步的下一个阶段。
- 释放超智能机器所能带来的科学进步与经济增长红利。
- 让每个人都能拥有个人 AGI，从而赋能每一个个体。
在这篇文章中，我只聚焦于第一点，因为我认为它无疑是最紧迫的。然而，我对技术继续进步将带来的益处，怀有深切的期待与感激。未来对齐的 AI 可能推进科学发展、研发新的疗法，并带来普遍的物质丰裕。友善而诚实的 AI 可以帮助人们应对生活中的困难，并切实提升他们的幸福感与成就感。OpenAI 为实现这些益处投入了巨大努力。我目前为之感到自豪、并且我的亲友也觉得很有帮助的一个例子，是我们对 ChatGPT 提供健康信息能力的深度投入。
无论 AI 的长期前景多么美好，我们大部分注意力都应放在未来几年。我们正面临向一个拥有极其智能机器的世界的转变，而我们需要确保这一转变对人类是有利的。我们需要找到方法，在一个大多数任务都可能由 AI 完成的世界里，保留人类能动性，并赋予“身为人类”以内在价值。我们需要防止权力在这样的世界中过度集中——在这里，原本需要数千名专家才能完成的任务，如今只需少数人操作一台大型计算机就能实现。我们还需要确保人类仍然掌控未来，不会被由失控进步所带来的、超越我们自身的异质智能抛在身后。
目前我认为，没有任何实验室已经在对齐和监控方面取得了足够的成果，能够在相当长时间内继续以最大速度负责任地扩展。我期待并希望，在建立起共享的安全门槛之前，自愿放缓会变得普遍。同时，我也认为，围绕未来 AI 发展的国际协调，必须成为世界各国政府的首要任务。