内容
我们设计 GPT‑5.6 模型家族，旨在让 能力与成本 在人们使用我们模型的各种任务中保持平衡。我们的旗舰模型 GPT‑5.6 Sol 在最大推理模式下，于人工分析（Artificial Analysis）Coding Agent Index 上的表现优于 Claude Fable 5，而成本不到其一半。Terra 在智能基准测试上的表现与 GPT‑5.5 相当，但价格只有一半；Luna 则是我们速度最快、最经济的模型，定价比 Sol 低 80%。为了实现这些效率提升，我们的研究与技术团队在整个技术栈的每一层都进行了大量优化。这些改进涵盖我们的模型、推理（即我们如何运行模型生成输出）以及我们的 agentic harness，该系统同时用于 Codex 和 ChatGPT Work。
在过去四年里，随着我们的模型扩展到 10 亿活跃用户以及超过 200 万家企业，效率始终是将智能红利普惠给每个人的核心。我们的使命是确保通用人工智能造福全人类。多年来，我们持续在整个技术栈中挖掘更高的优化空间，力求在成本—智能曲线的每一个点上都提供性能最强的模型。通过 GPT‑5.6，我们实现了迄今最高的“每 token 智能效率”，该模型经过训练以 每个 token 完成更多工作。在训练过程中，我们同时针对任务成功率和效率进行优化，引导模型以更直接的路径完成任务。
这篇文章不仅聚焦于我们的模型，还将介绍我们如何通过另外两个技术栈关键部分的进步来设计效率：1）推理，通过优化负载均衡、推测解码、缓存和 kernel 优化等流程，在相同硬件上产出更多结果；2）我们的 agentic harness，包括更好地管理上下文膨胀、工具使用和重复工作。我们还将分享 GPT‑5.6 Sol 如何自主促成其中多项提升。虽然单项改进看起来可能有限，但这些成果会叠加起来，使我们能够在智能和效率两方面同时站上前沿。
图示显示 GPT-5.6 在 agent harness、API 编排和模型推理三个层面的效率提升，从而产生更少的网络数据、更少的 CPU 工作以及更多的 GPU 输出。
借助 GPT‑5.6 Sol 加速推理
在算力受限而模型需求增长速度超过算力供给的世界里，效率是每一项系统设计的核心。这一点在我们的推理栈中尤为重要，因为推理栈负责运行已训练好的模型来生成响应。我们的首要目标是在保持用户所期望的智能水平、延迟、可用性和可靠性的同时，用同样的硬件服务更多 token。
要实现这一点，必须对整个系统进行优化。单个模型本身可能已经非常高效，但如果请求分配不当、硬件处于闲置状态，或数据传输拖慢了计算，服务成本仍然会很高。各层级的改进会彼此叠加，收益来自路由优化（请求发送到哪里）、调度优化（请求何时发送）、kernel 优化（在 GPU 上运行的软件）、缓存优化（保存并复用已完成的工作）以及模型实现优化（GPU 代码的排列顺序）。Codex 中的 GPT‑5.6 Sol 在所有这些优化中都发挥了关键作用。
第一个重要例子是负载均衡。全球范围内，我们会根据地理位置、可用容量以及加速器类型（运行模型的 GPU 或专用芯片类型）来路由请求。在集群内部，我们会依据负载、上下文长度、缓存可用性及其他请求属性，在不同模型实例之间分配工作。在单个实例内部，工作还必须在加速器、模型子网络和计算核心之间高效拆分。Codex 中的 GPT‑5.6 Sol 帮助我们分析生产流量，识别此前被忽视的不均衡来源，测试新的路由策略，并持续微调这些启发式规则。仅这些负载均衡改进，就显著降低了我们模型的服务成本。
我们还使用 GPT‑5.6 Sol 来优化模型的前向传播：即将输入转换为下一个 token 预测的计算过程。即便单个操作很快，额外的内存搬运、同步以及低效的数据布局仍可能让 GPU 空转。为避免这种情况，GPT‑5.6 Sol 找出了可以预先计算、避免执行或并行化的工作。借助 Codex，GPT‑5.6 Sol 自主重写并优化了我们的生产 kernel，也就是执行构成模型的数学运算的核心代码。这一成功部分得益于我们对 GPT‑5.6 的训练，使其擅长编写和改进 Triton 与 Gluon 中的 kernel，这两种都是由 OpenAI 维护的开源 GPU 编程语言。上述努力，再加上 GPT‑5.6 Sol 更广泛的 kernel 进展，使端到端服务成本降低了 20%。我们还大量投入了验证工具，例如开源工具 FpSan（Floating-Point Sanitizer，浮点数清理器），以帮助验证 GPT‑5.6 Sol 编写的 kernel 的正确性。
推测解码也是提升速度和效率的重要手段。该技术会让一个较小的草稿模型（draft model，或称“speculator”模型）与主模型并行运行，先提出若干 token，再由主模型并行验证。若这些提议被接受，系统便可通过一次主模型前向计算生成多个输出 token，从而减少昂贵的顺序计算量。GPT‑5.6 Sol 通过围绕其架构设计并运行数百个实验，测试大小、结构和功能方面的改动，改进了自己的草稿模型。此外，GPT‑5.6 Sol 还启动并监控了 speculator 的训练过程，在出现问题时自主介入，包括硬件故障和训练不稳定。由此带来的改进使 token 生成效率提升了 15% 以上。
在处理未缓存的输入 token 时，模型会通过一次计算密集型的前向过程建立 key-value（KV）缓存；在生成输出时，则会反复读取并扩展该缓存。服务端的最佳配置，例如 batching、sharding 和 KV 管理，极大程度上取决于工作负载——提示词和输出长度、batch 大小、缓存命中率、查询特征等等。然而，过去配置空间过于庞大，无法系统性调优，工程师只能依赖粗粒度启发式规则。借助 Codex 中的 GPT‑5.6 Sol，我们得以分析生产工作负载，生成并评估候选配置，并针对每种场景对引擎和模型配置进行超参数级优化。这使得面向特定工作负载的新一层优化成为现实，能在同样硬件上提取出更多有用的推理能力。
推理优化是一个持续的反馈循环。我们会衡量生产环境中的表现，找出最大的差距，实施变更，并验证这些变更优化的是整个系统，而不仅仅是某个孤立基准。GPT‑5.6 Sol 和 Codex 加速了这一闭环的每一个环节。这意味着我们的团队可以探索更多想法，更快响应不断变化的工作负载，并打造出延迟更低、容量更高、用户成本更低的推理栈。
我们的 agentic harness 如何简化重复工作
ChatGPT Work 和 Codex 通过一系列模型请求和工具调用来完成复杂任务。在单次交互中——从用户请求到最终回复——Codex 可能会检查源代码、搜索部署历史、阅读事故报告、修改文件并运行测试。每一步都可能需要一次请求。
准备上下文、传输数据、运行推理、调用工具以及启动进程，都会消耗时间和算力。如果一个任务需要 30 次模型请求，那么每次多花 1 秒，累计起来就非常可观。提升整体性能，意味着要减少系统中的重复工作，而不仅仅是让模型更快。
一次用户交互中可能包含多轮模型与工具迭代。重复区域中的任何成本都可能被多次支付。
这些乘数效应影响了我们对 agentic harness 的设计。它是一个 Rust 编排层，连接我们的模型、工具以及用户环境。接下来，我们将介绍如何通过避免上下文膨胀、加载工具和复用工作，让每次请求都更高效。
避免上下文膨胀
随着 agent 获得更多工具、技能、插件和对话历史的访问权限，上下文窗口很容易不断扩张。这会增加成本、分散模型注意力，并诱发不必要的推理。harness 可以通过延迟发现（deferred discovery）来降低这部分开销，即让集成、自定义 MCP 工具、技能和插件只有在需要时才可被呈现。harness 还会防止单个工具和 MCP 集成意外占满上下文窗口。默认情况下，工具输出被限制在 10,000 个 token，除非模型请求不同的上限。
保留提示缓存的精确前缀
如前所述，在单次交互中，agent 循环可能会多次将相同的指令、对话历史、工具定义和先前结果发送给 GPU。处理这些重复输入的成本很高，因此提示缓存（prompt caching）会复用先前已处理过的提示前缀对应的计算。为了保留这一前缀，harness 将所有模型可见历史都视为只追加（append-only）：新的消息、工具结果和环境更新都会添加到末尾，而不是插入到更早的上下文中。工具也会以确定性顺序呈现，而运行时设置，例如审批策略，则在执行期间应用，而不是嵌入工具定义中。这一设计选择有助于 Codex 和 ChatGPT Work 实现较高的整体提示缓存命中率。
增量传输改变的是网络中传输的内容；提示缓存改变的是模型可以避免重新计算的内容。图中的宽度为概念示意，未展示额外的压缩层。
沿着智能曲线提升效率
我们借助 GPT‑5.6 实现的效率提升，是多年在整个技术栈中持续累积改进的结果，涵盖研究、推理以及我们的 agentic harness。GPT‑5.6 在促成其中许多改进方面所发挥的作用，让我们对优化速度将如何加快充满信心。我们将继续在 kernel 优化等领域推进更深入的优化，同时不断夯实技术栈的基础改进。我们期待把这些持续进行、发生在底层的改进，以更广泛可用、成本更低的智能形式带给我们的用户和客户。
特别感谢技术团队成员 Matthew Ferrari、Philippe Tillet、Ahmed Ibrahim、Joe Gershenson 和 Steve Coffey 对本文所作出的贡献。