精华速览

随着 AI Agent 从聊天问答转向软件开发、企业自动化等任务执行场景，算力评价逻辑正在发生变化。Arm 云 AI 解决方案架构总监 Ravi Malhotra 指出，Agent 工作负载在模型推理与外部操作间反复切换，CPU 需承担工具调用、任务编排和沙箱隔离等关键任务，若 CPU 处理不及时，昂贵的 GPU 可能闲置。Arm 联合富士通、Meta、OpenAI 等探索新评估方法，将端到端任务执行纳入 CPU 性能评价。Signal65 报告显示，在相同机架功耗预算下，Arm AGI CPU 的平均机架级性能约为对比平台的 1.99 倍，但该结果基于建模而非生产环境实测。行业尚未形成统一的 Agent CPU 跑分标准，评估正从单一性能分数转向特定业务约束下的任务完成效率。

要点透视

  • Arm 云 AI 解决方案架构总监 Ravi Malhotra 提出，智能体 AI 正在改变 CPU 性能评价逻辑，CPU 关键任务包括将 Token 转化为行动、为推理提供数据支持、负责工作流编排与沙箱隔离。
  • Arm 此前发布的新评估方法将工具调用、任务编排、推理支持和端到端任务执行纳入 CPU 性能评价，并与富士通、Meta、OpenAI 等企业共同探索。
  • Signal65 于 10 月发布的报告对比 Arm AGI CPU 与 AMD 第五代 EPYC 9755，在相同机架功耗预算下，前者平均机架级性能约为后者的 1.99 倍，其中工具调用类负载约 1.7 倍，推理与规划支持类约 2.2 倍，端到端智能体负载约 2 倍。
  • 该报告基于 24kW 功率预算建模：可配置 21 至 23 台 Arm AGI CPU 服务器，对比配置为 13 台 EPYC 9755 服务器；结果由芯片实测与服务器额定功耗建模得出，非完整生产环境机架实测，且研究由 Arm 委托开展。
  • Ravi Malhotra 表示，对于 Terminal-Bench、SWE-bench 代表的软件开发负载，每个 CPU 核心运行一到两个 Agent 可能已足够；短时企业自动化和个人助理任务则可能在单核上承载更多并发实例。
  • Signal65 研究专门测试了沙箱冷启动、热启动和高并发情况下的性能开销，反映 CPU 评估对象正从传统计算任务扩展到更完整的软件执行生命周期。
  • Ravi Malhotra 明确 Arm 当前提出的是评测方法论而非正式行业标准，不建议为不同智能体场景设定统一权重，企业应根据自身业务选择指标。
  • 当前不少测试侧重 CPU 承担的工作，尚未完整覆盖 CPU 与 GPU 之间的网络传输、跨节点调度以及 DPU 在数据搬运和基础设施服务卸载中的作用，Ravi Malhotra 表示未来需纳入更完整评估。

文章拆解

过去两年，AI 基础设施竞争几乎围绕 GPU 展开，Token 生成速度、推理吞吐和每瓦性能成为核心指标。但 Agent 的工作方式打破了这一线性逻辑：模型生成代码后，还需创建文件、调用编译器、运行测试并反馈结果，任务在推理与外部操作之间反复切换。此时，若 CPU 无法及时完成编译、测试或工具调用，后续推理就得等待，昂贵的 GPU 可能因依赖前序任务而闲置。CPU 由此从后台辅助组件走向决定 Agent 能否顺畅执行的关键环节。

这一变化的核心逻辑在于，Agent 场景下的算力评价不能只看单点峰值。不同 Agent 应用的计算特征差异显著：软件开发智能体需要较强的单核性能和内存访问效率，企业自动化和个人助理则更强调高并发下的稳定吞吐。Ravi Malhotra 提到，软件开发负载每核运行一到两个 Agent 可能已足够，继续增加并发虽可能提高资源使用率，却可能导致单任务完成时间超出 SLA。这意味着最高吞吐量并不等于最佳服务能力，系统需同时回答“一个 Agent 能跑多快”和“在延迟与稳定性约束下能持续运行多少个 Agent”。

对行业和用户而言，影响体现在基础设施选型和成本衡量方式上。Signal65 的报告将比较维度从单颗芯片扩展到整个机架，在 24kW 功率预算下，Arm AGI CPU 配置服务器数量多于对比平台，从而获得更高总体吞吐。但该结果基于芯片实测与额定功耗建模，并非生产环境机架实测，且由 Arm 委托开展，实际性能与成本仍需结合部署配置验证。更值得关注的是，沙箱启动延迟、编排系统调度效率等软件层因素，可能使理论并发容量难以转化为有效吞吐，硬件、系统软件和运行时环境需协同优化。

当前最大的不确定性在于评估标准缺失。Arm、AMD、Intel 及研究机构各自建立方法，软件、部署拓扑、并发规模和统计口径不一，性能数据难以横向比较。Arm 明确其提出的是方法论而非行业标准，不建议统一权重。此外，现有测试尚未完整覆盖 CPU 与 GPU 间的网络传输、跨节点调度及 DPU 卸载作用，这些变量可能显著影响端到端任务效率，尚待确认。对企业来说，真正值得衡量的是完成一项代码修复、处理一张客服工单或执行一次复杂业务流程所需的时间、资源和成本，而非单一跑分。Agent 带来的不是 CPU 取代 GPU，而是两者协作效率变得更为关键。

查看原文