精华速览

企业AI落地正面临双重压力:模型迭代加速导致基础设施频繁重建,Agent接入核心系统又带来权限失控风险。红帽全球副总裁曹衡康指出,CIO真正关心的是平台能否适应持续变化的技术环境,而非单一模型优劣。红帽延续开源商业化路径,其平台已支持20多个开源模型、700多个版本,并适配沐曦等国产GPU。在推理层,红帽推动的llm-d于10月20日发布1.0版本,补齐多租户管理、优先级调度等生产能力,IBM基准测试显示单位Token成本可比商业API低5至10倍。在治理层,Red Hat AI 3.5加入模型安全评估与Agent工具调用防护。调研显示,近70%企业推进Agent应用,但正式治理框架覆盖率不足15%。红帽试图以开放平台帮助企业控制AI运行的成本、权限与风险。

要点透视

  • 红帽平台目前支持20多个开源模型、合计700多个版本,加速器适配覆盖NVIDIA、Intel、AMD及国产GPU厂商沐曦。
  • 红帽大中华区方案架构部总经理王慧慧提出,企业算力管理正从GPU as a Service向Token工厂和Model as a Service演进,由IT部门统一提供模型服务。
  • llm-d于10月20日发布1.0版本,新增多租户资源管理、请求优先级调度、高可用与滚动升级能力,并加入面向Agent工作流的会话感知路由。
  • IBM Research基准测试显示,通过llm-d部署约7530亿参数模型,在并行Agent负载下最多支持3000个并发编码Agent,峰值输出吞吐超过每分钟660万Token,单位Token成本比同等商业API低5至10倍。
  • 红帽与趋境科技共建AI推理技术联合创新实验室,红帽提供vLLM推理框架和标准化平台,趋境科技负责不同模型、加速卡和平台环境下的具体优化。
  • Red Hat AI 3.5加入模型安全评估、Agent开发模板、工具调用防护和可观测性能力,其中EvalHub用于安全评估,NeMo Guardrails用于约束模型和Agent行为。
  • 红帽与CIO时代联合调研显示,接近70%的受访企业正在推进Agent应用,但正式治理框架覆盖率不到15%。
  • IBM与红帽披露,Lightwell已在广泛使用的Java库中发现并修复400多个此前未知漏洞,Lightwell Clearinghouse进入全面可用阶段;企业补丁部署时间可从40多天缩短至7至14天。

文章拆解

企业AI落地的主要矛盾正在从“能不能用”转向“能不能稳”。模型侧,新模型层出不穷,企业若将业务流程深度绑定在单一模型和运行环境上,每次换代都牵动GPU适配、推理框架和应用接口,前期投入难以复用。红帽提出的“四个Any”——任意加速器、任意云、任意模型和任意智能体——本质上是把底层硬件和模型变化隔离在平台之下,让企业不必每次重建运行环境。这一思路延续了Linux和OpenShift的开源商业化路径,其价值取决于平台对模型和硬件的覆盖广度与适配速度。

成本逻辑也在变化。单位Token价格持续下降,但思考模型和Agent普及使单任务需要多轮推理、工具调用和结果验证,Token消耗量随之上升,企业总账单未必减少。红帽因此提出企业应从Token消费者转向Token生产者,通过自建推理平台提高GPU利用率。但自建并非天然更便宜,需要稳定业务负载、合理GPU利用率、专业运维团队和持续模型优化能力;若算力长期闲置,折旧、电力和维护成本可能高于直接调用商业API。企业真正需要比较的是完成一项有效任务的综合成本,而非单个Token价格。llm-d 1.0的会话感知路由和优先级调度,正是试图从系统层压低这一综合成本。

Agent带来的治理挑战更为紧迫。当Agent接入企业内部系统,能访问什么数据、执行哪些操作必须明确约束,否则可能误删生产数据库或修改服务器配置。王慧慧认为Agent开发门槛已不高,真正复杂的是权限管理和治理。调研数据印证了这一落差:近70%企业推进Agent应用,正式治理框架覆盖率却不足15%。权限不能只靠提示词约束,还需身份认证、工具访问控制、操作审计和人工审批共同作用。Red Hat AI 3.5的EvalHub和NeMo Guardrails提供了工具支撑,但治理框架的落地程度仍取决于企业自身对高风险资源的管控设计。

软件安全领域,AI加快了漏洞发现速度,却也让修复环节的瓶颈更加突出。生产系统依赖大量开源组件,上游社区通常只在最新版本修复漏洞,企业直接升级可能引发兼容性问题。Lightwell以AI辅助识别、工程师验证修复、补丁回移的方式,试图在不整体升级的前提下缩短安全响应窗口。其已发现并修复400多个未知Java漏洞,补丁部署时间可从40多天压缩至7至14天,但这一模式能否覆盖更复杂的自定义系统,尚待更多生产场景验证。

红帽的平台边界还在向工业现场延伸,联合Intel、紫金星宇、西湖机器人和施耐德电气推出面向工业自主运营的方案,由红帽负责底层软件平台。这实质是OpenShift AI能力从数据中心向边缘设备的延伸,统一管理多台机器人、模型和计算资源。不过,具身智能场景对实时性和可靠性的要求远高于传统IT环境,该方案的实际部署效果尚待确认。总体来看,红帽近几个月的布局指向同一问题:让快速变化的AI技术进入企业现有系统并稳定运行。但投入不小而回报案例有限仍是普遍现实,这些能力能否转化为可量化的业务回报,还需更多真实生产场景检验。

查看原文