精华速览

英伟达于10月15日推出开放多模态模型Nemotron 3.5 Super VL，面向持续运行、执行多步骤任务的AI智能体。该模型采用混合专家架构，总参数1200亿、激活参数120亿，将推理、指令遵循、工具调用与文本、图像、文档、视频理解整合于一体。英伟达称，在单张GPU上执行智能体任务时，其吞吐量最高可达同规模其他开放模型的5倍。模型已在CharXiv、Hermes Bench等基准中取得优于前代产品的成绩，并同步开放基础模型、后训练模型、NVFP4量化权重及训练配方。此外，英伟达还推出两款端侧模型Nemotron 3.5 Bolt，其中74B-A9B 24GB版本已开放获取，E4B 4GB版本计划10月23日发布。

要点透视

  • Nemotron 3.5 Super VL采用MoE架构，总参数量1200亿，激活参数120亿，整合推理、指令遵循、工具调用与文本、图像、文档、视频理解能力。
  • 英伟达称该模型在单张GPU上执行智能体任务时，吞吐量最高可达同规模其他开放模型的5倍。
  • 在CharXiv图表推理基准中得分80.8%，高于Nemotron 3 Nano Omni的63%；结合Python代码解释后得分达84%。
  • 在Hermes Bench和LangChain行为评估中分别取得63.44%和87.05%，高于Nemotron 3 Ultra的56.33%和84.3%。
  • 模型采用投机解码、混合精度和上下文复用降低推理开销，LiLiCorr投机解码在DGX Spark上可将词元生成速度最高提升至2.3倍。
  • 支持NVFP4量化，在Blackwell架构上使用4位权重和4位激活值，非Blackwell平台使用4位权重和16位激活值。
  • 分布式推理方案中，16张B200 GPU、每用户每秒50词元条件下，Dynamo配合缓存感知路由等最多可服务8倍用户，首词元延迟降低85%。
  • 同步推出Nemotron 3.5 Bolt 74B-A9B 24GB端侧模型，通过原生2位量化压缩至24GB；Bolt E4B 4GB计划10月23日发布。

文章拆解

英伟达此次发布的核心逻辑，是将大模型竞争从单纯参数规模转向智能体场景的实用效率。Nemotron 3.5 Super VL以1200亿总参数、120亿激活参数的MoE架构，试图在单GPU上实现更高吞吐量，这直接回应了企业部署多步骤AI智能体时面临的推理成本与延迟痛点。将推理、工具调用与多模态理解整合进同一模型，也减少了以往需要多个专用模型拼接的工程复杂度。

从行业影响看，英伟达同时开放基础模型、后训练模型、量化权重、训练配方、数据集和强化学习环境，意在降低开发者基于其生态进行定制的门槛。Scale AI、Ramp、AI21等企业案例显示，定制化智能体在推理成本、延迟和准确率上已有可量化改善，例如Scale AI为Skydance定制的供应商信用处理智能体推理成本预计降低97.5%、延迟降低80%。这些数据若能在更广泛场景复现，将增强企业对开放模型替代闭源方案的信心。

值得关注的变量包括：一是单GPU吞吐量提升5倍的具体测试条件尚待确认，实际表现可能因任务类型、上下文长度和硬件配置而异；二是NVFP4量化在非Blackwell平台上的精度损失和兼容性仍需验证；三是端侧Bolt 74B-A9B通过2位量化压缩至24GB后，本地智能体任务的质量与稳定性有待实测。潜在风险方面，开放权重虽利于生态扩张，但也可能带来滥用和安全治理挑战，英伟达在公平性、安全相关数据集上的投入能否形成有效约束，尚待观察。此外，智能体任务对工具调用准确率和长上下文可靠性的要求极高，基准分数领先并不等同于生产环境零故障。整体而言，此次发布强化了英伟达从芯片向模型与工具链延伸的战略，但能否转化为广泛的开发者采用，取决于实际部署成本、易用性和持续迭代能力。

查看原文