精华速览

2026年AICon北京站将于12月18-19日举办,华为高级技术专家杨浩将分享基于昇腾算力的大模型推理加速研究与实践。演讲以AI Coding长上下文场景为牵引,分析昇腾推理面临的算力利用率低、KV Cache开销大、首Token延迟高及多卡通信瓶颈四大挑战,并围绕吞吐、时延、显存占用和MFU等指标展开优化。实践部分聚焦A3平台的Infra调度优化和TurboQuant算子工程落地。实测数据显示,在精度不变前提下,1M长序列请求并发数从4提升至10,提升2.5倍;3P1D架构下TPOT维持30ms、TTFT控制在10s以内,吞吐提升3倍以上。

要点透视

  • 2026年AICon人工智能开发与应用大会·北京站定于12月18-19日在北京新云南皇冠假日酒店举办,主题为“探索AI应用边界”,设置13大技术专题。
  • 华为高级技术专家、人工智能科学家杨浩确认出席“大模型推理与算力调度实践”专题,发表《基于昇腾算力的大模型推理加速研究与实践》主题演讲。
  • 杨浩指出昇腾推理面临四大核心挑战:算力利用率低、KV Cache开销大、首Token延迟高、多卡通信瓶颈。
  • 基于昇腾A3平台,通过PD分离、投机推理、动态批处理及分级KV缓存等技术,在精度不变下实现1M长序列请求并发数从4提升到10,提升2.5倍。
  • TurboQuant算子基于Hadamard旋转域量化,实现权重近优量化与KV 3~4bit压缩,通过CANN/Ascend C融合算子链消除中间buffer、减少kernel调度,已随CANN商发并在vLLM-Ascend主版本落地。
  • 在3P1D架构下,应用TurboQuant后TPOT维持30ms、TTFT控制在10s以内,吞吐提升3倍以上。
  • 演讲还将结合昇腾950的应用进展,介绍其代际算力提升与适配,并探索异构算力池化、训推一体与近存互联。
  • 杨浩为北京邮电大学通信与信息系统博士,师从两院院士陈俊亮,拥有十年以上搜索推荐和机器翻译研发经验,发表10+篇ICLR/ICASSP等顶会论文,带领团队获WMT/WAT多项冠军。

文章拆解

随着大模型向推理、工具调用、多模态和长任务延伸,Agent正从辅助工具演变为企业流程的工作承担者,开发重心也从单次调用转向上下文、工具、执行环境与反馈回路的设计。这一趋势对推理基础设施提出更高要求,尤其在AI Coding等长上下文场景中,KV Cache随上下文线性膨胀,访存、通信和显存瓶颈被显著放大。华为杨浩的分享正是针对这一痛点,以昇腾A3平台为主力算力,系统性地从Infra调度和算子优化两个层面寻求突破。

从技术逻辑看,PD分离、投机推理、动态批处理与分级KV缓存等Infra手段,旨在在并发与时延之间找到最优配比,提升算力利用率;而TurboQuant通过Hadamard旋转域量化实现KV 3~4bit压缩,结合CANN融合算子链减少调度开销,从底层算子层面压降显存和时延。两者结合,在精度不变的前提下实现了并发2.5倍提升和吞吐3倍以上增长,表明软硬协同优化对长上下文推理具有实际价值。

对行业而言,这一实践为国产算力在大模型推理场景的落地提供了可参考的优化路径,尤其对依赖长上下文的企业级Agent应用,如代码生成、文档理解等,具有直接的成本和效率意义。vLLM-Ascend主版本的集成也意味着相关优化有望惠及更广泛的开发者社区。

值得关注的变量包括:TurboQuant在不同模型和业务场景下的精度保持能力尚待更广泛验证;3P1D架构的部署复杂度和多卡通信效率在更大规模集群中的表现仍需观察;昇腾950的代际提升及异构算力池化、训推一体等探索尚处于早期阶段,其实际收益和生态适配进度尚待确认。此外,Agent工程化落地中的权限、成本与风险控制,仍是企业规模化应用需要同步解决的配套问题。

查看原文