精华速览

九章云极推出针对GLM-5.3的推测解码加速方案Alaya-DFlash2，通过并行起草草稿模型与路径选择机制，提升长上下文生成效率。在8块H200、TP=8环境下，单并发解码速度达288.2 tokens/s，为原生自回归的3.41倍；总输出吞吐从78.95提升至236.47 tokens/s。4并发吞吐为原生2.24倍，64并发下仍提升44.9%。在1k至32k低熵上下文测试中，接受长度均高于对比模型，32k时达5.39。11类任务中9类接受长度领先。该方案旨在兼顾交互流畅性与高并发服务吞吐。

要点透视

  • 单并发下，Alaya-DFlash2解码速度288.2 tokens/s，原生自回归84.5 tokens/s，前者为后者3.41倍；总输出吞吐从78.95提升至236.47 tokens/s，约3倍。
  • 4并发时总输出吞吐506.56 tokens/s，为原生2.24倍；64并发时608.71 tokens/s，较原生420.13 tokens/s提升44.9%。
  • 1k至32k低熵上下文测试中，接受长度分别为4.74、4.97、5.28、5.50、5.39，全部高于IncoAI-DFlash2与RedHat-DSpark；8k至32k区间保持5.28以上。
  • 16k上下文下，接受长度较IncoAI-DFlash2高24.7%，较RedHat-DSpark高40.3%；32k下优势分别为18.5%和34.1%。
  • 11类任务中9类接受长度最高，代码与角色扮演两类与IncoAI-DFlash2接近；相较RedHat-DSpark在全部11类任务中领先。
  • 问答任务接受长度3.40，较IncoAI-DFlash2高20.1%；多语任务4.76，较RedHat-DSpark高29.0%；摘要与RAG分别为4.82和4.50。
  • 32k低熵上下文下，第5个草稿位置（P4）接受率49.43%，对比模型为31.84%和23.86%；第8个位置（P7）仍保持29.51%，约为两款对比模型的1.73倍和3.32倍。
  • 方案基于AlayaNeW智算引擎训练，开源地址为AlayaNeW/GLM-5.3-DFlash2。

文章拆解

长文本推理的瓶颈往往不在输入读取，而在逐token输出阶段：主模型每生成一个token都需重新计算整段上下文，上下文越长单步成本越高。推测解码通过小模型预猜、主模型批量验证来减少解码轮次，其核心指标是接受长度——每轮验证平均通过的候选数。接受长度越高，主模型需要执行的轮次越少，加速效果越明显。

Alaya-DFlash2的技术路径是在已有上下文后放置多个待预测位置，由骨干网络并行生成候选，再通过并行路径选择器将不同位置的候选组织为一条草稿序列交由主模型验证。这一设计同时关注草稿生成效率与候选间的衔接，使草稿后半段仍有较高接受率。实测中P4接受率49.43%、P7仍达29.51%，说明一轮解码有机会推进更长文本，这是长上下文加速的关键。

从用户与行业影响看，该方案在单并发交互场景下可让长文档问答、摘要等应用的生成阶段更快交付文本；在多并发服务场景下，同等显卡可承接更多输出请求。64并发下44.9%的吞吐提升虽低于低并发时的倍数增益，但仍具量化价值，表明推测解码在较高负载下未完全失效。

值得关注的变量包括：评测基于8块H200与TP=8的特定配置，其他硬件或并行策略下的表现尚待确认；接受长度测试集中于低熵上下文，高熵或高度创造性任务中的草稿准确率可能下降；对比模型仅涉及IncoAI-DFlash2与RedHat-DSpark，更广泛的横向比较尚不充分。潜在风险在于，草稿模型与主模型的配套训练依赖特定基座版本，若主模型升级或业务分布偏移，接受长度可能衰减，需持续维护草稿模型。此外，开源地址已公布，实际部署中的显存开销与调度复杂度尚待社区验证。

查看原文