精华速览

2026年10月15日，昆仑万维发布Matrix-Game 4.0，称其为全球首款可在单张消费级显卡上实时运行的视频大模型游戏。该游戏在NVIDIA RTX 5090上以480p分辨率、60 FPS运行，端到端延迟低于150毫秒，显存峰值18.5 GiB。其核心范式是让游戏引擎维护世界状态与交互规则，由视频生成模型实时渲染精细画面，并首次跑通“代码生成游戏逻辑—结构画面提供约束—视频模型实时渲染”的闭环。项目同步开源代码、权重与白模，旨在降低游戏原型开发与UGC创作门槛。

要点透视

  • 2026年10月15日，昆仑万维正式发布Matrix-Game 4.0，定位为世界首款运行在单张消费级显卡上的视频大模型游戏。
  • 在单张NVIDIA RTX 5090上，游戏以480p分辨率、60 FPS运行，端到端延迟低于150毫秒，单步去噪稳态生成速度83 FPS，显存峰值18.5 GiB。
  • Matrix-Game 4.0采用Harness新范式：游戏引擎维护世界状态与规则并输出结构画面，视频模型负责将结构画面转化为精细视觉，编程智能体将自然语言需求转化为可运行游戏代码。
  • 项目同步开源，提供可复用技术基础与可改编游戏代码，开源地址为Hugging Face的Skywork/Matrix-Game-4.0。
  • 对比其他方案，Code World Model端到端延迟约10.2秒、StreamRender-H3约545毫秒、AgentGarten约878毫秒，而Matrix-Game 4.0仅112毫秒；算力需求上，其他方案分别需1×H200 141GB、8×GB200、1×H100，Matrix-Game 4.0仅需1×RTX 5090。
  • 技术链路贯通数据、训练与运行时：基于UE5构建结构画面-精细画面跨域对齐数据集，覆盖CitySample超大城市、开放沙漠、复杂城堡、高动态空战四大场景；引入动态Caption与空间记忆；视频模型基于Wan2.2 5B改造为V2V模式，采用148通道拼接输入、30层因果DiT。
  • 推理加速采用CUDA Graph预录制重放、融合GPU kernel、FP8量化、文本KV按需重算、视频历史KV环形缓存、自注意力KV窗口切分并行、TAEHV轻量编解码，使文本编码器、DiT与VAE全部常驻单张RTX 5090。
  • 未来计划包括部署refiner提高分辨率、探索跨玩家视角一致的多人联机、提供更细粒度画面控制，并拓展更多游戏类型与场景。

文章拆解

Matrix-Game 4.0的发布，标志着视频生成模型从“离线演示”向“实时可玩”迈出了关键一步。此前，交互式世界模型虽能生成高质量画面，却受限于算力，多运行在多卡数据中心集群上，且存在世界状态缺乏独立维护、长时间交互一致性差、游戏规则不可靠三大卡点。昆仑万维的解法是将“世界”从模型记忆转移到外部引擎：引擎以代码维护生命值、背包、碰撞等状态与规则，输出结构画面；视频模型仅负责视觉渲染，并通过编程智能体将自然语言创意转化为游戏逻辑。这种“引擎管世界、AI画世界”的分工，既保证了规则的可验证性，又降低了对精细3D资产的依赖。

从行业影响看，单卡实时运行与同步开源，可能显著降低游戏原型开发和UGC创作的门槛。小团队甚至个人创作者借助自然语言即可调整场景、设计玩法，创意不再卡在3D资产生产线上。对比数据也显示，Matrix-Game 4.0在延迟和算力需求上远优于同类方案，首次将端到端延迟压至112毫秒，进入实时可玩区间。

然而，值得关注的变量与风险同样存在。首先，480p分辨率与60 FPS虽达标，但画面精细度能否满足商业游戏需求尚待确认；其次，长时间交互下的场景一致性、物体身份漂移等问题，虽通过引擎外部约束有所缓解，但实际表现仍需大规模用户验证；再次，编程智能体将自然语言转化为可靠游戏代码的准确性与鲁棒性，尚待确认；最后，开源虽利于生态，但代码、权重与白模的许可协议细节、商业使用限制等，也需进一步明确。未来，若refiner提升分辨率、多人联机等计划落地，该范式或对游戏开发、虚拟现实及AI内容创作产生更深远影响。

查看原文