精华速览

开发者abhi245y基于Mert Cobanov的PS5LM项目，推出原生GPU应用PS5LM Plus，使破解后的索尼PS5能够本地运行Qwen3.8-27B等大语言模型。早期PS5LM主要依赖CPU，运行27B模型时平均每分钟仅生成约1个token；新方案移植Mesa的AMD RADV驱动，通过Vulkan计算接口让llama.cpp以原生应用运行，可用内存从约6GB提升至11.4GB，从而承载高度量化的27B模型。借助PS5 448GB/s的内存带宽，Qwen3.8-27B生成速度达20.9 token/s，测试中GPU使用率100%、CPU仅2%。项目还内置网页聊天界面，并可通过局域网8081端口提供兼容OpenAI与Anthropic的API服务。不过16GB统一内存仍限制模型选择，且需先越狱，存在封禁风险。

要点透视

  • 开发者abhi245y在Mert Cobanov的PS5LM项目基础上开发了原生GPU应用PS5LM Plus，让破解版PS5可本地运行Qwen3.8-27B等大语言模型。
  • PS5LM早期版本依靠CPU运行27B参数模型，平均每分钟仅生成约1个token；移植Mesa的AMD RADV驱动并接入Vulkan计算接口后，可用内存从约6GB提升至11.4GB。
  • 在448GB/s内存带宽支持下，Qwen3.8-27B生成速度达到20.9 token/s，测试期间GPU使用率100%、CPU使用率仅2%。
  • 较小模型速度更高：Gemma 4 E4B约61 token/s，Llama 3.2 3B达124 token/s。
  • PS5LM Plus内置网页聊天界面，通过局域网8081端口提供API服务，同一网络内其他设备可访问并与本地模型对话。
  • 该项目兼容OpenAI和Anthropic API，可被opencode、Codex、Claude Code等工具调用。
  • PS5配备16GB统一内存，仍限制模型选择与运行质量；运行原生版llama.cpp需先越狱，可能导致游戏机及PSN账号被封禁。

文章拆解

这则案例的核心看点，是把一台以游戏为设计目标的主机改造成本地大模型推理节点。早期PS5LM完全依赖CPU，27B模型每分钟约1个token，基本不具备可用性；abhi245y的关键动作是移植Mesa开源项目中的AMD RADV驱动，让llama.cpp通过Vulkan计算接口以原生应用调用PS5 GPU，同时把可用内存从约6GB提高到11.4GB，才让高度量化的27B模型跑起来。20.9 token/s的生成速度已接近日常对话可接受的水平，而GPU满载、CPU近乎闲置的测试数据，说明性能提升主要来自GPU加速路径的打通。

从硬件逻辑看，PS5的448GB/s内存带宽是这一结果的重要支撑。大模型推理对内存带宽敏感，带宽越高，权重读取和token生成越顺畅；这也解释了为何较小模型能跑到61甚至124 token/s。但16GB统一内存仍是硬约束：系统与显存共享同一池，11.4GB可用容量意味着只能选择高度量化的模型，上下文长度和模型质量都会受限，尚待确认的是不同量化版本下的实际输出质量与稳定性。

对用户和开发者而言，PS5LM Plus内置网页聊天界面并通过局域网8081端口提供API，还兼容OpenAI与Anthropic接口，使PS5可被opencode、Codex、Claude Code等工具当作本地模型后端。这降低了本地AI实验的硬件门槛，也展示了游戏主机在游戏之外的计算潜力。但风险同样明确：运行原生llama.cpp需先越狱，可能招致游戏机及PSN账号封禁；项目依赖破解环境，后续系统更新、驱动兼容性和安全性都存在不确定性。整体看，这是一次有技术参考价值的硬件再利用实验，而非面向普通用户的成熟方案。

查看原文