PS5 被改造成本地 AI 服务器:PS5LM Plus 运行 27B 模型达 20.9 token/s
据 IT之家 10 月 17 日援引 Wccftech 报道,开发者 abhi245y 推出 PS5LM Plus,让经过破解的索尼 PS5 能够利用 GPU 在本地运行大型语言模型。该项目基于 AI 工程师 Mert Cobanov 的 llama.cpp 移植项目 PS5LM,通过引入图形驱动与计算接口,将游戏主机变成可供局域网设备调用的 AI 推理节点。据报道,高度量化的 Qwen3.8-27B 生成速度可达 20.9 token/s。
从 CPU 勉强运行,到 GPU 承担推理
早期 PS5LM 主要依靠 CPU 执行模型,运行 27B 参数模型时,平均每分钟只能生成约一个 token,距离日常交互需求较远。PS5LM Plus 的关键变化,是移植 Mesa 开源项目中的 AMD RADV 驱动,并通过 Vulkan 计算接口,让 llama.cpp 以原生应用形式调用 PS5 的 GPU。
据来源介绍,这一改动将可用内存从约 6GB 提升至 11.4GB,使高度量化的 Qwen3.8-27B 得以运行。PS5 的内存带宽为 448GB/s,也为推理提供了支撑。测试期间,GPU 使用率达到 100%,CPU 使用率仅为 2%,显示计算负载已主要转向 GPU。
- Qwen3.8-27B:生成速度可达每秒 20.9 个 token。
- Gemma 4 E4B:生成速度约为每秒 61 个 token。
- Llama 3.2 3B:生成速度达到每秒 124 个 token。
这些结果体现了不同模型规模下的速度差异,但不能直接代表所有任务的体验。来源未提供完整的量化配置、上下文长度及统一测试条件,因此不宜据此与其他设备作严格性能排名。
影响:不只是聊天演示,也能提供本地 API
PS5LM Plus 内置网页聊天界面,并可通过局域网 8081 端口提供 API 服务。同一网络内的其他设备能够访问页面,与主机上的模型对话。这意味着它不仅能在主机端运行模型,也具备作为局域网 AI 服务节点的基本形态。
项目还兼容 OpenAI 和 Anthropic API,便于 opencode、Codex、Claude Code 等工具调用本地模型。对开发者而言,接口兼容的意义在于降低工具接入成本,但接口能够连通,并不意味着本地模型拥有对应云端模型的能力。代码生成质量、复杂任务完成度,仍需结合实际模型和工作流评估。
硬件潜力值得关注,使用门槛仍然明显
这一项目展示了游戏硬件在 AI 推理上的再利用空间:通过驱动移植、计算接口适配和模型量化,原本面向游戏的 GPU 也可以承担语言模型推理。不过,PS5 配备的 16GB 统一内存仍是约束,实际可用容量会进一步限制模型选择及运行质量。能够装入 27B 参数模型,也不等于能够无损保留其能力。
更现实的门槛是,运行原生版 llama.cpp 需要先对 PS5 进行越狱。来源提示,这可能带来主机及 PSN 账号被封禁等风险。因此,PS5LM Plus 更适合被视为一次有价值的硬件与开源推理适配探索,而不是普通用户可直接采用的成熟 AI 服务器方案。