PS5LM Plus AI 模型可在 PS5 GPU 上运行，但这台主机尚未成为 AI PC
PS5LM Plus AI 模型现可直接在越狱 PlayStation 5 的 GPU 上运行，取代了此前每分钟大约只能生成一个 token 的 CPU 受限方案。开发者称，经压缩的 270 亿参数 Qwen 模型可达到约每秒 20 个 token。较小的模型据称可达到每秒 61 或 124 个 token。
这一变化让该项目从一个不同寻常的软件移植项目，变成了可实际使用的本地推理实验。PS5LM Plus 可以加载开放权重模型，在电视上显示性能数据，并通过本地网络向其他设备提供响应。
关键的对比并非 PlayStation 与某一家 AI 公司之间的竞争，而是改造后的消费级硬件与专用 AI 计算机及云服务之间的较量。PS5 的成果表明，软件访问权限能够释放闲置的计算价值，但也暴露了内存、模型压缩、安装和支持方面的硬性限制。
PS5LM Plus AI 模型从 CPU 转向 GPU
核心变化在于架构：PS5LM Plus 作为可访问 GPU 的原生 PS5 应用运行，而不再是受限的 CPU payload。
PS5LM 最初是 llama.cpp 的非官方移植版。llama.cpp 是一个开源推理引擎，可在多种硬件平台上运行语言模型。Payload 是注入现有主机进程的代码。这种方式让早期项目得以运行，但并未赋予软件对主机图形处理器的完整访问权限。
该 payload 还面临严格的内存上限。根据 PS5LM Plus 开发者的说法，它可用内存约为 6 GiB，并且必须为 PS5 界面和系统服务预留足够空间。分配过多内存可能导致主屏幕冻结。
这一限制很重要，因为本地语言模型需要内存存放权重、工作缓冲区和 KV 缓存。KV 缓存存储处理和生成对话时使用的信息。更长的上下文需要更多缓存内存，从而留给模型本身的空间更少。
PS5LM Plus 通过将服务器打包为原生 title 改变了这一安排。该项目的原生 GPU 应用结合了 llama-server、Vulkan 后端和 PS5 版 RADV 图形驱动。Vulkan 是一种低级图形与计算接口，可让软件向兼容 GPU 提交任务。
开发者表示，原生 title 可获得一个 12 GiB 的设备堆，在运行期间其中约 11.4 GiB 可供模型及其上下文使用。这并不是主机的全部物理内存，而是应用在该自制软件环境下可使用的部分。
公布的基准测试列表展示了额外访问权限带来的变化。一款容量为 9.2 GiB、经过高度压缩的 Qwen3.8-27B 模型，在 32,000 token 上下文下达到每秒 20.3 个 token。一款 6.8 GiB 版本则在 64,000 token 上下文下达到每秒 20.7 个 token。
一款 4.8 GiB 的 Gemma 4 E4B 模型据称达到每秒 61 个 token。一款 1.9 GiB 的 Llama 3.2 3B 模型则在另一种测试配置下达到每秒 124 个 token。Token 是文本片段，因此其与词语的对应关系会因语言和内容而异。
这些结果仍属于开发者报告的基准数据，并非独立实验室进行的标准化测试。不过，该项目公开了其代码、模型配置、上下文设置和观测到的生成速率。因此，与仅展示不明聊天机器人回复的视频相比，这些说法更便于审查。
转向 GPU 执行比峰值数据本身更重要。现代语言模型推理高度依赖重复的矩阵运算，而 GPU 处理这类运算的效率通常高于通用 CPU。PS5 原本就具备这种并行硬件，但原始 payload 无法有效利用它。
PS5LM Plus 还增加了电视仪表盘。它会显示生成速度、处理器利用率、功耗、温度、存储情况，以及模型权重与缓存之间的占用划分。模型可以存放在内部存储、新增的 M.2 硬盘或外接 USB 存储设备上。
该应用包含模型浏览器和网页界面。同一局域网内的笔记本电脑或手机可向主机发送提示词并接收生成文本。这让 PS5 更像一台小型本地模型服务器，而非单纯的聊天机器人设备。
这种组合构成了该故事真正的张力。主机并未获得更快的硬件；自制软件开发者改变了既有硬件的访问方式，将原本无法触及的能力转化为可用的推理资源。
原生 GPU 访问为何改变经济账
PS5LM Plus 的意义在于，它将已经拥有的游戏硬件转化为离线推理服务器，尽管这并不会一夜之间造就面向大众市场的实用替代方案。
专用本地 AI 系统通常要求用户组装台式机、购买工作站，或选择内存充足的小型计算机。云服务免除了硬件负担，但会将提示词和文档发送到用户家庭之外的基础设施。
兼容的 PS5 提供了另一种可能性。这台主机在一台消费级设备中集成了 AMD 处理器、RDNA 2 级 GPU 和共享 GDDR6 内存。游戏已在利用这种安排，以便在不同处理资源之间高效移动数据。
当语言模型的权重能够完全装入高速内存时，性能会更好。如果系统反复从较慢的存储设备传输模型数据，生成速度可能会急剧下降。这也是 CPU payload 与原生 GPU 应用之间性能差异如此之大的原因。
PS5LM Plus 使用量化技术，将更大的模型装入可用内存。量化以比原始训练表示更少的位数存储模型权重。它能减少内存占用，通常也会加快推理速度，但激进压缩可能降低输出质量。
因此，270 亿参数的结果需要放在背景中理解。以四位存储的稠密 27B 模型，通常需要比应用可提供更多的权重内存。展示的版本采用约两位压缩，使其能够与运行所需的上下文一同装入内存。
这种妥协并不会否定实验本身。它界定了实验的性质。PS5LM Plus 表明，一台主机能够运行 270 亿参数模型，但参数数量本身并不能说明质量、准确性或内存需求。
较小模型的数据展现了权衡的另一端。3B 模型能够轻松装入内存，并且生成速度更快。根据训练情况，这类模型可处理摘要、分类、改写、结构化提取和基础问答等任务。
本地服务器还可以让敏感提示词留在家庭网络中。当用户处理未发布的笔记、源代码或私密文档时，这一点可能很重要。不过，前提是整个工作流程都保持在本地，包括任何界面、检索系统或连接的应用程序。
该项目提供了兼容 OpenAI 的 API，用以模仿广泛采用的模型接口所使用的请求格式。只要应用支持自定义端点，兼容应用便可指向 PS5 的网络地址，而非远程服务。
兼容不等于替代。云系统提供更大的模型、托管可用性、持续更新和广泛的安全基础设施。家用主机提供实体控制，并避免每次请求都依赖外部服务，但所有组件都需要由所有者管理。
PS5 实验也不同于传统 AI PC，因为硬件仍被锁定在 Sony 的平台上。它的价值来自一条非官方软件路径。买家不能将这一成果视为宣传中的产品能力，也不能期待 Sony 提供支持。
即便如此，这项实验仍在挑战关于本地推理应在何处运行的既有假设。如果游戏主机能够提供有用的小型模型，那么电视、路由器、工作站、掌机和其他闲置设备都值得进一步研究。
相关的经济问题并不是消费者是否应仅为了 AI 而购买 PlayStation，而是他们已拥有的设备是否具备足够可访问的内存带宽和计算能力，以承担有用的私密工作负载。
随着开放权重模型不断进步，这一问题将愈发重要。更好的训练、更小的架构和更强的量化技术，可以在不要求硬件按比例增长的前提下提升能力。因此，软件改进能够让昨日的游戏硬件更适合明日的推理任务。
原生应用将 PS5 变成本地模型服务器
该项目通过结合三个现有组件取得成功：llama.cpp、PS5 Vulkan 驱动，以及拥有更广泛内存访问权限的原生自制软件应用。
第一个组件是 llama.cpp，它运行以 GGUF 格式发布的模型。GGUF 是一种文件格式，用于打包模型权重和本地推理所需的相关元数据。它支持多种量化级别和硬件后端。
使用 llama.cpp 让该项目无需从零构建语言模型运行时。它的服务器组件已提供模型加载、token 生成、浏览器访问和 API 端点。PS5 相关工作则专注于让这套技术栈适配一个不同寻常的运行环境。
第二个组件是 PS5 Vulkan driver，它将开源 RADV 驱动带入受支持的自制软件环境。RADV 通常服务于 Linux 及相关开放平台上的 AMD 图形硬件。其 PS5 适配版让自制软件应用无需 Sony 的专有开发工具，即可提交 GPU 任务。
第三个组件是原生 title 本身。作为已安装的自制软件应用运行，使 PS5LM Plus 获得比此前注入式 payload 更大的可用内存分配。它还支持为控制器设计的电视界面。
根据项目文档，这些组件共同让应用能将每一层模型都放置在 GPU 上。将模型保留在一个设备上，可避免在生成过程中于 CPU 与 GPU 内存之间反复传输。
PS5 使用统一的物理内存，但软件权限和分配规则仍决定应用能够访问什么。统一内存并不意味着每个进程都会自动获得对整个内存池不受限制的访问权限。
这正是原生打包与硬件规格同样重要的原因。当应用从受限 payload 转变为拥有 GPU 和更大内存访问权限的 title 时，同一台主机产生了截然不同的结果。
该应用仍必须谨慎管理内存。模型权重需与 KV 缓存、运行时缓冲区和图形资源共享空间。增大上下文窗口可能迫使用户选择更小的模型或压缩程度更高的缓存。
开发者还报告了另一项不同寻常的限制：原生环境在原地切换模型时，并不总能干净地释放每一项分配。因此，PS5LM Plus 会在更换模型时重启应用，在加载下一个文件前恢复可用内存池。
在成熟的消费级设备中，这种行为会显得不够便利。但在实验性的自制软件项目中，这是对平台限制的合理应对。重启使内存行为更可预测，并避免数 GiB 内存持续不可用。
存储是该设计的另一项实用组成部分。该应用可从内部存储、M.2 扩展硬盘或 USB 介质加载 GGUF 文件。其模型界面会估算所选文件和上下文配置是否能够容纳。
服务器随后会向网络中的其他设备开放聊天功能。手机可以提供键盘和显示界面，而 PS5 负责推理。这一点很有用，因为用手柄输入长提示词会严重影响使用体验。
这种网络化设计也带来了比仅在电视上运行聊天更可信的使用场景。开发者可以连接代码编辑器，研究人员可以使用浏览器客户端，家庭用户则可以共用一个私有推理端点。
这些场景目前都尚未在生产规模下得到验证。该项目的重要性在于建立了一条可行的技术路径，而非证明游戏主机是所有本地 AI 工作负载的最佳设备。
它也延续了一段技术脉络。最初的 PS5LM 项目完成了早期移植和 CPU 负载。PS5LM Plus 则通过原生 GPU 应用扩展了这一成果。原项目此后也已将原生 GPU 工作纳入自身独立应用，如其 PS5LM releases 所示。
这种协作与分化在开源自制软件领域很常见。一名开发者建立最小可用移植，另一名开发者探索不同的打包路线，改进再通过分支和拉取请求流转。
这一成果的重要性超出了该特定代码库。游戏主机自制软件日益依赖可复用的图形驱动、界面、加载器和构建系统。一旦这些基础设施就绪，新应用便可将其组合使用，而无需分别解决每个硬件问题。
124 Token 的标题掩盖了严峻限制
最快的数据属于测试中最小的模型，而更大的 27B 模型依赖高强度压缩，运行速度约为前者的六分之一。
声称每秒超过 100 个 token 的标题，听起来可与高端 AI 系统媲美。但如果没有模型名称和配置，这一数字对实际能力的说明非常有限。
PS5LM Plus 报告称，3B Llama 模型可达到每秒 124 个 token。27B Qwen 模型约为每秒 20 个 token。这些模型在规模、训练、压缩、上下文设置和预期回答质量方面均有差异。
提示词处理也不同于输出生成。模型可以以一种速度摄取输入，并以另一种速度生成新 token。即使后续回答流畅地输出，处理长文档时，首个生成词出现前仍可能需要明显等待。
对 PS5 GPU tests 的独立报道确认了所报告的配置，但在很大程度上依赖开发者公开的结果。针对桌面 GPU、迷你 PC 和当前 AI 处理器的广泛对比测试仍然缺失。
质量是更大的未知数。两比特量化在某些模型中可以保留令人意外的能力，但结果因架构和任务而异。一次成功的聊天演示，并不能证明其在编码、事实研究或复杂推理中的可靠性。
该项目未公布覆盖不同量化等级的全面准确率评估。因此，读者应将 27B 结果视为模型能够运行的证明，而非其性能等同于压缩程度更低的 27B 部署的证明。
越狱是另一项决定性限制。PS5LM Plus 需要兼容的游戏主机、固件、漏洞利用链和多个自制软件组件。普通零售版 PS5 无法通过 Sony 商店或受支持的系统菜单安装该应用。
固件兼容性也进一步分化了受众。为游戏、安全补丁或网络功能更新主机的用户，可能会失去对特定漏洞利用方式的访问。维持越狱状态通常与完全按 Sony 预期方式使用主机相冲突。
非官方软件会带来运行风险。安装失败可能需要排查问题，而驱动、加载器或模型运行时的更新也可能破坏兼容性。没有商业支持团队负责恢复系统。
用户还应考虑平台规则和安全性。越狱会移除或绕过用于保护主机软件环境的控制措施。安装来自不可信来源的代码，可能使数据、凭据或设备本身面临风险。
PS5LM Plus 是开源项目，支持外部审查，但大多数用户不会审计代码及其每一项依赖。项目表示，它不包含 Sony 固件、密钥、专有 SDK 文件或模型权重。这种分离降低了部分法律和分发方面的顾虑，但并未消除所有用户风险。
能效尚未获得足够的对比审视。仪表盘会显示系统功耗和每个 token 的能耗，但公开的性能讨论主要聚焦于生成速度。更有价值的比较应在 PS5、集成式迷你 PC 和独立桌面 GPU 上，以相同模型和设置进行测量。
可靠性同样尚未得到验证。游戏过程对硬件的压力不同于连续运行数小时的模型服务器。温度监控有所帮助，但持续运行时间、重复加载模型和并发客户端请求仍需更广泛的测试。
内存是无法回避的上限。约 11.4 GiB 可以容纳能力较强的压缩模型，但无法容纳最大的开放权重系统。上下文增长会直接与模型规模竞争，尤其是在应用附加长文档或对话历史时。
游戏主机也缺乏桌面设备的升级灵活性。用户无法直接安装更大的 GPU 或增加通用系统内存。存储容量可以扩展，但不能替代高速工作内存。
专用本地 AI 设备仍保有重要优势。它们支持标准操作系统、更广泛的开发工具、成熟驱动、可更换组件和更便捷的自动化。许多设备无需越狱即可运行相同的 llama.cpp 软件。
云服务则保有不同优势。它们可提供更大模型、多用户扩展能力和托管更新。其缺点包括持续依赖服务、网络延迟、隐私考量以及不断变化的使用政策。
因此，PS5LM Plus 占据了一个狭窄但有意义的位置。对于熟悉自制软件的开发者而言，它是对现有硬件的创新再利用。对于普通 PlayStation 用户而言，它并不是一项受支持的 AI 功能。
这种区分避免了对这一故事的夸大。该项目之所以值得关注，是因为它展示了该机器在不同软件条件下可以实现什么，而不是因为它立刻改变了数百万台主机的运行方式。
三个信号将显示游戏主机 AI 是否重要
下一阶段并不是又一张峰值速度截图。该项目现在需要可重复的质量测试、稳定的软件，以及人们将服务器用于真实任务的证据。
第一个信号是独立基准测试。测试者需要在 PS5 和普通本地 AI 硬件上运行完全相同的 GGUF 文件、量化设置、上下文长度和提示词。
此类测试应记录提示词处理速度、生成速度、首 token 延迟、能耗、温度和输出质量。它们还应区分短对话与长上下文工作负载。
如果独立结果复现了公布的性能，重新利用游戏主机的理由将更有说服力。如果所需压缩导致质量明显下降，27B 标题的重要性就会低于小模型的结果。
第二个信号是软件趋同。PS5LM 和 PS5LM Plus 目前是两个拥有共同技术根源的独立原生应用。它们的发布活动将显示社区能否维护运行时、驱动补丁、安装流程和用户界面。
稳定的模型切换将尤其具有意义。取消重启要求、改进内存清理并记录可恢复的故障，将使软件更接近可靠的设备。
更广泛的固件和硬件支持同样会增强这一论点。一个仅限于少量已越狱主机的项目仍只是自制软件展示。支持更多配置将使其成为可复用的本地推理平台。
第三个信号是真实采用。有价值的证据包括与编码工具、家庭自动化系统、文档搜索、私有语音界面或家庭应用的集成。这些任务将检验游戏主机能否在受控演示之外持续保持可用和响应。
采用情况也会揭示用户是否接受这些取舍。当一台 PS5 本就闲置时，重新利用它看起来可能很有吸引力。如果主机必须保持离线、避免更新，或只要有人想玩游戏就停止提供模型服务，情况就不同了。
小模型最终可能比 27B 演示更重要。它们启动更快，为上下文留下更多空间，并以更高速度生成回答。紧凑模型的持续改进将增强 PS5LM Plus 的价值，而无需改变游戏主机本身。
该项目也为 AI 硬件厂商提供了一个教训。原始算力只是本地推理产品的一部分。内存访问、运行时支持、模型打包、可观测性和便捷的客户端连接，决定了这些算力能否真正发挥作用。
对于开发者而言，眼下的机会在于实验。公开的代码提供了一个具体示例，展示如何将主流推理引擎适配到受限的消费级硬件。其局限性也带来了内存分配、驱动行为和界面设计方面有价值的工程问题。
对于普通买家而言，等待才是明智选择。如果不了解安全、兼容性和账户方面的影响，PS5LM Plus 并不构成修改主力游戏主机的理由。它证明了技术上的可能性，而非普遍的购买建议。
对于更广泛的 AI 市场而言，最有趣的结果可能是一类由社区维护、基于闲置硬件构建的推理设备。游戏主机只是候选之一。旧工作站、掌机 PC、媒体盒和集成系统，在软件解锁其加速器后，可能提供类似机会。
PS5LM Plus AI 模型已跨过第一个门槛：它们能够以报告中具有实用价值的速度，在 PlayStation 5 GPU 上原生运行。下一个门槛更难：社区能否将这一成果转化为可靠、可衡量的实际工作，以证明安装负担是合理的？
关注独立基准测试、发布历史和首批持续集成。这些信号将决定 PS5LM Plus 是停留在令人难忘的自制软件成就，还是成为重新利用消费级硬件的实用范例。
