PS5LM Plus AI 模型可在 PS5 GPU 上運行，但遊戲機尚未成為 AI PC
PS5LM Plus AI 模型現可直接在已破解的 PlayStation 5 GPU 上運行，取代了早期每分鐘大約只能生成一個 token、受 CPU 限制的方法。開發者表示，壓縮後的 270 億參數 Qwen 模型可達每秒約 20 個 token。據報較小型模型可達每秒 61 或 124 個 token。
這項改變令項目由一個不尋常的軟件移植，變成可實際使用的本地推論實驗。PS5LM Plus 可載入開放權重模型、在電視上顯示效能數據，並透過本地網絡向其他裝置提供回應。
關鍵競爭並非 PlayStation 與某一家特定 AI 公司之間的較量，而是經重新利用的消費級硬件，對上專用 AI 電腦及雲端服務。PS5 的成果顯示，軟件存取權限能釋放閒置的運算價值，但亦揭示了記憶體、模型壓縮、安裝及支援方面的硬性限制。
PS5LM Plus AI 模型由 CPU 轉移至 GPU
核心改變在於架構：PS5LM Plus 現以可存取 GPU 的原生 PS5 應用程式運行，而非作為受限制的 CPU payload。
PS5LM 最初是 llama.cpp 的非官方移植版本；llama.cpp 是一個開源推論引擎，可在多種硬件平台上運行語言模型。Payload 是注入既有遊戲機程序的程式碼。這條路線讓早期項目得以運行，但軟件並未能完整存取遊戲機的圖像處理器。
Payload 亦面對嚴格的記憶體上限。根據 PS5LM Plus 開發者的說法，它約有 6 GiB 可用記憶體，並必須預留足夠容量予 PS5 介面及系統服務。分配過多記憶體可能令主畫面凍結。
這項限制相當重要，因為本地語言模型需要記憶體存放權重、工作緩衝區及 KV cache。KV cache 會儲存處理及生成對話時所使用的資訊。較長的上下文需要更多快取記憶體，令模型本身可使用的空間減少。
PS5LM Plus 將伺服器封裝為原生 title，改變了這種安排。項目的原生 GPU app結合 llama-server、Vulkan backend，以及 RADV 圖像驅動程式的 PS5 移植版本。Vulkan 是低階圖像與運算介面，讓軟件可向相容 GPU 提交工作。
開發者表示，原生 title 可取得 12 GiB device heap，運行時約有 11.4 GiB 可供模型及其上下文使用。這並非遊戲機的全部實體記憶體，而是應用程式在此 homebrew 環境下可使用的部分。
公布的基準測試清單說明了額外存取權帶來的改變。一個 9.2 GiB、經高度壓縮的 Qwen3.8-27B 模型，在 32,000-token 上下文下可每秒生成 20.3 個 token。一個 6.8 GiB 版本則在 64,000-token 上下文下達到每秒 20.7 個 token。
據報，一個 4.8 GiB 的 Gemma 4 E4B 模型可達每秒 61 個 token。在另一個測試配置下，一個 1.9 GiB 的 Llama 3.2 3B 模型可達每秒 124 個 token。Token 是文字片段，因此其與詞語的對應關係會因語言及內容而異。
這些結果仍屬開發者自行公布的基準測試，並非由獨立實驗室進行的標準化測試。不過，項目公開了其程式碼、模型配置、上下文設定及觀察到的生成速率。相比一段展示無法解釋的聊天機械人回應的影片，這些說法更容易檢視。
轉用 GPU 執行，比表面上的峰值數字更重要。現代語言模型推論高度依賴重複進行的矩陣運算，而 GPU 處理這類運算的效率高於通用 CPU。PS5 原本已具備這種平行運算硬件，但原有 payload 無法有效運用。
PS5LM Plus 亦加入電視儀表板，顯示生成速度、處理器使用率、耗電量、溫度、儲存空間，以及模型權重與快取之間的分配。模型可存放於內置儲存空間、加裝的 M.2 硬碟，或外置 USB 儲存裝置。
應用程式包括模型瀏覽器及網頁介面。同一個本地網絡上的手提電腦或手機，可向遊戲機發送提示詞並接收生成文字。這使 PS5 不再只是像聊天機械人裝置，而更像一台小型本地模型伺服器。
這種組合形成了故事真正的張力。遊戲機並未獲得更快的硬件；homebrew 開發者改變了既有硬件可被存取的方式，將原本無法使用的容量轉化為可用的推論資源。
為何原生 GPU 存取會改變經濟效益
PS5LM Plus 的意義在於，它能把已有的遊戲硬件轉化為離線推論伺服器，雖然這並不會一夜之間成為適合大眾市場的實用替代方案。
專用本地 AI 系統通常要求買家組裝桌面電腦、購買工作站，或選擇具備足夠記憶體的小型電腦。雲端服務消除了這種硬件負擔，但會將提示詞及文件傳送至用戶家以外的基礎設施。
相容的 PS5 提供另一種可能。這部遊戲機將 AMD 處理器、RDNA 2 級 GPU 及共享 GDDR6 記憶體整合於單一消費級裝置中。遊戲早已利用這種配置，在各種處理資源之間高效傳輸數據。
當語言模型的權重可完全放入高速記憶體時，便可獲益。如果系統需不斷從較慢的儲存裝置傳輸模型數據，生成速度可能大幅下降。這正是 CPU payload 與原生 GPU 應用程式之間差距如此巨大的原因。
PS5LM Plus 使用量化技術，讓較大型模型可放入可用記憶體。量化以少於原始訓練表示法的位元儲存模型權重。它可減少記憶體用量，並通常加快推論，但激進的壓縮可能降低輸出質素。
因此，270 億參數的結果需要放在合適背景下理解。以四位元儲存的密集型 27B 模型，通常需要比應用程式可提供更多的權重記憶體。展示的版本採用約兩位元壓縮，讓它們可連同運行所需的上下文一同放入。
這種取捨並不會令實驗失去價值，反而定義了實驗本身。PS5LM Plus 證明遊戲機可運行一個擁有 270 億參數的模型，但單靠參數數量，無法描述質素、準確度或記憶體需求。
較小型模型的數字展示了取捨的另一端。3B 模型可輕鬆放入記憶體，生成速度亦快得多。視乎其訓練方式，這類模型可處理摘要、分類、改寫、結構化擷取及基本問答。
本地伺服器亦可讓敏感提示詞留在家居網絡內。當用戶處理未發布筆記、原始碼或私人文件時，這可能相當重要。這項優勢取決於整個工作流程均維持在本地，包括任何介面、檢索系統或連接的應用程式。
該項目提供 OpenAI-compatible API，模仿廣泛採用的模型介面所使用的請求格式。只要相容應用程式支援自訂 endpoint，便可將它們指向 PS5 的網絡位址，而非遠端服務。
相容並不等於可完全取代。雲端系統提供更大型模型、受管理的可用性、持續更新及廣泛的安全基礎設施。家用遊戲機提供實體控制權，亦毋須每次請求都依賴外部服務，但擁有人必須管理每一個組件。
PS5 實驗亦不同於傳統 AI PC，因為硬件仍受 Sony 平台鎖定。它的價值來自非官方軟件途徑。買家不能將此成果視為宣傳中的產品功能，也不應預期 Sony 會提供支援。
即使如此，這項實驗仍挑戰了人們對本地推論應在哪裡運行的假設。如果遊戲機可提供實用的小型模型服務，那麼電視、路由器、工作站、手提遊戲機及其他閒置裝置，都值得更仔細檢視。
相關的經濟問題，並非消費者是否應專為 AI 購買 PlayStation，而是他們已擁有的裝置，是否具備足夠可存取的記憶體頻寬及運算能力，以處理實用的私人工作負載。
隨着開放權重模型不斷進步，這個問題會變得更重要。更佳訓練、較小型架構及更強的量化技術，可在毋須硬件按比例增長的情況下提升能力。因此，軟件改進可令昨日的遊戲硬件，對明日的推論工作更有價值。
原生 App 將 PS5 變成本地模型伺服器
該項目透過結合三個既有組件而成功：llama.cpp、PS5 Vulkan driver，以及具備更廣泛記憶體存取權的原生 homebrew 應用程式。
第一個組件是 llama.cpp，它可運行以 GGUF 格式發布的模型。GGUF 是一種檔案格式，旨在封裝模型權重及相關 metadata，以供本地推論使用。它支援多種量化等級及硬件 backend。
使用 llama.cpp，令項目毋須由零開始建立語言模型 runtime。其伺服器組件已提供模型載入、token 生成、瀏覽器存取及 API endpoints。PS5 相關工作主要集中於讓這套技術堆疊適應不尋常的運行環境。
第二個組件是 PS5 Vulkan driver，它將開源 RADV driver 帶到受支援的 homebrew 設定。RADV 通常為 Linux 及相關開放平台上的 AMD 圖像硬件提供服務。其 PS5 適配版本讓 homebrew 應用程式無須 Sony 的專有開發工具，便可提交 GPU 工作。
第三個組件是原生 title 本身。作為已安裝的 homebrew 應用程式運行，讓 PS5LM Plus 可獲得比早期注入式 payload 更大的可用記憶體分配，亦支援為控制器而設的電視介面。
根據項目文件，這些部分結合後，可讓應用程式將每一層模型放置於 GPU 上。將模型保留在同一裝置，可避免生成過程中在 CPU 與 GPU 記憶體之間反覆傳輸。
PS5 使用統一的實體記憶體，但軟件權限及分配規則仍決定應用程式可存取甚麼。統一記憶體並不代表每個程序都會自動獲得對整個資源池不受限制的存取權。
這正是原生封裝與硬件規格同樣重要的原因。同一部遊戲機，在應用程式由受限 payload 轉為可存取 GPU 及較大記憶體的 title 後，產生了截然不同的結果。
應用程式仍必須小心管理該些記憶體。模型權重需與 KV cache、runtime buffers 及圖像資源共享空間。增加上下文視窗，可能迫使用戶選擇較小型模型或壓縮程度更高的快取。
開發者亦指出另一個不尋常的限制。原生環境在原地切換模型時，未必總能乾淨地釋放每一項配置。因此，PS5LM Plus 會在更換模型時重新啟動應用程式，在載入下一個檔案前恢復可用記憶體池。
在完善的消費級裝置中，這種行為會令人感到不便。但在實驗性的 homebrew 項目中，這是對平台限制的合理應對方式。重新啟動令記憶體行為更可預測，並避免數 GiB 記憶體無法使用。
儲存空間亦是設計中另一個實際考量。此應用程式可從內部儲存空間、M.2 擴充硬碟或 USB 媒體載入 GGUF 檔案。其模型介面會估算所選檔案及上下文設定能否容納。
伺服器其後會向網絡上其他裝置提供聊天功能。手機可提供鍵盤和顯示畫面，而 PS5 則負責推論。這一點很有用，因為以控制器輸入冗長提示詞會大幅削弱使用體驗。
這種網絡化設計亦帶來比只在電視上運行聊天功能更可信的使用情境。開發者可連接程式碼編輯器，研究人員可使用瀏覽器用戶端，家庭則可共用一個私人的推論端點。
這些情境均未在生產規模下獲得驗證。該專案的重要性在於建立了一條可行的技術路徑，而非證明遊戲主機是所有本地 AI 工作負載的最佳裝置。
這亦具有歷史延續性。原始 PS5LM 專案建立了早期移植版本及 CPU payload。PS5LM Plus 則以原生 GPU 應用程式加以擴展。原始專案其後已將原生 GPU 工作整合至自身另一個獨立應用程式中，這亦反映在其 PS5LM releases。
這種協作與分流是開源 homebrew 的典型模式。一名開發者建立最低限度可運作的移植版本，另一名探索不同的封裝路徑，改進成果則透過 forks 與 pull requests 流通。
結果的重要性超越這個特定儲存庫。遊戲主機 homebrew 日益依賴可重用的圖形驅動程式、介面、載入器及建置系統。一旦這些基礎存在，新應用程式便可將其結合，而不用各自獨立解決每一個硬件問題。
124 Token 的標題掩蓋了嚴重限制
最快的數字屬於測試中最小的模型；較大的 27B 模型則依賴大幅壓縮，運行速度約為前者的六分之一。
聲稱每秒超過 100 token 的標題，聽來可與高階 AI 系統媲美。然而，若沒有模型名稱及設定，這個數字對實際能力的說明有限。
PS5LM Plus 表示，一個 3B Llama 模型可達每秒 124 token。27B Qwen 模型則約為每秒 20 token。這些模型在規模、訓練、壓縮、上下文設定及預期答案品質上均有差異。
提示詞處理與輸出生成亦不相同。模型可按某一速度吸收輸入，並按另一速度產生新 token。即使隨後的回應串流流暢，處理長文件時，第一個生成字詞出現前仍可能需要明顯時間。
對 PS5 GPU tests 的獨立報道確認了已披露的設定，但在很大程度上依賴開發者公布的結果。針對桌面 GPU、迷你 PC 及現行 AI 處理器的廣泛比較測試仍然缺乏。
品質是更大的未知數。兩位元量化可在某些模型中保留令人意外的能力，但結果會隨架構及任務而異。成功的聊天示範並不能證明其在編程、事實研究或複雜推理上的可靠性。
該專案沒有公布涵蓋不同量化等級的全面準確度評估。因此，讀者應把 27B 的結果視為模型能夠運行的證明，而非它的表現等同壓縮較少的 27B 部署。
越獄是另一項決定性限制。PS5LM Plus 需要相容的遊戲主機、韌體、漏洞利用鏈及數個 homebrew 元件。一般零售版 PS5 無法透過 Sony 的商店或支援的系統選單安裝此應用程式。
韌體相容性亦令受眾分散。為遊戲、安全修補程式或網絡功能更新主機的用戶，可能會失去使用某個特定漏洞利用方式的權限。維持越獄狀態往往與按 Sony 原意使用主機相衝突。
非官方軟件帶來操作風險。安裝失敗可能需要疑難排解，而驅動程式、載入器或模型執行環境的更新亦可能破壞相容性。沒有商業支援服務台負責還原系統。
用戶亦應考慮平台規則及安全性。越獄會移除或繞過保護主機軟件環境的控制措施。安裝來自不受信任來源的程式碼，可能令資料、憑證或裝置本身面臨風險。
PS5LM Plus 為開源專案，方便外界檢視，但大多數用戶不會審核程式碼或每一項相依項目。該專案表示不包含 Sony 韌體、金鑰、專有 SDK 檔案或模型權重。這種分隔可減少部分法律及發行方面的疑慮，但不能消除所有用戶風險。
能源效率尚未受到足夠的比較審視。儀表板會顯示系統功耗及每 token 能耗，但公開的效能討論主要集中於生成速度。有價值的比較應以相同模型及設定，測量 PS5、整合式迷你 PC 及獨立桌面 GPU 的表現。
可靠性同樣仍未獲證實。遊戲時段對硬件的壓力，與模型伺服器連續運行多小時不同。溫度監察有幫助，但持續正常運行時間、重複載入模型及同時用戶端請求仍需要更廣泛測試。
記憶體是無可避免的上限。約 11.4 GiB 可容納具能力的壓縮模型，但無法裝載最大的開放權重系統。上下文增長會直接與模型大小競爭，尤其當應用程式附加長文件或對話記錄時。
遊戲主機亦缺乏桌面電腦的升級彈性。用戶不能簡單地安裝更大的 GPU，或增加通用系統記憶體。儲存空間可以擴充，但儲存容量不能取代高速工作記憶體。
專用本地 AI 機器仍保有重要優勢。它們支援標準作業系統、更廣泛的開發者工具、成熟的驅動程式、可更換元件及更容易的自動化。許多裝置毋須越獄，便可運行相同的 llama.cpp 軟件。
雲端服務則保有不同優勢。它們可提供更大型模型、多用戶擴展能力及託管式更新。其缺點包括持續依賴服務、網絡延遲、私隱考量及不斷變動的使用政策。
因此，PS5LM Plus 處於一個狹窄但有意義的位置。對熟悉 homebrew 的開發者而言，它是對既有硬件的創意再利用。它不是為一般 PlayStation 擁有人提供的受支援 AI 功能。
這項區分可避免故事被誇大。該專案之所以值得注意，是因為它揭示了這部機器在不同軟件條件下可以做到甚麼，而不是因為它即時改變了數以百萬計主機的運作方式。
三個訊號將顯示遊戲主機 AI 是否重要
下一階段不是另一張峰值速度截圖。該專案現在需要可重複的品質測試、穩定軟件，以及人們會用這台伺服器處理真實工作的證據。
第一個訊號是獨立基準測試。測試者需要在 PS5 與一般本地 AI 硬件上，運行完全相同的 GGUF 檔案、量化設定、上下文長度及提示詞。
這類測試應記錄提示詞處理速度、生成速度、首 token 延遲、能源使用量、溫度及輸出品質，亦應區分短對話與長上下文工作負載。
若獨立結果重現已公布的效能，重新利用遊戲主機的理據便會更強。若品質在所需壓縮下明顯下降，27B 的標題便會比小型模型的結果更不重要。
第二個訊號是軟件整合。PS5LM 與 PS5LM Plus 現時是具有共同技術根源的獨立原生應用程式。它們的發布活動將顯示，社群能否維護執行環境、驅動程式修補、安裝流程及用戶介面。
穩定的模型切換尤其具意義。取消重新啟動的要求、改善記憶體清理，以及記錄可復原的故障情況，將令軟件更接近可靠的專用設備。
更廣泛的韌體及硬件支援亦會強化這個論點。若專案僅限於一小群已越獄主機，仍只會是 homebrew 展示。支援更多設定，將令它成為可重用的本地推論平台。
第三個訊號是真實採用。可用的證據包括與編程工具、家居自動化系統、文件搜尋、私人語音介面或家庭應用程式的整合。這些工作將測試遊戲主機能否在受控示範以外，保持可用和反應迅速。
採用亦會揭示用戶是否接受這些取捨。一部閒置的 PS5 重新利用時看似吸引。然而，若主機必須保持離線、避免更新，或每逢有人想玩遊戲便須停止提供模型服務，計算便會改變。
小型模型最終可能比 27B 示範更重要。它們啟動更快，為上下文留下更多空間，並以更高速度生成回應。緊湊模型持續改進，可在不改變主機本身的情況下強化 PS5LM Plus。
該專案亦為 AI 硬件供應商帶來一項啟示。原始運算能力只是本地推論產品的一部分。記憶體存取、執行環境支援、模型封裝、可觀測性及簡易的用戶端連接，決定了這些運算能力是否真正有用。
對開發者而言，眼前的機會是實驗。公開的程式碼提供了一個具體例子，展示如何將主流推論引擎調整至受限制的消費級硬件。其限制亦在記憶體配置、驅動程式行為及介面設計方面，帶來有用的工程問題。
對一般買家而言，等待是明智的回應。在未了解安全性、相容性及帳戶影響前，PS5LM Plus 並不是改裝主要遊戲主機的理由。它是技術可行性的證據，而非普遍的購買建議。
對更廣泛的 AI 市場而言，最有趣的結果可能是一類由社群維護、利用未充分使用硬件建成的推論設備。遊戲主機只是其中一個候選。舊工作站、手提 PC、媒體盒子及整合式系統，在軟件釋放其加速器能力時，可能提供類似機會。
PS5LM Plus AI 模型已跨越第一道門檻：它們能在 PlayStation 5 GPU 上原生運行，並達到據報有用的速度。下一道門檻更困難。社群能否把這項結果轉化為可靠、可量度，且足以證明設置負擔合理的工作？
請留意獨立基準測試、發布紀錄及首批持續整合。這些訊號將決定 PS5LM Plus 是僅僅作為難忘的 homebrew 成就，還是成為重新利用消費級硬件的實用典範。
