top of page

ReadyServer LLM API 將 AI 推論與 VPS 託管服務綑綁,毋須按 Token 收費

7 日前
讀畢需時 12 分鐘

Ready Server 宣布推出 ReadyServer LLM API,將 AI 推論納入每個虛擬私人伺服器方案,而非按每個 token 另行收費。推論是指運行已訓練模型以產生答案;token 則是模型處理文字時所使用的單位。這家新加坡供應商表示,客戶可無須額外付費使用服務,請求會經其私有網絡傳送。

這項商業模式的改動很直接:已租用虛擬私人伺服器(VPS)的客戶,可加入模型呼叫,而毋須再收到另一張按用量計費的帳單。不過,運作上的取捨同樣值得留意。客戶共享推論容量,使用權遵循公平使用政策,而非保留專用硬件資源。

這使 ReadyServer 與 DigitalOcean 等雲端供應商並列,後者同樣將應用程式託管與受管理模型服務連結起來。ReadyServer 的分別在於綑綁安排本身。開發人員可有更多空間作實驗,但亦要接受可預測的收費並不代表可預測的回應時間。

ReadyServer LLM API 將模型存取納入託管服務的一部分

Ready Server 在 10 月 20 日發布的私有推論公告中,介紹了一項涵蓋其所有 VPS 方案的服務。客戶可從運行於既有伺服器上的應用程式呼叫託管模型。他們不會獲配獨立的圖形處理器(GPU),即通常用於運行 AI 工作負載的晶片。

這項改動是一項託管服務權益:模型存取隨伺服器服務關係提供,而非透過獨立的 token 計量收費。

公司以開發人員、數碼代理商及正在建立助理和文件處理應用程式的科技企業為目標。其所述動機是減少重複模型呼叫所帶來的不確定性。當產品不再只是偶爾輸入提示,而轉向在整個工作流程中調用模型的軟件時,這點尤其重要。

應用程式介面(API)是軟件用來請求服務的連接方式。在此,該連接位於客戶的應用程式伺服器與 ReadyServer 的推論基礎設施之間。這個分工相當重要,因為客戶繼續運行其應用程式,而供應商則負責提供模型服務。

以一家正評估為內部項目文件建立助理的代理商為例。建議中的好處,是在開始實驗前需要安排的服務較少。該代理商仍需處理文件權限、評估範例及應用程式邏輯。綑綁式推論所移除的是採購和計費的一個步驟,而非直接完成產品。

這改變了既有客戶面對的決策。團隊毋須先判斷是否有理由再訂閱一項模型服務,而可檢視已包含的能力是否適合其工作負載。要成功進行實驗,仍取決於答案質素及可接受的等候時間。

對潛在的託管服務客戶而言,考量範圍更廣。遷移應用程式涉及的工作,不止是連接模型。儲存空間、備份、部署做法及支援預期仍然相關。評估託管產品時,應將包含在內的 AI 服務與其一般責任一併納入考慮。

因此,這項公告對既有及潛在用戶的意義不同。既有客戶可獲得一個靠近其應用程式的選項。新客戶則要決定,該選項是否足以支持他們選擇相關的整套基礎設施。兩者都是相關的採購決策,但涉及不同的轉換成本。

標題亦需要準確解讀。「毋須額外付費」描述的是附隨託管服務的推論使用權益,並不免除底層託管服務關係,也不承諾提供可獨立使用的公開 AI 服務。這項商業主張建基於將模型存取維持為供應商基礎設施的一部分。

Agent 工作流程令獨立按用量帳單承受壓力

推出時機反映了 AI 開發中的一個實際矛盾:單次請求成本低,並不保證完成一項任務的成本低。AI agent 即使用模型決策執行一連串操作的軟件,可能會反覆重訪相同材料。

Gartner 在 8 月 17 日發布的推論成本預測指出,到 2028 年,每個 agentic 工作流程的推論成本將增加逾五倍。這是對工作流程演變的預測,而非對 ReadyServer 客戶支出增幅的實測結果。

Gartner 分析師 Will Sommer 將壓力歸因於任務日益複雜,即使底層模型的經濟效益正在改善。他的分析為這次推出提供背景,卻不能證明這個特定綑綁方案可為每個應用程式帶來更佳經濟效益。

ReadyServer 處理的是推論支出的不確定性,而開發人員仍須為所請求工作的效率負責。

文件助理可說明其中差異。產生一個答案,可能涉及挑選相關檔案、檢查內容、草擬回覆,以及評估回覆是否回應了問題。若應用程式不必要地重複這些步驟,即使毋須按 token 另行收費,仍會消耗額外容量。

直接壓力落在小型開發團隊身上,因為他們要決定如何為實驗提供資金。按用量存取讓每次額外嘗試都清楚反映在用量帳目中。綑綁式存取改變了這項計算,尤其當團隊本身已需要配套的託管服務時。

然而,工程投入仍是經濟考量的一部分。一個需要反覆修正的模型,可能佔用開發人員的注意力,並延遲有用的輸出。回應時間不穩定的服務,可能需要額外的應用程式設計。移除一個帳單類別,並不代表這些成本也隨之消失。

這帶來一項比比較哪項服務能產生最便宜單一答案更有用的比較方式。團隊需要比較在可接受質素下完成的工作。帳單、排隊時間和工程師的時間都會影響結果,即使只有其中一項會顯示為模型服務費用。

這次推出亦對服務類似客戶的託管供應商帶來有限的競爭壓力。包含在內的能力為買家提供另一個檢視託管方案的理由。競爭對手可透過更廣泛的模型選擇、更清晰的效能承諾、更強的支援,或相近的綑綁方案作出回應。

目前沒有已核實證據顯示 ReadyServer 已迫使競爭對手作出這些回應。這種壓力屬於採購層面的含意,而非已證實的市場反應。其影響力將取決於客戶會否使用該功能,並認為它是否足以影響託管服務決策。

對知識工作者而言,相關性位於更下游的位置。基礎設施的打包方式可影響開發人員能否負擔維護哪些文件助理和內部工具,但並不能證明任何最終答案的可靠性。用戶仍需看見來源,並確保資訊獲得適當處理。

共享容量將限制由收費轉移至等候時間

核心機制是共享基礎設施。ReadyServer 在客戶之間分配存取權,而非為每位客戶配置專用推論伺服器。這項安排讓公司可將模型存取作為託管功能提供。

其公開的公平使用政策指出,繁忙時段會出現排隊,而使用較少 token 的客戶會獲優先處理。政策亦容許公司限制影響其他客戶的工作負載速度。

Token 不再是獨立計費單位,但在分配共享容量時仍然相關。

這是公告中最具影響力的取捨。開發人員毋須再將每項請求視為遞增的推論費用,但仍有理由避免不必要的工作,因為需求上升時,使用量會影響存取權。

對背景文件工作而言,等候可能很自然地配合產品設計。用戶提交材料後,可稍後回來查看結果。對互動式助理而言,延遲則直接出現在對話之中。因此,相同的基礎設施安排可能較適合某一類應用程式,而非另一類。

這些只是示例性的工作負載差異,並非已報告的 ReadyServer 客戶成果。目的在於說明為何應用程式需求重要。一項有用的服務毋須在每種使用情境下都具有完全相同的適用性。

該政策亦不鼓勵因回應緩慢而單純觸發重試,並建議限制並行請求。這些指引揭示了一項運作優先事項:保護共同資源池免受可避免的需求影響。若應用程式因等候而發出更多請求,便可能破壞這個目標。

商業層面的解讀同樣重要。共享基礎設施讓供應商可在需求未必同時出現的客戶之間分配容量。當很多客戶同時需要進行長時間工作時,這項安排便會變得更困難。單憑公開文件無法證明這種情況出現得有多頻密。

因此,客戶應區分清晰的收費規則與容量承諾。前者告訴他們推論費用如何計算;後者則會說明在指定條件下,他們可依賴獲得多少服務。兩者解決的是不同的規劃問題。

這個分別並不代表該綑綁方案本質上不適合生產環境。生產應用程式對等候和中斷的容忍度各有不同,但這確實意味著,開發人員在向自己的用戶作出承諾前,應先決定哪些操作可依賴共享供應能力。

實用的評估應從應用程式的故障行為開始。若回應延遲到達,用戶會否失去工作內容、收到清晰狀態,還是遇到具誤導性的錯誤?答案決定了不穩定的等候時間究竟只是小小不便,還是產品缺陷。

商業吸引力在這種檢視下依然存在。即使資源有所限制,很多團隊仍重視被包含在內的資源。真正重要的問題,是這些限制是否配合團隊打算交付的工作,而非標題聽起來是否無限。

開放模型為開發人員提供另一條路徑,亦帶來不同責任

ReadyServer 的模型規格列出 Qwen3.6-27B-FP8 及 Qwen3.8-27B-FP8,兩者均被描述為開放權重模型。開放權重意指其已訓練參數可按授權條款取得。ReadyServer 表示,它使用 vLLM(一套運行語言模型推論的軟件)提供這些模型。

供應商分別列出 131,072 及 262,144 token 的上下文視窗。上下文視窗是可供輸入及生成輸出共同使用的空間。它描述的是容量上限,而不是準確理解的保證。

ReadyServer 將第一個模型定位為直接回應用途,第二個則用於推理任務。據報兩者均支援圖像輸入、結構化輸出及工具呼叫。工具呼叫是指模型可請求執行由應用程式定義的操作;應用程式仍須自行決定是否執行。

可用功能界定開發者可以嘗試甚麼;而工作負載評估則界定他們應該信賴甚麼。

例如,結構化輸出可協助應用程式在預期欄位中接收資訊,但並不代表這些欄位內的數值必然正確。文件擷取仍須與原始來源核對,尤其當錯誤會影響後續決策時。

同樣地,接受圖像輸入並不代表系統能在每種文件版面或視覺工作中保持準確。處理掃描表格的團隊,需要與自身材料相近的示例。一般性的功能說明無法取代這類證據。

競爭環境不止於獨立模型供應商。DigitalOcean 在 4 月 28 日發布的 inference engine launch,介紹了無伺服器、專用及批次選項,並配合模型路由。無伺服器存取讓客戶毋須在眼前工作中處理基礎設施設置;專用推論則為持續性工作負載預留容量。

這個比較顯示了可如何包裝同一項底層需求。ReadyServer 強調隨主機服務附帶的共享資源;DigitalOcean 則描述針對不同工作負載特徵的多種運作模式。兩項公告都不足以證明在品質、可用性或整體投入方面存在普遍勝者。

相關壓力在於預設起點。以往預期自行安排模型存取的開發者,現在可在主機服務關係中選擇另一個方案。他們是否繼續使用,取決於所遇到的工作、整合要求及運作條件。

ReadyServer 亦宣傳與 OpenAI 工具所使用的請求格式兼容。這類兼容性可減少連接工作,但不會轉移另一個模型的行為特性。現有提示詞、操作請求及輸出檢查,仍須按實際提供的模型重新評估。

這對與商業系統互動的助手尤其重要。熟悉的介面可令連接更容易建立,但權限界線、驗證規則及人工審核仍是應用程式層面的決策。更容易的連接只會改變設置所需投入,並不能替這些決策作結。

對文件搜尋產品而言,knowledge base design 仍是與模型存取分開的考量。團隊仍須決定哪些資訊應歸在一起,以及哪些人可檢索它們。附帶的模型無法代為作出這些擁有權決定。

私人網絡存取仍需要清晰的信任界線

「私人」一詞在 AI 基礎設施中可能有多種意思。它可指網絡可達性、專用硬件、資料處理方式,或客戶對系統的控制權。讀者應辨識供應商實際記錄的是哪一種含義。

ReadyServer 的 private access FAQ 指出,端點只能從其 VPS 網絡存取。該公司解釋,網絡存取控制取代了由客戶管理的 API 金鑰。公司亦表示不會記錄提示詞或回應,亦不會將其用於訓練。

這些均為公司的說法,本報道尚未獨立核實。相同 FAQ 把服務描述為盡力而為,並不提供服務水平協議,即正式的服務表現承諾。

私有路由、共享運算與由供應商營運的資料處理,應在同一項評估中考慮,但它們回答的是不同問題。

公司重視將模型請求保留於其主機供應商網絡之內,是合理的架構偏好。然而,這項偏好不會免除理解誰在營運推論系統的需要。供應商仍是信任關係的一部分。

對處理敏感文件的買方而言,下一步問題涉及合約及營運細節:哪些保障適用於該工作負載?甚麼證據支持這些保障?在批准部署前,買方必須取得哪些資訊?合適答案取決於買方的責任。

不記錄資料的聲明很有用,因為它回應了一項具體疑慮。買方仍應區分公開產品聲明與其審核流程所需的完整證據。即使該聲明符合其偏好,這個區分仍然適用。

同樣地,免除 API 金鑰管理可簡化一項工作。應用程式仍需自行控制用戶存取及獲准操作。文件助手不應只因其模型連接可用,便披露受限制檔案。

因此,最有力的審慎解讀是具體的:發布公告確立了一項服務及其已記錄的設計,但並未確立經審核的私隱、在客戶需求下的持續效能,或優於替代服務。這些結論需要不同證據。

同樣的克制亦應適用於正面及負面說法。缺乏獨立效能量度,並不能證明效能不佳;私有端點亦不能證明全面保密。現有材料無法推導出任何一項結論。

正在評估假設性支援助手的開發者,應清楚保留這些界線。公開說明文件與機密客戶紀錄有不同的資訊處理要求。適合其中一者的架構,並不會自動符合另一者的條件。

盡力而為的定位亦會影響產品承諾。提供可選草擬功能的團隊,與依賴即時回應完成關鍵流程的團隊,面對的後果並不相同。適用性取決於中斷的後果,而非組合方案本身的吸引力。

這留下了一項可信而有限的主張:客戶多了一個執行依賴模型工作的地方,惟須受供應商所述營運條件規限。準確評估這項主張,既不需要否定這次發布,也不應將其延伸至文件未能支持的程度。

下一批訊號是實際工作、較清晰的容量,以及模型變更

下一階段應確立此組合是否成為客戶應用程式中可靠的一部分。焦點應放在足以改變採購或部署決定的證據上。一般熱情及重複報道公告的幫助較小。

最有力的訊號,將是在一般運作條件下完成工作的記錄,並同時說明品質及等候時間。

首先,留意說明具體工作流程的客戶個案。有用的個案會指出工作內容、描述如何檢查結果,並解釋繁忙時段發生甚麼情況。它應區分一次成功示範與人們持續使用的應用程式。

對內部文件助手而言,這不只是展示一個看似合理的答案。讀者需要知道答案是否反映原始來源,以及存取限制是否仍然完整。這些細節把基礎設施服務與某人真正重視的結果連結起來。

這類證據會加強「綑綁推論有助團隊超越實驗階段」的論點。經常需要人手介入或等候時間不可接受的報告,則會縮窄其適用工作負載。無論哪種結果,都會更清楚界定產品定位。

其次,留意更清晰的容量及服務資訊。當運作條件更容易轉化為對應用程式的預期時,買方會受惠。更多有關一般需求、排隊行為及支援界線的細節,可協助團隊負責任地規劃。

這不要求每項共享服務都變成專用基礎設施,而是要求有足夠清晰度,讓開發者作出能夠履行的承諾。若客戶需要大量應變安排,這些工作應納入對該組合實際價值的評估。

對服務行為更清晰的描述,會加強此服務對考慮持續部署團隊的吸引力。持續的不確定性,則會令其最明顯的吸引力更接近彈性工作負載及實驗用途。這項區分應從營運證據中浮現,而非基於對類別的假設。

第三,留意所提供模型及其已記錄行為的變更。ReadyServer 表示計劃加入更多模型,但更廣泛的目錄本身不足以證明更實用。客戶需要理解哪些變更可改善其應用程式,哪些則需要重新評估。

當模型行為改變時,依賴特定輸出模式的應用程式可能受影響。文件及清晰溝通可協助開發者維持可行的假設。當團隊能選擇並維持合適配對時,不斷擴大的選擇才會變得有價值。

更廣泛的行業問題是,對某些買方而言,模型存取會否成為預期中的主機服務功能。ReadyServer 已提供這種包裝方式的一個具體例子。持續客戶使用的證據,將加強推論可協助區分一般應用程式基礎設施的論點。

對考慮 ReadyServer LLM API 的開發者而言,應先選定具代表性的工作負載,再承諾推出面向用戶的功能。定義何謂正確結果、用戶可合理等候多久,以及處理停滯時應如何應對。在正常使用期間,將這些要求與觀察到的行為比較,毋須嘗試令共享容量飽和。把資訊處理要求與連接便利性分開考慮。然後,將已完成的工作,包括修正及營運投入,與團隊可用的替代方案比較。真正有用的決定,是這個特定組合是否符合你應用程式的需要。哪一種工作負載最能受惠於附帶推論?而甚麼證據會令你放心依賴它?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page