Nvidia Nemotron 發布為企業伺服器及個人電腦帶來開放式代理模型
Nvidia 於 10 月 15 日發布新的開放式代理模型，讓企業及個人電腦用戶毋須將每項工作都交予雲端服務處理。Nvidia Nemotron 的發布涵蓋企業伺服器及個人電腦，主打自訂及本地部署。這讓買家可更自主決定工作在哪裏進行，但同時亦要承擔令代理實用而可靠的更大責任。
今次發布包括 Nemotron 3.5 Super VL 及 Nemotron 3.5 Bolt 74B-A9B 24GB。另一款模型 Bolt E4B 4GB 預定於 10 月 23 日推出。AI 代理會利用模型選擇行動並與軟件互動，其角色不止於回答問題。
主要競爭在於本地受控的代理，與由外部供應商營運的服務之間。Alibaba 的 Qwen 及 Google 的 Gemma 亦在本地工作負載市場競爭。Nvidia 的主張聚焦於讓模型配合其硬件，同時讓機構有空間加以調整。對買家而言，問題在於這種靈活性能否合理化自行營運更多系統的成本。
Nvidia Nemotron 發布實際帶來甚麼
Nvidia 為不同部署限制提供不同模型，而非要求每個代理都使用同一套引擎。
公司在其開放式代理模型公告中列出發布時間表，並區分各產品的預期角色。Super VL 面向專門的企業工作，Bolt 模型則針對較小的硬件規模。
這個分別十分重要，因為企業及個人代理面對不同限制。伺服器部署可在員工及部門之間匯集資源；個人代理則必須與用戶原有的應用程式共用同一部電腦。
今次發布亦明確區分已可取得的產品與即將推出的產品。Super VL 及 Bolt 74B 在公告發布時已可使用。截至 10 月 21 日，Bolt E4B 仍預定於 10 月 23 日推出。
若將整個系列視為已全部推出，便會誇大這次發布的範圍。在開發者能評估其正式版本的行為及實際整合要求前，這款較小模型仍有待推出。
開放權重，即界定模型已學習行為、可供下載的數值，讓機構可在開發商託管服務以外營運模型，亦可在適用授權條款下作出調整。
這改變了買家與模型供應商的關係。機構可評估某個特定版本，並自行決定何時更換。其應用程式毋須完全依賴遙距營運的模型。
不過，取得模型並不等於得到一套完成的業務流程。機構仍需要文件連接、身分控制、應用程式權限、監察機制，以及處理不確定結果的方法。
試想一個審閱供應商文件的代理。閱讀文件只是工作的一部分；代理還必須識別相關條款、將其與公司規則比對，並判斷下一步是否需要批准。
這些決定取決於模型以外的資訊及授權。一項發布可改善推理部分，卻不會自動解決周邊工作流程應如何運作。
這正是部署選擇應成為報道核心的原因。這次發布為買家提供更多由其控制的系統構件，而不是免除建立該等系統所需的工作。
Nvidia 亦有明確的策略利益。更實用的本地模型，讓客戶有更多理由在其硬件上運行工作負載。開放性與基建需求可以互相強化。
買家的關注則更具體：在可接受的營運條件下完成指定工作。模型是否來自硬件供應商，遠不及整個系統能否符合該要求重要。
企業買家取得控制權，亦承擔營運工作
這次發布令託管 AI 供應商面對壓力，須說明客戶將模型營運外判可獲得甚麼。
外部管理的服務可吸收部署複雜性，並提供更新功能的存取權。本地營運的模型則提供另一組優勢，包括對版本及處理位置有更直接的控制。
兩種安排都不能滿足每項企業需要。公司可能需要在本地處理敏感文件，同時以遙距服務處理其他工作。重要轉變在於市場現時有可信的選擇。
Nvidia 關於專門代理工作流程的資料，描述了涉及財務文件、供應商信貸處理及網絡安全的自訂工作。這些例子令其企業主張較籠統的辦公室自動化承諾更具體。
公司稱，Scale AI 曾為 Skydance 的供應商信貸處理調整 Super VL。它亦描述 Ramp 使用該模型，將收據影像轉換為包含付款資料的結構化記錄。
這些都是公司所描述的應用，並非證明同樣結果會自動適用於其他企業。其意義在於涉及的工作流程相當狹窄，以及該等流程所需的資訊。
收據處理代理可按已知欄位及可接受的輸出來評估。通用辦公室助理面對的任務界限較模糊，對何謂成功亦存在更多不確定性。
這個分別有助解釋自訂的吸引力。後訓練，即模型初步開發後進行的額外訓練，可針對機構的術語、工具及預期行為。
然而，自訂亦帶來另一項維護責任。若公司更改採購政策，已部署的系統必須反映這項改變。即使模型適應了昨日的程序，仍可能產生不可接受的結果。
因此，企業買家須區分模型擁有權與營運準備程度。下載一個版本帶來一項選擇；維持可靠的應用程式，才能將這項選擇轉化為有用基建。
壓力亦會落在內部技術團隊身上。業務部門可能將本地部署視為可推進的許可；基建及保安團隊則須判斷自己可否持續支援。
由一小群熱心用戶使用的本地託管試點，表面上可能成功。更廣泛的部署會暴露不同文件格式、互相衝突的指示、罕見要求，以及在不便時間出現的工作負載。
這些變化可改變經濟效益。硬件使用率固然重要，但支援工作、覆核時間、失敗任務及維護整合的成本同樣重要。
現有資料不足以斷言自行託管在所有情況下都較便宜。相關比較應包括完整工作流程，以及維持其運作所需的人手。
對託管服務供應商而言，可能的回應是強調服務質素、能力、整合及較低的行政負擔。買家應預期在這些範疇看到證據，而非僅是雲端與本地之爭的口號。
對 Nvidia 而言，機會在於令營運開放式模型看起來像受支援的基建選擇。這與單純發布模型、完全將部署留給開發者，是不同的主張。
較小的活躍模型改變部署取向
Nvidia 的技術論點是，透過在每個生成步驟啟用較少運算，仍可提供實用的代理能力。
據 Nvidia 指，Super VL 包含 1,200 億個參數，但每個 token 僅啟用 120 億個。參數是經學習得來的數值；token 則是模型處理及生成的文字單位。
其混合專家架構會將工作路由至選定的模型組件，而非為每個 token 啟用整個網絡。這將模型總容量與每一步所用的運算量分開。
這個分別可能對在任務期間反覆查詢模型的代理十分重要。閱讀文件、選擇工具、檢查結果及繼續工作，均可能需要連續多次模型呼叫。
不過，活躍參數數目並不能告訴買家完整的硬件要求。系統仍須儲存模型權重，並在支援周邊應用程式時維持工作狀態。
Nvidia 的代理模型研究描述了效率技術及能力評估。報告是在指定服務條件下呈報結果，而非提供普遍適用的效能保證。
報告指出，Super 在軟件工程基準測試 SWE-bench Pro 中取得 51.78%。Nvidia 表示，該結果超越 Nemotron 3 Ultra，儘管使用了較少活躍參數。
這支持一項有限的結論：較新的訓練及架構選擇，可在不增加模型每項尺寸指標的情況下改善特定任務。這並不能證明其在所有企業工作中均更優勝。
該模型亦結合文字及視覺理解。多模態模型處理不同類型的輸入，讓應用程式可連同文字指令處理文件及影像。
對企業應用程式而言，這可減少在不同模型之間傳遞資訊的需要。每次交接都可能遺漏背景資料或失去相關細節。
不過，結合能力並不代表毋須驗證輸出。錯誤閱讀圖表的代理，仍可能在其他看似合理的推理過程中延續這項錯誤。
因此，與 Qwen 及 Gemma 的實際競爭取決於工作負載的適配程度。買家在開放式模型之間選擇時，須比較文件理解、行動選擇、回應時間及整合行為。
程式編寫基準測試無法決定文件處理採購。讀圖結果亦不能證明代理會遵守機構的審批流程。
此架構亦改變買家解讀規模標籤的方式。總參數數目龐大，並不必然代表每項請求都會使用整個網絡。
相反，較少的活躍參數亦不保證能快速完成工作。應用程式大部分時間可能花在等待工具、擷取文件，或從未成功的行動中復原。
有用的採購問題，是系統能以現有資源完成多少經驗證的工作。原始生成速度固然相關，但只衡量這個結果的一部分。
這個框架令技術討論與發布的主要承諾保持連繫：當效能能滿足實際應用程式的要求時，高效率模型便可擴闊部署選擇。
Nemotron Bolt 將這場討論帶到個人電腦
本地代理必須在用戶已在使用的電腦內運作，包括面對其他應用程式競爭及記憶體需求。
Nemotron Bolt 透過壓縮處理這項限制。量化，即以較低數值精度儲存模型數值，可降低記憶體需求，但可能影響準確度。
Nvidia 的本地模型研究指出，Bolt 74B-A9B 由 Super VL 壓縮而成，設計目標是符合 24GB 模型記憶體預算。它共有 740 億個參數，其中 90 億個為活躍參數。
這項研究結合架構壓縮、低精度儲存及進一步訓練，目標是在較小的部署佔用下，保留模型有用的代理行為。
這種做法值得審慎解讀。模型所標示的佔用規模，並不能說明整個代理應用程式能否在用戶的瀏覽器、開發環境或創作軟件旁順暢運行。
工作文件、應用程式狀態及輔助軟件同樣會消耗資源。除了能否載入模型外，剩餘容量的多少也很重要。
Nvidia 自己的 Bolt 測試數據說明，並不存在單一的速度贏家。其公布的比較包括某些 Qwen 及 Gemma 配置，它們完成重播基準測試的速度比 Bolt 更快。
該公司更全面的論點結合了能力、記憶體使用量及速度。買家應保留這些不同維度，而不應把一張表現理想的圖表演繹為全面領先的主張。
個人研究助理可作為一個有用的假設例子。它或可搜尋本機專案文件、整理簡報資料，並建議後續工作，而毋須把每一段文字都傳送至遠端模型。
這是一個應用場景，並非聲稱 Nvidia 已交付一個完成的研究助理。周邊產品仍需要可靠的搜尋、來源追蹤及適當的存取權限。
對知識工作者而言，文件的相關性可以與語言流暢度同樣重要。若代理擷取的是過時提案而非已獲批版本，便無法正確總結決策。
同一問題亦適用於可搜尋知識庫。把檔案留在附近，並不會自動令它們易於檢索或理解。
Nvidia 亦把模型策略連繫到其本機代理生態系統，描述設定改善、應用程式整合，以及本機與雲端模型之間的路由。這些周邊工具十分重要，因為安裝障礙可能令實驗無法變成日常使用。
混合路由會把不同請求發送至不同的執行位置。它提供彈性，但用戶需要了解其代理何時離開本機環境。
私密文件可以留在本機，但隨後的工具呼叫可能會把擷取出的資訊發送到其他地方。完整應用程式的行為，決定最初的私隱預期是否成立。
因此，PC 的機遇不止於把模型權重放入記憶體。它取決於能否讓本機運行的助理在日常工作中易於理解、反應靈敏且實用。
Nvidia Nemotron 的發布報道應保留這個區別。硬件兼容性打開大門；應用程式行為才決定用戶會否持續運行該代理。
本機部署改變私隱界線，而非代理權限
在本機運行模型能讓買家對處理方式有更大控制權，但並不決定代理應獲准採取哪些行動。
私隱與行動安全彼此相關，但屬於不同問題。模型可以完全在本機處理文件，但其代理仍可能擁有對檔案或應用程式過多的存取權。
設想一個假設性的供應商審查流程，起初會讀取附件。若代理同時可以修改供應商紀錄，理解錯誤便可能變成營運失誤。
模型所在位置並不決定是否應進行該項寫入操作。應用程式權限及審批規則，才決定哪些行動可用，以及何時必須由人員介入。
這個區別之所以重要，是因為代理會接觸由其他人提供的材料。當不可信內容試圖重新導向 AI 系統的行為時，便會出現提示注入。
文件可能含有看似指令的文字，但代理應只把它視為證據。把文件保留在本機，並不能消除這個問題。
企業亦需要了解任務失敗時會發生甚麼。相較於基於未獲支持的假設完成行動，能安全停止的系統可能更可取。
這不代表每項行動都需要人手確認，而是指組織需要在低影響協助與會帶來商業後果的變更之間，設立明確界線。
例如，草擬供應商摘要與更新付款目的地涉及不同權限。若把兩者同樣視為「代理任務」，便會掩蓋更重要的區別。
效能主張亦需要同樣審慎。Nvidia 的比較描述的是特定模型、軟件配置及任務。表現理想的結果是值得進一步研究的理由，而非跳過應用程式測試的許可。
合作夥伴案例亦有其限制。客製化可改善狹窄的工作流程，卻可能產生難以轉移至另一部門文件或程序的行為。
因此，最有力的懷疑立場應是具體的：這次發布確立了更多部署選項，但可靠的端到端運作證據仍取決於工作負載。
同樣地，若斷言開放模型無法支援有用的企業代理，也缺乏支持。這次發布提供了組織可評估的具體成果及技術文件。
買家應把這些成果與採用主張分開看待。可下載模型、已公布的整合、試點計劃及持續運行的生產工作流程，代表不同層級的證據。
營運透明度有助連接這些層級。團隊需要足夠的可見性，以重建代理讀取了甚麼、選擇了哪些行動，以及為何結果需要修正。
這些紀錄對改進及問責同樣重要。缺乏它們時，公司可能難以分辨是檢索錯誤、推理失敗，還是應用程式連接中斷。
Nvidia 的定位讓它有機會把模型與部署軟件連接起來。但這亦令公司面對一個實際問題：這種整合究竟實際移除了多少複雜性？
對客戶而言，能夠實際行使的更大控制權才有價值。否則，組織只會承擔其欠缺人手或工具管理的責任。
Nvidia Nemotron 發布後值得關注的事項
下一批有用證據將來自已發布的產品、可比較的應用程式測試，以及持續的客戶使用。
第一個訊號是預定於 10 月 23 日發布的 Bolt E4B 4GB。它的推出將讓開發者評估最小的已公布選項，而非從較大模型推斷其行為。
相關問題包括已發布的能力、支援的軟件，以及在目標佔用範圍內的效能。可用性本身只能證明交付，而可用的整合將決定開發者能在多大程度上試用它。
若發布版本能支援反應靈敏且範圍受限的對話任務，將強化 Nvidia 關於該系列涵蓋不同硬件類別的主張。延遲或嚴格的部署要求則會收窄該主張。
第二個訊號是針對完整代理工作流程的獨立比較。評估者應披露硬件、軟件、模型配置、任務定義，以及取得結果的條件。
最有用的比較會在完成時間以外衡量正確性，亦應記錄失敗的行動、重試及需要介入的個案。
這對壓縮後的本機模型尤其重要。一個生成速度快但反覆選錯行動的模型，可能比速度較慢的替代方案耗費更多時間。
與 Qwen、Gemma 及其他相關模型的可比較結果，將釐清 Nvidia 的取捨在哪些地方有幫助。一致的增益將強化部署論點；結果參差則會指出較狹窄的適用範圍。
第三個訊號是已公布的企業合作是否轉化為持續運作的證據。有用的披露會說明代理處理甚麼、人員如何監督它，以及仍有哪些限制。
另一項整合公告會增加一個潛在分發渠道。日常使用的證據則會為商業案例提供更有力支持。
Nvidia 較早前的模型路由發布已描述一項橫跨本機系統與雲端環境的策略。今次發布透過增加模型選擇，延續了這個方向。
這種延續性意味著，買家應在觀察模型採用情況的同時關注路由行為。一個被描述為本機的代理，仍可能在困難任務上依賴遠端系統。
透明的路由將有助在私隱、能力及營運工作量之間作出知情平衡。即使底層模型表現良好，不清晰的路由仍會削弱本機控制的價值。
對企業買家而言，這些訊號與採購決策相連。目標是找出一種工作負載，令控制權帶來可量度、且超過額外營運負擔的效益。
對開發者而言，問題是哪部分應用程式可隨模型變更而保持穩定。可靠的工具及評估，會令模型選擇隨時間更具彈性。
對 PC 用戶而言，相關結果更簡單：一個保持靈敏、尊重界線，並能協助完成既有工作的助理。
在把 Nvidia Nemotron 的發布視為改變基礎設施的理由前，先識別一個範圍明確的工作流程，並界定可接受的結果。以相同文件、權限及完成準則，比較本機運行的模型與託管替代方案。記錄每個系統在哪裡失敗、哪些資料離開裝置，以及仍需多少人手覆核。除了回應品質外，亦應計入設定及維護工作量。詢問本機控制是否解決了具體問題，例如處理限制或發布穩定性。然後利用下一次產品發布及獨立評估，檢驗這個初步判斷。貴組織的哪一部分工作，能從本機控制中獲得足夠效益，以證明值得承擔其周邊代理的責任？
