top of page

Ollama v0.40.15 新增 MiMo 與 AutoTrust,拓展聊天以外的功能

51 分鐘前
讀畢需時 12 分鐘

Ollama v0.40.15 新增小米的 MiMo 編碼模型及 AutoTrust 決策模型,將其範圍擴展至生成對話式回答以外。這個分別對正在建立應用程式的開發者十分重要,因為這些應用程式既要產出成果,也要判斷成果應歸屬何處。支援另一個模型可擴大選擇;支援不同類型的輸出,則會改變開發者能圍繞執行環境建立甚麼。

核心張力在於通用聊天介面,與需要有明確界限、可檢視決策的軟件之間。Agent,即使用模型和工具完成任務的軟件,需要的不只是流暢的回應。它亦需要路由規則、易於理解的設定,以及證據證明其行動符合應用程式要求。

Ollama 的更新處理了這個營運層面的部分環節,但未能證實由此產生的工作流程具備可靠性。因此,它與 LM Studio 等替代方案的競爭,不再只限於模型是否可用。實際問題是,模型開始運行後仍需多少整合工作。

Ollama v0.40.15 在模型可用性以外帶來的改變

這次發佈結合了新的模型支援,以及應用程式發現和使用這些模型方式的改變。

發佈變更指出,MiMo 和 AutoTrust 與啟動器及執行環境更新一同加入。Ollama 亦列出 Kimi Code CLI 遷移支援、Pi 和 Claude Desktop 的模型選擇改進,以及循環式和視覺 GGUF 模型的並行請求支援。GGUF 是本地推論軟件使用的一種模型檔案格式。

這些改變處理開發者工作流程中的不同環節。模型支援決定可運行甚麼。應用程式整合決定使用者能否毋須手動維護設定便選用模型。並行服務則決定受支援的工作負載能否接受重疊請求。

這個組合值得注意,因為這些層面往往決定原型能否經得起日常使用的考驗。一個獨立運作時能成功回答的模型,仍須配合周邊應用程式。開發者必須連接輸入、解讀輸出、管理失敗情況,並了解哪些設定真正控制執行。

試想一個審閱擬議變更的內部工程助理。生成修補程式是一項任務。選擇合適模型、傳遞必要的程式庫背景、檢查結果,以及將不確定的發現路由處理,則是另外的任務。只改善其中一層,餘下工作仍由應用程式開發者承擔。

因此,這次發佈應被視為整合更新,而不只是模型公告。它的功能觸及由選擇模型到運作工作流程之間的路徑。它們不會消除這條路徑,但會處理設定及執行環境行為可能中斷流程的多個位置。

這個分別亦限制了讀者應作出的推論。支援應用程式的清單變得更長,不代表每項整合都提供相同功能。模型出現在選擇器中,不代表應用程式會傳送預期設定。相容性仍然是特定元件之間的關係。

因此,對現有使用者而言,相關問題很具體:這項更新改變目前工作流程的哪個部分?只使用對話提示的人,需求與維護自動文件路由的人不同。連接編碼工具的工程團隊,亦有不同的驗收準則。

發佈評估應按這些差異進行。一次對某個應用程式成功的升級,可能完全未觸及另一個應用程式的主要限制。將每項功能視為同樣相關,會掩蓋更新的原因,亦會令行為改變時的故障排查更困難。

Ollama v0.40.15 令生成、決策和應用程式存取更為接近。這為工作流程建立者帶來更清晰的機會,同時仍由他們負責決定這些部分應如何協作。

MiMo 編碼支援令整合品質成為焦點

MiMo 編碼支援為開發者增加一個選項,但模型選擇仍取決於提示周邊的工作。

Ollama 的 MiMo 模型詳情將受支援模型列為 MiMo-V2.6-Distill-Qwen-9B。該頁面將其歸屬於小米,並描述為以 MiMo 生成資料進一步訓練的 Qwen3.5-9B 基礎模型。頁面列出文字、圖像和工具能力,內容長度上限可達 256K tokens。

Token 是模型在讀取及生成內容時處理的單位。較大的內容長度上限容許單一請求包含更多材料,但仍受執行環境和可用資源限制。這並不代表模型能識別該等材料中的每個相關細節。

這個分別對編碼應用程式十分重要。一個程式庫可能包含過時註解、互相矛盾的範例、生成檔案,以及為不同環境而設的指示。提供更多內容不會自動帶來更佳實作。應用程式仍需選擇有用背景,並維持任務界限。

同樣的謹慎亦適用於工具使用,即模型透過已連接應用程式請求操作。正確請求工具只是完成任務的一部分。應用程式必須執行請求、回傳易於理解的結果,並處理操作失敗的情況。

對工程團隊而言,這會令評估重點轉向完整任務。一項有用的測試,可以要求模型調查故障、提出變更並解釋其假設。審閱者其後可評估有關變更是否配合程式庫,以及解釋是否符合實際修改。

該評估應區分看似合理的答案與已完成的任務。修補程式看來可能合理,但會忽略既有抽象層。解釋可能聽來自信,卻忽略相關測試。工具請求可能有效,卻指向錯誤檔案。

因此,MiMo 編碼支援帶來在既有工作流程內比較行為的機會。它不要求團隊為每次新發佈都另行創造一套評估程序。使用熟悉的任務,可令差異更易解讀,並減少以令人印象深刻的孤立範例判斷模型的誘惑。

該頁面亦展示發布者報告的評估。這些結果描述的是發布者的測試條件,而非在讀者應用程式內獨立驗證的表現。它們可協助識別值得測試的問題,但不能決定某個特定程式庫或工作流程是否會受惠。

與 Qwen 的比較作為背景尤其有用,因為該頁面指出了這條技術譜系。衍生模型是否合適,取決於其額外訓練所帶來的影響,而不只是名稱。開發者需要了解他們打算委派的任務的證據。

對知識密集型工程工作而言,背景準備仍是獨立議題。維護可搜尋知識庫的團隊,可在組合模型輸入時採取同樣紀律。相關文件和明確假設,可令故障更易診斷。

壓力落在應用程式維護者身上,他們需要證明另一個受支援模型能改善實際工作流程。可用性使實驗成為可能。已完成工作的證據,決定該實驗是否值得持續使用。

AutoTrust 決策模型改變輸出合約

AutoTrust 決策模型針對另一種應用程式需求:回傳可由軟件直接使用的選擇和評估。

決策模型詳情描述的輸出包括選擇、是或否的機率,以及按所提供準則作出的評分。該頁面列出請求路由、文件分類及答案評估等用途。它區分文字模型與支援圖像的變體,令輸入相容性成為模型選擇的一部分。

這改變了輸出合約,即應用程式預期回應的形式。對話式回答大部分留給讀者解讀。有明確界限的選擇則可直接輸入應用程式邏輯,前提是周邊系統界定該選擇的意思。

考慮發佈簡介中提供的帳單情境。一位客戶報告被重複收費。將該訊息路由至帳單佇列,是分類任務。撰寫一封具同理心的回覆,是生成任務。發出退款則是由另一套業務規則管控的行動。

將這些任務合併成未經區分的助理回應,會令問責變得更困難。一段流暢文字可能模糊分類、解釋和授權之間的界線。將它們區分,有助開發者識別是哪個元件出錯,以及哪個元件本應阻止錯誤。

AutoTrust 決策模型適合這種架構中的分類部分。其效用取決於應用程式是否提供符合實際運作的類別。若系統本身的類別定義重疊,或遺漏常見情況,便無法一致地路由含糊請求。

同樣問題亦會出現在文件審閱中。一個團隊可能希望區分客戶投訴與功能請求。有些訊息同時包含兩者。應用程式必須決定是否容許多重標籤、某一類別是否優先,以及何時應由人員審閱結果。

這些首先是產品決策,然後才是模型決策。模型可以套用已提供的準則,但無法解決一個組織對準則應如何界定的分歧。明確定義令評估成為可能,因為審閱者可識別預期答案。

機率引入另一個分別。回傳的信心值不會自動成為應用程式中的正確率量度。校準,即報告的信心與觀察到的結果一致,需要以結果已知的範例進行測試。

模型可以有效地排列可能選擇,卻仍可能不準確地表達信心。因此,將每個高分都視為可繼續執行許可的應用程式,可能會以不同方式失敗,與只使用排序的應用程式不同。適當回應取決於該結果控制甚麼。

對低影響路由而言,錯誤標籤可能只會增加額外審閱工作。對影響客戶帳戶的行動而言,同樣錯誤會帶來不同後果。模型的輸出格式並不決定應用程式應授權哪些行動。

評分同樣需要審慎處理。當審閱者共享品質定義,並能辨識不同水平的範例,分數才會變得有意義。缺乏這種共識時,看似精確的評分可能掩蓋不一致的判斷。

更廣泛的含意屬於架構,而非宣傳。生成和評估可以成為同一工作流程內的獨立元件。這種分離有助更清晰的測試,但不會令任何一個元件預設正確。

競爭壓力轉向工作流程的管道工程

相關競爭日益取決於從下載模型到穩定使用之間所需的工作。

LM Studio 透過其本機 AI 文件提供了一個有用的比較參考。這裡的比較針對開發者會評估的一類軟件,而不是聲稱任何一款產品在所有工作負載中都勝出。讀者應比較自己預期需要維護的具體應用路徑。

模型運行時,即載入模型並執行請求的軟件,在該路徑中佔據重要位置。它將模型檔案與應用程式及硬件連接起來。當這個連接運作可預期時,應用程式開發者便能將更多注意力放在工作本身。

當它的行為難以預測時,團隊便會累積補償性的設定。他們要維護模型別名、記錄例外情況、排查不相符的設定,並解釋為何應用程式的行為與直接請求不同。即使底層模型合適,這些工作仍會消耗精力。

啟動器的改進在這個脈絡下相當重要。其價值不在於縮短首次示範的時間,而在於減少反覆出現的混亂。同事之間重複發生的模型選擇問題,可能演變成營運問題,尤其當所有人都以為自己選用了相同設定時。

可見設定與實際生效設定之間的分別是核心。一個易於理解的模型名稱有助用戶辨識選項。維護人員亦需要知道該選項最終解析至甚麼、會提供哪些能力,以及應用程式是否保留這些選擇。

這正是模型可用性與應用程式可用性相遇之處。運行時可以支援某項能力,但已連接的應用程式未必會使用它。應用程式可以提供某個設定,但它在不同模型上的表現可能不同。單獨評估任何一個元件,都會忽略這些互動。

本次版本的並行處理改動亦屬同一討論。並行處理是指處理互相重疊的請求。它處理的是與單一回應速度不同的問題,而任一特性本身都不能證明系統在真實工作負載下有可接受的行為。

一名內部助理可能正在接收一項冗長的分析請求,而另一名用戶同時提出一條簡短問題。團隊需要了解共享系統在這種情況下如何運作。能夠接受兩個請求,並不代表兩者都會在可接受的時間內完成。

這項觀察是一項評估要求,而非對本次版本實測效能的聲稱。現有公告並未為每種部署提供針對特定工作負載的容量結果。讀者不應把相容性改進當作理所當然的吞吐量保證。

對維護人員而言,有效的競爭回應是務實的。模型存取、應用程式設定與運行時行為,必須能夠一併理解。一個精緻的介面無法彌補用戶不清楚是哪個模型處理了請求的不確定性。同樣地,當日常設定一再失效時,再詳細的控制功能也幫助不大。

這對工作流程的底層連接提出要求:即連接各元件的設定、介面與營運行為。它比模型發布消息較不顯眼,卻決定團隊能夠多有信心地重複成功實驗。

支援仍留下可靠性問題

最大的未知數,是新功能在讀者實際的輸入、硬件與應用程式行為下,是否仍然可靠。

本次版本列明支援 Apple silicon 上的 AutoTrust。這是一個有意義的相容性界線。讀者不應把它延伸理解為每個作業系統、處理器或加速器均獲得同等支援。

硬件亦會影響模型「可用」與「實用」之間的分別。可下載的模型仍要與其周邊應用程式競爭記憶體及處理資源。工作負載不只包括模型檔案本身。

長輸入帶來另一個變數。已聲明的上下文限制描述的是容許的輸入範圍,而不是承諾一致的回應速度或推理品質。評估應反映應用程式實際會傳送的材料,包括無關及互相矛盾的資訊。

支援影像的工作流程帶來自身的不確定性。能夠接受影像,不代表能可靠地解讀每張螢幕截圖或文件。細小文字、不完整畫面及欠缺上下文,都會影響模型可作出的推斷。

決策輸出需要在相容性以外接受審視。模型可能很擅長處理明顯的例子,卻難以應對跨越分類界線的請求。只測試清晰案例,可能造成對準備程度過高的印象。

有用的審核材料包括分歧案例。若人工審核人員無法一致地劃分預期類別,應用程式的準則便需要關注。把這些案例只視為模型失誤,會掩蓋另一個模型亦可能重現的規格問題。

評估的獨立性同樣重要。獲得正面模型評分的生成答案,未必已接受獨立的事實核查。評估者需要具備能偵測重要錯誤的證據與準則。

對編程而言,這些證據可能包括可執行檢查及審核人員檢視。對分類而言,可能包括已標註的例子及後續處理結果。對摘要而言,可能包括與底層來源材料作比較。

周邊應用程式應保留足夠資訊以支援這種審核。輸入、所選模型、相關設定及最終行動,有助調查人員重建故障情況。沒有這些記錄,團隊可能把模型行為與應用程式改動或欠缺上下文混為一談。

這些疑慮並不證明本次版本表現不佳。它們說明公告未能解決甚麼。新增支援擴大了開發者可嘗試的工作流程範圍,但不能取代有關這些工作流程的證據。

因此,應根據團隊需要解決的具體不確定性來評估 Ollama v0.40.15。一次成功的編程評估,並不能驗證客戶路由。一個有用的路由模型,亦不能證明影像解讀可靠。

最站得住腳的採用決定,會把每項新能力連繫至明確定義的任務及可觀察的結果。這能讓熱情與證據保持相稱,同時讓團隊受惠於解決真正限制的改進。

Ollama v0.40.15 後續值得留意甚麼

下一批有用證據將來自可重複的應用程式結果、更清晰的相容性資訊,以及經測試的決策行為。

首個訊號是完整工作流程中可重現的 MiMo 編程表現。報告應列明應用程式、任務、模型設定及驗收準則。包含失敗嘗試和審核人員修正的例子,會比精選的成功回應更有參考價值。

這些證據將加強把本次版本視為不止一次發佈更新的理據。若開發者能以有限的整合工作反覆完成有用工作,模型支援便能轉化為實際價值。若結果依賴未記錄的調整,整合方面的論點便會變弱。

相關結果不只是程式碼有否出現,而是最終改動是否符合任務、適合其環境,並經得起適當審核。這些條件將模型示範與工程團隊已熟悉的工作連繫起來。

第二個訊號,是有關 AutoTrust 在應用程式特定輸入上的決策提供更清晰證據。有用的評估應把分類品質與信心品質分開。它們亦應說明當請求不符合所提供類別時會發生甚麼。

在含糊例子上的強勁表現,將支持採用專門決策元件的理據。頻繁出現自信但錯誤的結果,則意味需要縮窄部署範圍或加入更多人工審核。無論是哪種結果,都比把機率欄位視為自我驗證更能提供實用指引。

團隊亦應留意,隨着應用程式演變,準則是否仍然易於理解。即使模型維持不變,路由系統亦可能因分類改變而退化。維護決策定義是維護應用程式的一部分。

第三個訊號,是在支援的應用程式及硬件設定之間的一致性。清晰的模型選擇、易於理解的遷移,以及可預測的重疊請求處理,將提升本次版本的營運價值。反覆出現的設定意外,則表示仍有重要的整合工作未完成。

這些訊號應一併解讀。更好的模型行為無法完全彌補令人困惑的應用程式設定。更容易的設定亦無法彌補不合適的決策。最有力的證據會把可用的整合,連繫到團隊能檢查及重複的結果。

對追蹤這次更新的讀者而言,應先從一個已有清晰成功定義的既有工作流程開始。在更換運行時或模型前,保留其輸入、預期結果及審核流程。比較已完成的工作、檢視分歧,並記錄每項結果背後的設定。讓生成、評估及授權保持足夠區隔,以辨識錯誤源自何處。當應用程式、準則或模型改變時,應重新進行評估,而非假設較早的結果仍具代表性。Ollama v0.40.15 為這類調查提供了額外元件。哪個元件能處理你可在團隊既有工作中量度的限制?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page