top of page

Anthropic Mythos 與 Fable 推出新版本,AI 研究加速引發審視

1 日前
讀畢需時 12 分鐘

Anthropic 於 11 月 9 日發布更新版 Mythos 及 Fable 模型,正值外界愈來愈關注 AI 在加速自身發展中所扮演的角色。Anthropic Mythos 與 Fable 的發布,緊隨一項獨立評估;評估指出,該公司的能力進展正在加快,部分原因是研究人員愈來愈多使用 AI。這個組合令這次發布背後浮現一個具體問題:實驗室應如何擴展實用能力,同時控制其對未來模型開發形成的回饋?

這些產品為 Claude Fable 5.2 及 Claude Mythos 5.2。Reuters 獨立確認了發布消息,並將其置於與 OpenAI、Google 及 Meta 的競爭背景之中。對開發者及企業買家而言,眼前問題是這些模型能否帶來足以值得再進行一輪評估及部署的工作改善。

較長遠的張力關乎遞迴式自我改進,即 AI 系統自主設計及開發能力更強的後繼系統。更快的 AI 輔助研究並不證明這個過程已經出現。然而,這令人工主導的輔助與自主開發之間的區別愈發重要。Anthropic 的最新發布正處於這一區別的核心。

Anthropic Mythos 與 Fable 發布帶來甚麼改變

這次發布擴展技術能力,同時為敏感應用保留不同的存取規則。

根據 Anthropic 的模型發布詳情,Fable 5.2 與 Mythos 5.2 共用同一個底層模型。Fable 設有額外的網絡安全及生物學保障措施,而 Mythos 則供在這些領域工作的經審核機構使用。Anthropic 表示,更新提升了編程、推理、視覺及溝通能力。

該公司亦表示,其限制了與加速 AI 發展最直接相關的研究能力訓練增益。這些領域包括加速器核心最佳化,即改善在專用晶片上運行的程式碼,以及大型語言模型架構的改動。

這項披露之所以重要,是因為它令一項對模型發布的常見假設變得更複雜。較新的模型未必代表在每一項技術工作上都毫無限制地進步。產品能力與開發政策可以塑造同一系統的不同部分。

對軟件團隊而言,實際含義比發布公告中的廣泛措辭更具體。當一項建議改動能通過審查、整合至現有系統,並且保持可維護性時,更佳的程式碼生成才有意義。在孤立工作階段中給出令人印象深刻的答案,只構成其中一部分證據。

試想像一項涉及舊有服務的假設性遷移,該服務的文件並不完整。模型可能推斷依賴關係、草擬替代程式碼並提出測試方案。困難的組織問題是,誰來核實程式碼庫從未記錄的假設。

這個問題把能力與問責連結起來。若模型承擔更多實作工作,工程師便需要有足夠可見性,以檢視它為何作出具影響力的選擇。否則,在開發期間節省的部分工作,可能會在事故期間以調查工作形式回來。

同一原則亦適用於更清晰的溝通。簡潔的解釋可以令正確結果更容易使用,也可以令錯誤結果更容易被接受。因此,買家在審查候選系統時,應把可讀性與準確性區分開來。

這些是評估上的考量,而非對新模型成果的獨立量度。這次發布證明另一個產品選項已存在,卻沒有證明其在每位客戶工作流程中的優勢幅度。

有用的比較應讓工作、可用文件、權限及驗收標準維持不變。在更換模型的同時改變這些條件,會更難辨識實際改善的是甚麼。否則,團隊可能把較佳周邊設定帶來的效果歸功於模型。

因此,這次發布既為客戶帶來即時工作,也帶來機會。團隊必須決定哪些工作值得重新測試、哪些權限仍然合適,以及哪些失敗情況會阻礙採用。這些選擇會把一項發布公告轉化為營運決策。

壓力落在買家與競爭實驗室身上

競爭壓力關乎已完成且可供審查的工作,而非籠統宣稱具備更高智能。

Reuters 形容 Fable 5.2 的目標是編程、推理及 AI agent 工作。AI agent 是運用工具、跨越多個步驟完成工作的系統。據報道,Mythos 5.2 的目標是獲批准的網絡安全及生命科學應用。

這種定位為企業買家帶來具體的比較問題。一個在孤立推理題目中表現良好的模型,在搜尋內部文件、編輯檔案或協調工具時可能有不同表現。周邊應用可決定其能力是否能轉化為實用成果。

OpenAI 與 Google 提供競爭參考點,但負責任的採購決定不能單憑模型名稱作出。客戶需要與自身工作分布相符的證據。編程助手、文件分析員及研究協調員面對不同的失敗條件。

對供應商而言,這使焦點轉向完整的工作環境。工具權限、錯誤復原、審查介面及行動記錄,都會影響客戶信心。模型可以產生有前景的結果,同時卻留下太少資訊讓其他人核實。

對客戶而言,轉換亦不只是更換模型識別碼。現有提示詞可能包含對回應格式或工具行為的假設。審查者亦可能對熟悉的弱點形成習慣。即使新系統的平均表現有所提升,亦可能需要不同的檢查。

這形成一個較不顯眼的競爭壓力來源:可預測性。團隊需要知道系統何時需要澄清、何時應該停止,以及它如何報告未完成工作。這些行為的重要性可以不下於在困難示範中的表現。

壓力亦延伸至採購及安全團隊。他們必須了解其機構可存取哪些能力,以及該配置適用哪些控制措施。對一般助手的批准,不應自動授權使用相關模型的每一種專門用途。

這一區別具有歷史延續性。Anthropic 的先前模型配置已將普遍可用的 Fable 模型,與受限制的 Mythos 配置配對。該公司把保障措施及資料處理要求,描述為較早期產品設計的一部分。

現在的相關問題是,客戶能否足夠清楚地理解這些界線,從而據此規劃。當團隊發現預期工作流程需要額外授權或不同基礎設施時,模糊性可能造成延誤。

對開發者而言,最有力的採用理據會是代表性工作所需人工介入較少,同時結果仍然容易檢視。對企業買家而言,這將包括在其實際權限及資料限制下可靠的行為。

兩種理據均不需要出現一個普遍勝出者。客戶完全可以為不同工作選擇不同系統。競爭實驗室的責任,是透過證據令這些選擇站得住腳,而非期望客戶自行詮釋寬泛的效能標籤。

更快的 AI 研究不同於自主自我改進

獨立證據支持對加速的關注,但並未證實 AI 已接管自身開發。

11 月 5 日,Model Evaluation and Threat Research(METR)發布一項AI 研究評估。該評估估計,Anthropic 在定義明確工作上的能力,正以約為先前兩倍的速度提升。

METR 判斷,AI 的使用很可能解釋了目前加速的大部分原因。它亦強調存在重大不確定性。Anthropic 遮蔽了 METR 所考慮、最具資訊價值證據中的大部分內容,限制了公眾評估底層紀錄的能力。

這些發現為 Anthropic Mythos 與 Fable 提供背景,但並未量度新發布對未來進展的貢獻。它們關乎內部開發過程。把它們視為新近可用產品的基準測試結果,會混淆不同種類的證據。

輔助與自主之間的區別至關重要。人類研究員可以選擇一項實驗、要求 AI 實作它,並詮釋結果。這種安排可提高生產力,同時把最具影響力的科學決策保留給研究員。

更自主的安排會讓系統選擇實驗、評估結果,並決定下一步應追求甚麼。若這些選擇提升系統進行未來研究的能力,回饋便會變得更直接。

這些安排對監督提出不同要求。審查實作需要技術判斷,以確定獲指派工作是否正確完成。審查自主研究亦需要判斷系統是否選擇了合適目標,以及是否負責任地詮釋含糊證據。

實作速度加快並不能揭示進展有多大程度取決於那些尚未完成的決策。它亦不能證明增益會無限累積。研究可能遇上限制,而這些限制在量度一段成功工作時並不顯眼。

正因如此,生產力估計不應變成倒數計時。工作正在加速的觀察支持更密切的量度,卻不能為完全自主提供可靠日期,亦不能確立觀察期以後的軌跡。

Anthropic 自己的自我改進分析作出相關區別。該公司表示正把更多開發工作交由 AI 處理,同時承認在選擇研究目標方面持續存在差距。它明確表示,完全自主的遞迴式自我改進尚未出現,亦非必然會出現。

未解決的問題是,這些差距還會在多長時間內保持重要。若系統主要在執行獲指派工作方面改善,人類研究判斷仍會是核心限制。若它們亦改善於選擇有價值問題,監督結構便會改變。

對讀者而言,這才是值得追蹤的機制。更多程式碼、更多實驗及更多已完成工作,各自都可反映進展。更強的論斷需要證據,證明系統能引導具影響力的研究,並把結果轉化為更好的後繼系統。

把這些論斷分開,會令討論更有用。這容許人們關注加速,卻不假定一個失控過程已經存在。它亦避免把尚未完全自主當作忽視可量度變化的藉口。

安全證據必須涵蓋模型實際執行的工作

令人安心的測試結果,只有在測試能有意義地代表的條件之內才有價值。

安全評估不僅涉及模型能否回應有害提示。對於使用工具的系統而言,相關問題還包括遵守權限、報告失敗,以及在指令衝突時停止執行。答案可能取決於周邊應用程式的情境。

一個假設的編程代理程式說明了這個問題。它可能會正確拒絕明確要求存取受保護檔案的請求。然而,在複雜的除錯任務中,它可能遇到憑證或繼承權限,令相同的存取看似成為例行操作。

這個例子並非描述新版本的已觀察行為。它說明了為何安全證據需要情境。指令、可用工具、任務壓力及審核流程,都有助決定一項測試究竟證明了甚麼。

當系統執行有助改善其他 AI 系統的工作時,同樣的問題亦會出現。一般應用程式程式碼中的錯誤可能影響該應用程式。評估流程中的錯誤,亦可能影響實驗室認為哪些未來模型已準備就緒。

第二種情況提供了一個理由,將實作與審批分開。系統或可協助建立評估,卻不應成為判斷該評估是否足夠的唯一裁決者。獨立審核可保留對假設及遺漏情況的不同觀點。

能力與傾向之間亦有分別。模型可能具備執行未經授權行動的技術能力,同時通常會拒絕這樣做。安全判斷需要兼顧:甚麼是可能的,以及在相關條件下實際會發生甚麼。

存取控制處理的是問題的另一部分。限制誰能使用某項設定可以減少暴露風險,但未能回答所有關於授權使用的問題。機構仍需要界線,規範已獲批准的用戶及應用程式可以做甚麼。

因此,合理的審核應詢問:哪些失效模式已被檢視,哪些仍難以觀察。也應詢問評估是否適用於正在考慮的確切設定。高度相近的產品,亦可能以不同的防護措施及權限運作。

METR 指出的公開證據缺口帶來另一項挑戰。當重要的支持材料仍屬機密,外部讀者便無法獨立重現整項判斷。他們必須評估評估者的方法、所述的不確定性及存取條件。

保密可以保護正當資訊,同時仍會降低公眾可見度。承認這項取捨,比起將披露視為完全透明或毫無意義的公關手段,更具資訊價值。問題在於外部審核者究竟能真正核實甚麼。

對企業客戶而言,實際的回應是記錄部署假設。這包括容許使用的工具、敏感資源、升級處理條件,以及最終決策的責任歸屬。在支持更廣泛權限之前,有利的評估應先與這些假設連結起來。

這能為採用保留空間,同時讓結論保持合乎比例。模型可以在有界限的工作流程中發揮作用,卻未必適合無人監督的研究。支持第一項決定的證據,不應悄然變成對第二項決定的授權。

研究案例需要超越示範的驗證

當另一個團隊能夠檢視結果及產生結果的流程時,一個具說服力的應用案例便會成為更有力的證據。

先進模型的樂觀前景,在於有用的工作變得更容易取得。研究人員希望獲得協助,探索技術選項、連結證據,以及完成那些消耗稀缺專家注意力的任務。這些目標值得與加速開發的風險一併評估。

然而,研究示範所能證明的事情各有不同。成功的輸出可以顯示某種方法在特定條件下有效。它不會自動揭示所需的準備工作、失敗嘗試、人手修正或支援基礎設施。

比較系統時,這些分別相當重要。在精心設計的環境中運作的模型,可能優於獲提供較少工具的另一套系統。結果仍可具參考價值,但讀者需要足夠的方法細節來理解這項比較。

獨立確認在不同學科中亦有不同形式。軟件結果可能需要審閱、測試,以及在貼近真實情況的負載下觀察。科學主張可能需要檢查假設、重現計算,或進行實體實驗。

電腦驗證可解決一些較狹窄的問題。以形式語言寫成的數學證明,可根據明確規則檢查。這提供的證據類型,與僅僅令讀者覺得言之成理的解釋不同。

然而,即使結果已獲檢查,仍會留下情境問題。研究人員仍需了解哪些假設被編碼,以及形式陳述是否符合原本意圖的主張。驗證可減少特定範圍內的不確定性;它不會消除所有周邊判斷。

對知識工作者而言,文件分析亦有相似問題。助理可能在多個檔案中找出看似合理的解釋。其實用性取決於審核者能否將該解釋追溯至實際證據,並看見尚未解決的矛盾。

設想一名分析師正在審閱文件,以進行一項假設的供應商評估。一份流暢的摘要可能忽略不同報告涵蓋不同期間。相較之下,一個雖不那麼精緻、卻能指出這項不一致的答案,對最終決策可能更有價值。

這正是更佳溝通具有實際意義的地方。有用的改進,是更清楚交代證據支持甚麼、哪些仍不確定,以及哪些需要人類判斷。單憑信心無法提供這種交代。

團隊可透過維護包含技術文件及決策歷史的可搜尋知識庫,來支援這個流程。目的是讓原始材料及過往推理可供審閱。

這類基礎設施不會自動驗證模型的結論。它讓人們有更佳機會檢查結論。每當系統輸出影響重大技術或商業決策時,這項分別便很重要。

對 Anthropic Mythos 及 Fable 而言,有意義的研究故事將透過這類審視而浮現。最有力的證據會結合有用結果、可見方法及外部確認。示範可以開啟這個流程,但持續驗證才能為客戶提供更穩固的信任基礎。

下一個訊號是可重現性、研究自主性及營運證據

未來數月應會釐清,能力提升在哪些地方能轉化為可靠工作,以及人類判斷在哪些地方仍不可或缺。

第一個訊號,是在具代表性的任務中能否重現結果。獨立評估者及客戶應檢視,當文件、工具及任務難度貼近實際工作時,所聲稱的改進是否仍然存在。可比較的條件比孤立排名更重要。

可靠提升的證據會強化此次發布的商業理據。若結果僅限於異常有利的設定,理據便會收窄。無論結果如何,都比把每個基準測試視為衡量同一種底層能力更具資訊價值。

對軟件團隊而言,有用的報告應包括審核者拒絕了甚麼、哪些內容需要修正,以及整合後發生了甚麼。對研究機構而言,報告應解釋如何挑選候選構想,以及哪些結果通過後續檢查。

第二個訊號,是對研究自主性作出更具體的說明。未來評估應區分:選擇目標、設計實驗、實作、詮釋結果,以及整合改進。把這些活動合併為一般生產力主張,會掩蓋責任分工。

若證據顯示 AI 能可靠地選擇有價值的實驗,便會加強人們對更緊密開發回饋流程的憂慮。若證據顯示專家介入在決定性階段仍屬必要,便會限制這種詮釋。任何一項發現,都不應被簡化為關於智能的二元宣言。

這項分別亦有助客戶避免過度解讀模型的技術能力。系統可以非常擅長解決已指定的問題,卻仍不可靠地選出哪個問題值得關注。這是不同的能力,帶來不同的營運後果。

第三個訊號,是持續使用所產生的營運證據。買家需要知道,當任務變得更複雜時,系統是否遵守界線、報告未完成的工作,並保持可檢視性。失敗與成功復原,都會構成這份紀錄的一部分。

更強的可靠行為證據,將支持審慎地擴大使用。若行動存在反覆不確定性或失敗仍未解決,則應採取更嚴格的界線。相關標準是機構能否理解及管理系統的角色。

這些訊號把產品發布與更廣泛的開發辯論連結起來,同時不假裝它們今天已解決爭議。更快完成工作具有商業價值。更高自主性會改變誰作出決策。可信的監督要求我們足夠清楚地看見兩者,以區分益處與新增責任。

在改變生產工作流程前,選擇一項具代表性的任務,並記錄其現有的審核負擔。在相同權限下比較新系統,然後檢視完成結果及其背後的決策。將發布主張與獨立評估一併閱讀,保留它們不同的範圍及不確定性。對 Anthropic Mythos 及 Fable 而言,請問任何表面上的提升,是否經得起檢查、整合及後續工作。尤其當輸出會影響未來 AI 開發時,須明確保留驗收責任。最有用的問題很具體:這次發布是否有助你的團隊完成它能理解、驗證及維護的工作?以這個問題引導下一次評估。

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page