Epoch AI 自動化報告：Claude Fable 5.1 與 GPT-6 Astra 得分 65%，未達其自動化門檻

Epoch AI 自動化報告顯示，Claude Fable 5.1 與 GPT-6 Astra 均得分 65%，低於該機構將工作交由 AI 處理的標準。這些模型處理了包括平面設計及研究規劃在內的內部工作。其得分衡量的是是否符合評估準則，而非可取代員工工時的百分比。

這個結果挑戰了一個常見假設：基準測試表現較佳，應可直接轉化為人類工作量減少。一項產出即使符合不少要求，仍可能需要專家判斷其核心結論是否值得任何人關注。產出看似可信的內容，與為其品質承擔責任，依然是兩種不同工作。

Epoch 在 10 月 8 日發布完整報告，並於 10 月 26 日刊出電子報摘要。Anthropic 的 Claude 與 OpenAI 的 GPT 系統並列領先。然而，核心競爭在於有用的協助與可靠的自主交付之間的差別，而非哪家公司再贏得一個排行榜。

Epoch AI 自動化報告以員工標準衡量工作

Epoch 將評估目標由解決孤立問題，改為產出其員工會接受的工作成果。 這令驗收標準成為報告核心。

該機構的工作自動化摘要指出，領先模型符合其評分量表項目的 65%。評分量表是一套用於判斷產出的結構化準則。Epoch 將 100% 視為達到其自動化該項工作的標準。

這個分別避免了容易出現的誤讀。該分數並不代表員工的工作日已大幅縮短，也沒有衡量餘下工作中有多少只是簡單修整，抑或涉及艱難判斷。

試想一份假設性的研究簡報：它採用了指定格式、納入相關參考資料，並展示易讀圖表。這些特點固然重要。然而，即使符合多少周邊要求，一個具誤導性的結論仍可令整份簡報不適合發放。

因此，這項評估迫使人們重新思考「完成」的含義。系統可以完成檔案生成，卻未必在組織意義上完成任務。仍然需要有人判斷這些檔案是否回答了問題，並滿足目標受眾的需要。

這是驗收問題，而非格式上的技術細節。組織購買的是成果，包括可辯護的分析或可發布的圖像。它們通常不會購買一組各自完成核對表項目、卻無法保證整體有效的成果。

日期同樣值得留意。10 月 26 日的電子報令外界再次關注 10 月 8 日報告的發現。若把電子報視為全新實驗，便會混淆研究發表與後續解說之間的差別。

眼前的轉變，是討論自動化時採用更明確的標準。Epoch 不再問 AI 是否產出令人印象深刻的成品，而是問其團隊是否會接受該成品。這個框架令討論維繫於實際決策。

通過結果可支持改變某項工作的分配方式。部分達標的結果則可提供有關協助、弱點及進一步測試的證據。這些都是有用發現，但支持的是不同的營運選擇。

對評估職場 AI 的讀者而言，這種區分比頭條排名更重要。問題在於系統能否交付可直接交給下一位接收者的成果。一場有說服力的示範，只是評估的開始。

「員工」一詞亦有其界線。該基準測試是按員工的工作標準比較產出，並不重現擔任職位所涉及的每項責任、人際關係或突發要求。

因此，某項工作表現可接受，會支持將該項工作自動化；但這本身並不能證明其周邊職位已經消失。分析單位仍是正在評估的工作成果。

買方面對草稿與可交付成果之間的差距

這個結果對期待系統自主交付、但系統仍需要專家審核的買方構成最大壓力。 他們的實際問題，是生成完成後由誰承擔責任。

助手可以創造價值，卻未必已具備獨立運作的條件。一份草稿可減少開始分析所需的工夫。自主工作流程則有不同責任：它亦必須辨識何時應暫緩交出自己的結果。

這個分別改變了買方應如何理解成功示範。若在任何人使用前已有專家悄悄修正產出，該示範便包含人力勞動。該工作流程仍可能值得採用，但其人手假設必須包括這項貢獻。

審核亦不同於校對。校對檢查表達是否清晰、語法及格式是否正確。實質審核則會問工作是否準確、相關，以及是否有現有證據支持。

第二種工作往往需要熟悉相關主題。無法辨識錯誤假設的審閱者，便不能可靠地批准以該假設為基礎的結論。文筆流暢不能消除這種依賴。

這對希望委派專業工作的團隊造成實際張力。他們需要有足夠專業知識監督系統，即使委派的目的正是減少對該專業知識的需求。這種安排能否節省工夫，取決於具體任務。

假設性的市場分析可說明這個問題。助手可以蒐集公司描述並組織成連貫敘事；審閱者仍需核查所選公司是否適合放在同一比較框架中，以及證據是否支持建議。

若這些判斷主導整項工作，更快產出敘事並不能解決生產力問題。若主導工作的是蒐集及整理材料，協助則仍可具價值。基準測試的平均分數無法替另一個組織決定這個平衡。

AI 工作自動化的較長歷史，解釋了 Epoch 為何追求這項區分。今年 2 月，研究員 Anson Ho 描述了把自己的工作委派出去的嘗試。他的敘述強調，看似可運作的產出與他真正想使用的產出之間存在差別。

那次較早的實驗提供的是歷史背景，而非計算改進幅度的受控基準。不同任務、模型及評估條件令直接比較變得複雜。其相關性在於反覆出現的驗收問題。

對開發者而言，啟示涉及產品設計。工作流程需要清楚交接點，並為未解決的不確定性指定清楚責任人。否則，系統只是把未完成的判斷移到收件匣，讓其他人自行發現。

對管理人員而言，啟示涉及採購用語。「可協助研究」與「可獨立交付獲批准的研究」描述的是不同承諾。團隊圍繞較強的說法重組前，評估應令這個差別清晰可見。

同一邏輯適用於內部資訊存取。可搜尋知識庫可協助提供相關背景。取得背景資訊與對該背景作出可靠判斷，仍需分開評估。

這些都不會令部分自動化變得無關緊要，而是指出證明其合理性所需的證據。團隊可以重視有用協助，同時只在已證明可驗收的任務上採用自主交付。

Claude Fable 5.1 對 GPT-6 Astra 突顯平均分數的限制

同樣的頭條分數，並不代表領先系統可以互相替代。 買方需要檢視平均值底下的工作表現。

已發布的工作任務基準測試涵蓋五個類別中的 11 項任務。Claude Fable 5.1 與 GPT-6 Astra 的平均分數均為 65%。Grok 4.6 緊隨其後，得分為 59%；Qwen 3.8 Max、Kimi K3 及 Gemini 3.8 Flash 得分較低。

這些是受評系統在 Epoch 條件下的結果，並非每項企業任務的通用排名。工作內容與 Epoch 不同的買方，應把這個排名視為調查的起點。

平均值把不同強項及弱項壓縮為方便比較的數字。這種壓縮有助讀者快速瀏覽排行榜，卻亦掩蓋團隊可容忍的失敗與足以破壞整個可交付成果的失敗之間的差別。

想像一個團隊為內部視覺溝通挑選助手。它真正關心的是系統能否為其受眾製作清晰、準確的圖像。涵蓋其他類型工作的總體分數，不能取代這種較狹窄的評估。

研究團隊則面對不同的驗收決策。他們需要知道建議的方法能否回答預定問題。即使展示或實作方面表現出色，也不會自動補足實驗推理上的弱點。

因此，Claude Fable 5.1 對 GPT-6 Astra 的比較，只支持一個審慎結論：兩個系統在這項評估中整體領先；但任何一方的總體分數，都不足以讓買方跳過測試其真正想委派的工作。

另有一個比較界線：Epoch 在相應的代理系統內評估模型。代理框架是為模型提供工具及管理其執行的軟件環境。這些環境的差異可影響最終系統能完成甚麼。

對買方而言，評估完整系統具實際意義。員工使用的是具特定介面、權限及整合功能的產品，而非與所需工具完全分離的抽象模型。

對研究人員而言，同樣的設定令因果歸因更複雜。產出差異可能反映模型行為、工具存取，或兩者之間的互動。單靠在分數旁列出模型名稱，排行榜無法分離這些因素。

這為同一結果留下不同詮釋空間。產品買方可合理地問，哪一套可用系統效果較好；模型研究人員則可合理地問，究竟是哪項底層能力造成差異。

這些問題需要不同的後續實驗。固定工具條件有助研究模型差異；測試實際部署環境則有助研究營運實用性。兩種方法本身都不能回答所有問題。

當讀者保留這些界線時，Epoch AI 自動化報告最具參考價值。分數指出值得檢視的系統及值得研究的任務；驗收決定仍屬於將會使用該產出的組織。

因此，競爭壓力不只是一場爭取更高平均分的競賽。供應商還需要證明其系統能在特定任務上穩定表現。買方則需要了解哪些失敗仍會出現，以及這些失敗需要甚麼監督。

更高的分數固然令人鼓舞，但一份可重複交付、達到可接受標準的成果，會更具直接的行動價值。

最棘手的失敗，是接受了錯誤結論

最關鍵的落差，在於判斷一項輸出是否值得信賴。 產出更多材料，未必能填補這個落差。

Epoch 的開放式工作評估描述了一些具體例子。Fable 即使已獲提供既有風格參考，仍製作出過於密集的圖像。Astra 則提出了執行細節仍不夠明確的研究，而其先導分析對受不足回應額度影響的結果，賦予了具誤導性的顯著性。

圖像例子突顯了一個溝通問題。一項設計可以包含相關資訊，卻未能令其核心訊息易於理解。配合參考材料的可見特徵，並不保證理解那些特徵為何會被採用。

對人類審閱者而言，隨之而來的問題關乎目的。新增標籤是否有助讀者跟隨說明？另一個面板是否釐清了比較，抑或只是令成品看起來更繁複？

這些判斷難以透過簡單計數作出。更多標籤、引文或段落，在某些情況下可改善交付成果，卻也可能在另一些情況下削弱它。評估者必須將每個元素連繫至工作指派的實際目標。

研究例子提出了一項相關但對解讀影響更大的問題。當實驗設定無法容許充分回應時，所得的失敗結果並不能直接說明被研究的能力；它們同時也反映了量度過程。

審慎的分析人員在呈現發現前，需要區分這兩種解釋。否則，實驗中的技術限制可能會變成對研究對象缺乏支持的主張。最終敘事看似連貫，卻回答了錯誤的問題。

這就是為何表面成功的執行軌跡值得細察。系統可以執行實驗、收集輸出並總結結果，同時卻錯誤處理那些結果的意義。完成整個流程，並不代表其結論有效。

這一分別亦說明，為何自我批評也需要評估。要求系統審閱自己的工作，是另一項額外操作。這項操作是否能捕捉關鍵錯誤，仍屬實證問題。

因此，審閱者應尋找識別錯誤的證據，而非因為存在批評階段便假設系統已能做到。再精密的工作流程，仍可能保留原有的誤解。增加活動量，並不會自動成為糾正性的活動。

這些例子並不證明每一個模型都會在每一項開放式工作中失敗。它們指出了這項評估中觀察到的失敗模式。其價值在於展示驗收測試需要檢視甚麼。

也可以作出較具建設性的解讀。若失敗涉及反覆出現的模糊之處，團隊可測試更清晰的指示能否解決問題。若在提供合適脈絡後問題依然存在，餘下的問題便需要另一種解釋。

這項分別對產品開發者十分重要。更容易取得範例，或有助系統擷取相關慣例；但它仍須判定哪些慣例適用，以及它們如何服務當前工作。

實際風險在於審閱者能否發現細微錯誤。一張明顯失效的圖表會促使人修正；一段建基於無效推論、但讀起來流暢的說明，正可能因其表面看似完成而通過流程。

因此，對知識工作者而言，有用的問題應當具體：這項工作中，哪一部分需要判定證據是否支持結論？正是在這裏，自主性尤其需要令人信服的驗證。

評估的限制不容作出普遍結論

Epoch 的發現支持人們對自主交付保持審慎，但對所有工作場所 AI 作出更廣泛主張仍未有定論。 該機構自身的方法論限制了這種外推。

此基準測試採用小型任務組合，每個模型在每項任務只運行一次。人類評分包含主觀判斷，而工作內容反映 Epoch 的需要。這些條件令精確排名的穩定性，低於整體百分比所暗示的程度。

單次嘗試只提供一項觀察，而非完整描述可靠性。它不能揭示同一系統在重複嘗試中成功的頻率，亦無法呈現失敗可能出現的所有形式。

主觀準則引入另一項不確定性。人們可以同意溝通很重要，卻對某張特定圖像是否有效溝通持不同意見。這並不令該準則失去價值，但使評分者之間的一致性變得相關。

合適的回應，是追問結論在合理改變評估條件後仍有多穩健。另一名合資格審閱者會否拒絕同一份交付成果？重複嘗試會否顯示同樣的弱點？

任務選擇同樣重要。來自研究機構的任務組合，與該機構直接相關；它與另一個工作場所的關係，取決於職責和驗收標準有多接近。

客戶支援團隊、法務部門和設計工作室，不應假定結果具有相同含意。它們的工作在結構、回饋和後果方面均有差異。每個單位都需要與員工實際作出決策相關的證據。

基準測試的現實性一文中的歷史論點，提供了有用脈絡。Anson Ho 和 Jean-Stanislas Denain 指出，基準測試往往服務於預測經濟影響以外的目標。他們的觀點關乎評估設計，並非聲稱基準測試的進展沒有價值。

一項基準測試可以用於比較系統，而不預測部署它們的回報。當讀者默默把它所量度的問題，替換成它從未測試過的問題時，混淆便會出現。

這份審慎同樣適用於兩方面。令人失望的自主性結果，並不證明受監督的協助沒有價值。量度獨立完成能力，與量度人類在協助下的生產力，需要不同的實驗設計。

反向推論同樣薄弱。一份有幫助的草稿，並不證明系統能安全地獨力完成整個工作流程。展示協助能力，無法解答自主驗收這個獨立問題。

因此，Epoch AI 自動化報告應用於支持較狹窄、可測試的主張。它們提供的是這些系統在這些條件下嘗試這些任務的證據。下一步是檢視哪些發現可以轉移，哪些則依賴特定情境。

尚未解答的經濟問題，關乎完整工作流程。有多少工作量投入在準備、監督、修正和審批？若不量度這些活動，品質分數便不能成為可靠的人力節省估算。

這是對標題數字最有力的懷疑解讀。65% 這個數字具有參考價值，但其表面的精確度不應超越研究範圍。

留意獲接受的任務、可重複性及審閱成本

下一個具意義的發展，將是有證據顯示特定工作指派能持續跨越驗收門檻。 整體平均分上升，回答的是一個較不實際的問題。

第一個訊號，是有記錄的任務進入日常使用。Epoch 表示，在 Fable 足夠頻繁地產出可接受結果後，它已移除一項基本圖表生成工作，並將該步驟部分自動化。這是具體的營運改變，範圍比將一份工作自動化更窄。

未來例子應清楚指出工作指派及驗收決定。若更多任務進入日常使用，擴大委派的理由便會更充分；若輸出有所改善卻仍未達可接受水平，本文指出的落差便依然存在。

第二個訊號是可重複性。增加運行次數及採用獨立評分，有助分辨持久表現與一次有利的嘗試或評分者判斷。持續獲接受的結果，將加強人們對部署受評工作流程的信心。

即使最佳輸出看起來十分出色，結果不一致仍意味著需要持續監督。買方需要系統的日常表現符合其要求；一次被挑選出來的成功，不能證明這種表現。

第三個訊號是量度人類審閱所需的工作量。受監督的工作流程，應以達致可接受結果所需的努力來評估。單看生成過程，忽略了決定某項成果能否交付的工作。

若審閱和修正工作減少，而品質得以維持，經濟論據便更具說服力。若檢查工作耗盡表面上的節省，即使評分標準分數上升，亦較難支持改變人手安排或職責。

這些是未來數月值得觀察的重點，而非已公布的里程碑。Epoch 表示計劃擴充任務組合，並隨新模型推出更新結果；這些更新的時間和內容仍未確定。

當更新出現時，Claude Fable 5.1 與 GPT-6 Astra 的排名將吸引關注。更有用的解讀，是把每一項改變連繫至一項工作指派、一種失敗模式，以及人類的驗收決定。

Epoch AI 自動化報告帶來的即時啟示，是檢視工作究竟在何處真正達到可用狀態。閱讀任務描述和分數，然後識別你自身工作流程仍需要作出的判斷。問問系統能否識別無效結果、另一次嘗試能否達到同樣品質，以及審閱所需的工作量是否少於直接完成該項工作。將協助與獨立交付視為兩項分開的採購決定。模型可以在獲授最終成果責任前，先在日常工作中贏得一席位。當下一項基準測試來臨時，請不要只看平均分：哪一份交付成果現在可以毋須專家修補，便送達其收件人？