OpenAI 推出 LifeVal，以衡量 AI 超越聊天回答的能力

OpenAI 於 11 月 2 日推出 LifeVal，將個人助理的評估由回答問題，轉向完成日常事務。這項基準測試以結構化方式評量 AI 表現，涵蓋尋找托兒服務、家庭財務及政府文件等責任。其核心問題很實際：助理是否能幫助人們完成工作？

這與評斷聊天機械人回覆的標準不同。一個有用的解釋，仍可能將每一通電話、文件搜尋及申請步驟留給用戶處理。能夠採取行動的助理，也必須辨識欠缺的資訊、尊重權限，並展示實際發生了甚麼。

Anthropic 對 Claude 的研究提供了有用參考：與人協作和直接執行任務，是兩種不同形式的協助。OpenAI 的公告將這項區分帶入家庭生活。個人助理開發者現時面對的壓力，是要說明其產品會完成哪些責任、準備哪些工作，以及哪些仍需人類判斷。

LifeVal 將測試由答案轉向日常工作

根據 OpenAI 的 日常任務評估，公司利用時間運用研究及 3,995 名受訪者的調查來開發這項基準測試。該公司表示，這項評估在過去一年一直指導模型改進。所選示例包括學校入學、家庭住屋搜尋及照護規劃。

這項公告將日常實用性明確列為評估目標，而非只將其保留為一般產品承諾。

即使暫不考慮分數，這也是一項重要區分。模型可以準確回答問題，卻未必對問題背後更廣泛的責任帶來多少實質幫助。尋找托兒服務的人需要的不只是可選方案的描述，而是符合自身情況的資訊，以及清楚了解哪些事項仍未解決。

設想一名家長搬家後比較不同服務提供者。精心撰寫的摘要或可清楚描述各項計劃，卻未必提及其時間表是否配合家長的工作時間。另一份回覆可能找出合適提供者，卻依賴過時的名額資訊。兩種輸出看似有幫助，直至家長嘗試採取行動才會顯露問題。

以任務為本的評估應讓這些落差浮現。它應區分找出選項、核實其適合程度，以及落實安排。這些階段需要不同證據。若將它們視為可以互換，便有誇大助理實際承擔多少責任之虞。

同樣的區分亦適用於文件工作。解釋表格、整理證明資料、準備草稿，以及遞交申請，是不同層次的成果。有用的助理應精確說明其停止處。否則，用戶必須檢視整個流程，才會發現是否仍有任何重要事項未完成。

這是最有力的理由，讓人認真看待這項基準測試，卻不把它當成產品保證。它創造空間，可按用戶所認知的責任來評估協助。然而，選取相關任務並不能證明測試已涵蓋評估環境以外遇到的每項障礙。

公開公告亦不應與面向所有人的功能發布混為一談。評估描述的是量度方法。產品是否可用，還需要有關支援工具、權限、帳戶及環境的獨立證據。讀者不應假定每個展示的工作流程，都適用於每一位 ChatGPT 用戶。

因此，眼前的改變在於 OpenAI 公開選擇衡量甚麼。更廣泛的影響，取決於這項量度是否變得足夠詳盡，以支持比較。開發者和用戶需要先知道何謂完成，才可判斷某個結果有多少實際分量。

家庭責任揭示另一種表現落差

家庭協助帶來的評估問題，是乾淨俐落的問答形式可以掩蓋的。請求通常只包含部分相關背景。其餘限制會透過文件、偏好、對話，以及其他人或機構的實際限制而浮現。

助理若能減輕用戶餘下的負擔，包括核實其工作成果的負擔，便能創造價值。

假設一項預算任務，可說明其中差異。為交易分類固然有用，但並不代表所得計劃已反映即將到來的責任。一段具說服力的解釋，可能掩蓋對資金何時到帳的錯誤假設。重要結果是，當事人能否為下一個決定獲得可靠依據。

這令產品團隊必須以操作層面的方式界定協助。回覆可以聽起來完整，卻將核實工作轉回用戶。如果有人必須重新開啟每份文件及重建每項計算，表面上的便利便更難成立。評估應計及這些核查工作。

時間運用研究有助解釋，為何這些責任值得關注。美國勞工統計局的 時間運用調查 衡量有薪工作、托兒及義工服務等活動。它提供日常生活的視角，超越通常與辦公室生產力相關的任務。

國際研究則加入另一種視角。跨國時間運用研究 協調各國調查，讓研究人員可比較人們如何運用時間。這類證據有助找出值得研究的責任，卻不能證明數碼助理可以成功執行它們。

這項界線很重要，因為所花時間與可收回的時間是不同概念。助理或可減少圍繞某項活動的行政工作，卻不能取代活動本身。比較預約選項可減少協調工作，卻不能代替照顧某人時所涉及的人際關係或親身在場。

壓力亦延伸至公司如何呈現產品。聲稱可處理日常生活，會引來關於例外情況、中斷及未解決決定的疑問。較窄的聲稱，例如只準備資訊，則較容易評估。兩種範圍本身都不一定有問題，但用戶需要準確了解所提供的服務。

當請求取決於分散的個人資訊時，知識工作者亦會遇到類似問題。一份相關文件或會載有改變答案的限制條件。關於 個人知識管理 的資源，可為整理這些材料提供背景。然而，整理資訊仍不同於獲授權就資訊採取行動。

對開發者而言，含意很具體：評估遺留下來的工作。計算未解決的假設、必要修正，以及需要用戶重新開始的交接。這些建議指標可揭示個人助理是減少責任，還是只將責任重新包裝成更易閱讀的回覆。

協助他人與代其行事需要不同證據

Anthropic 的 AI 任務研究 區分增強式協作，即 AI 與用戶合作，與自動化，即 AI 直接執行任務。其首份 Economic Index 從職業角度檢視 Claude 對話。因此，這構成與 OpenAI 家庭評估相關的背景，而非可直接競爭的分數。

協作與執行應分開評估，因為兩者向用戶作出的承諾不同。

協作型助理可以透過令艱難決定更容易理解而成功。它或可整理相互競爭的要求，或找出欠缺的文件。代表他人行事的助理則承擔額外責任：它必須遵從協定指示，並確定所要求的行動是否成功。

兩種方式都不應自動獲得優先地位。有些責任適合先準備、再由人作決定；另一些則只有在助理處理例行執行工作時才有用。適當界線取決於任務及個人偏好，而非籠統假定更高自主性總是代表更佳協助。

假設一項政府申請，便可說明原因。找出正確表格並整理證據，已可大幅減少工作量。遞交表格則引入另一個授權問題。助理不應只因用戶要求協助理解流程，便推斷自己獲准遞交申請。

相反，不必要的交接可削弱執行服務。如果用戶已清楚授權例行行動，反覆就同一決定要求回覆只會增加工作。一項設計良好的評估，應同時檢視越權及可避免的中斷。尊重控制權需要的精確程度，不只是每一步之前都停下來。

這項區分亦改變結果應附帶甚麼證據。建議需要清楚依據及可見假設。已執行的行動則需要可觀察結果，例如確認訊息或已變更的紀錄。聲稱助理已完成工作，弱於用戶可自行檢視的證據。

這為解讀個人助理示範提供了有用框架。可問系統收到甚麼資訊、擁有甚麼權限，以及示範建立了甚麼結果，然後再檢視未解決的工作。這些問題可防止一場具說服力的互動，被當成完整的表現說明。

競爭比較應保持嚴謹。Anthropic 的職業使用分析與 OpenAI 的日常任務評估回答不同問題。它們無法證明哪個助理在同一項家庭責任上表現更好。這需要可比較的任務、存取條件、評分規則，以及從錯誤中恢復的機會。

兩者共同的相關性，在於令分析單位更具體。檢視個別任務，可揭示「生產力」或「智能」等廣泛標籤所掩蓋的差異。對個人助理而言，決定性區分往往在於改善某人的理解，還是可靠地執行下一個已獲授權的步驟。

完成分數需要清楚界定何謂完成

OpenAI 的公告在所選任務示例旁展示百分比。這些數字值得關注，但讀者不應直接將其理解為個人成功機率。結果只在其評估條件下才有意義。在將其套用至不同家庭或工作流程之前，了解這些條件至關重要。

單靠基準測試百分比，無法告訴用戶助理能多可靠地完成其特定責任。

成功的定義是首要問題。評估可能獎勵準確資訊、令人滿意的計劃、已完成的數碼行動，或其組合。這些結果並不等同。為準備任務而取得高分，不能證明透過外部服務執行任務時具有同樣可靠性。

結果的分布同樣重要。整體指標可能掩蓋特定情況下的弱點。用戶關心的是自己面對的任務，包括當中的特殊限制。按類別呈現結果及記錄失敗個案，將有助讀者判斷廣泛表現能否轉化為在自身情況下可靠的協助。

另一個問題關乎環境。受控測試可以隔離能力，並讓結果可重複。實際服務則會面對不斷變動的介面、缺失的記錄和中斷。這些是一般評估上的考慮，而非此基準測試已證實的缺陷。它們指出了理解其發現可延伸至多遠所需的資訊。

復原能力值得獨立審視。助理可能可以完成直接明確的流程，卻會在網頁變動或所需文件無法取得時遇到困難。清楚地停止，有時才是正確結果。在尚未解決的中斷後仍報告成功，會比承認限制造成更嚴重的問題。

獨立的風險指引支持這種更廣泛的審慎態度。NIST 的生成式 AI 檔案談及的風險包括虛構，即自信地生成錯誤內容，以及人類與 AI 互動相關的問題。這是一般指引，並非對 OpenAI 評估的評定。

套用到家居協助時，這個角度引發了有關錯誤如何傳到用戶手上的問題。草稿中的錯誤細節可在採取行動前修正。同一細節若出現在已執行的交易中，後果便截然不同。評估應區分錯誤本身，以及可用來察覺錯誤的機會。

偏好研究與結果驗證之間亦有差異。詢問人們希望在哪些方面獲得協助，有助改善任務選擇；但這並不會獨立驗證模型在這些任務上的表現。兩種證據都很有用，但各自支持對評估作出不同的結論。

較恰當的解讀仍應保持審慎。該公告確立了 OpenAI 所聲稱的評估重點，並展示公司自行報告的例子；它不足以證明應把每項展示結果都視為已獨立驗證的真實世界完成率。更詳細的方法論及外部測試，會令這些發現更容易理解，而非削弱其相關性。

個人情境令授權成為表現測試的一部分

日常責任往往取決於一般要求未有說明的資訊。時間表限制、已有承諾或家庭偏好，都可以改變哪項行動才合理。忽略這些細節的助理，或許能高效執行，卻仍可能產生不合適的結果。

正確執行既需要相關情境，也需要清楚界定助理獲准採取哪些行動。

設想一個假設性的托兒服務搜尋：最近的服務提供者與照顧者的時間表衝突。距離計算可以正確，但建議仍然沒有幫助。這不只是準確度問題，而是關乎助理是否理解它本應支援的決定。

存取個人資料帶來另一項區分。閱讀文件可以協助確立正確限制，但獲得存取權不代表獲准分享其內容。日常協助的評估應檢視系統能否使用相關資訊，而不會把不相關的細節散播到下一步。

同一原則亦適用於已連接的服務，即助理可存取的外部應用程式。連接讓某項行動在技術上成為可能，卻不代表用戶已授權所有可用行動。產品設計需要把這些界線表達得足夠清楚，讓助理及審閱其工作的用戶都能理解。

因此，有用的表現評估應測試選擇性行為。助理應辨識請求所需的資訊，並知道另一項細節何時並不相關。它亦應保留不確定性。缺少偏好是澄清具後果選擇的理由，而不是自行杜撰的邀請。

這令「無摩擦助理」的概念變得更複雜。有些中斷是適當克制的證據；另一些則表示系統未能保留已提供的資訊。評估上的挑戰是分辨這些情況。單純把問題數量減至最少，會在敏感決策中獎勵錯誤行為。

可逆性帶來另一個面向。準備候選清單仍留有審閱空間；發送資訊或承諾某項安排，則會改變用戶的處境。助理應令這種轉變清晰可見。當用戶能理解將會發生甚麼，以及之後仍有哪些選項時，採取行動的能力便更有用。

對正在評估助理的買家而言，這些區分意味著更具啟發性的示範方式。可要求系統處理資訊不完整的任務，然後檢視它如何處理缺口；再引入已變更的限制，觀察它會否調整做法。這些是建議的評估方法，並非 OpenAI 基準測試所報告的結果。

對開發者而言，教訓是授權應納入表現衡量之中。未獲授權的行動，即使到達所要求的目的地，也不算成功的協助。同樣地，一個永遠不會超越準備階段的系統，應準確說明其範圍。用戶需要請求、獲授權限與結果之間存在可靠關係。

留意可重現性、可比較測試及減少工作量的證據

LifeVal 讓 OpenAI 更清楚地公開說明它希望個人協助達成甚麼。下一階段應令這項抱負更容易接受檢視。未來數月，最有用的訊號將涉及透明度、獨立比較，以及用戶實際卸下多少責任。

最有力的後續證據，將會把評估結果連結至其他人可檢視及重現的成果。

首先，留意是否會有更完整的測試設計說明。有用的披露應解釋任務選擇、成功準則、工具存取權及人類參與程度；亦應澄清完成過程的不同階段是否獲得不同評分。這些資訊會加強以精選例子以外的方式理解結果的依據。

失敗報告尤其具參考價值。描述助理在哪裡停止，可能比另一個成功示範揭示更多。讀者需要理解失敗是否涉及誤解、資訊缺失、行動不成功，或不恰當的自信。這些類別指向不同的補救方法，也意味著實際使用上的不同限制。

其次，留意在可比較條件下進行的獨立評估。有意義的比較應向參與系統提供同等資訊和權限，並以一致評分方式評估相同結果。沒有這些控制，排名可能衡量的是設定差異，而非協助能力差異。

競爭對手參與會加強這項訊號，但並非進行有效檢視的先決條件。獨立研究人員可以調查所報告的方法能否推廣至不熟悉的任務和情境。重複驗證會提升對衡量方式的信心；重大差異則會指出原有發現需要在哪些地方加上限定。

第三，留意用戶是否有證據顯示最終需要完成的工作較少。相關指標包括花在修正輸出、核實來源、從錯誤中復原，以及完成未解決步驟的時間。這些都是建議的結果衡量方式；不應把公告解讀為已證實所有這些方面均有改善。

最後這項訊號很重要，因為一次成功互動仍可能留下代價高昂的交接工作。助理可能把一項責任整理得井井有條，卻仍要用戶核實每個具後果的細節。這仍然可以有用，但其好處應準確描述。準備工作與可靠完成，帶來的是不同形式的減負。

同一標準亦應適用於產品示範和個人經驗。一個令人信服的例子值得關注；在相關情況下重複成功，則更值得信任。適當停止、準確報告及可管理修正的清楚證據，會比廣泛承諾自主性更能強化論據。

閱讀下一次 LifeVal 更新時，請先想像一項你自己需要承擔的責任。找出你需要的結果、所需資訊，以及你會保留的決定權。然後尋找證據，看看評估是否涵蓋這些界線。詢問助理報告的成功是否包括你仍需進行的核查和修正。比較準備與執行，並檢視預期流程中斷時會發生甚麼。請清楚保留「具前景的衡量方法」與「可靠服務」之間的區分。有用的問題是：證據是否描述了你能辨識、檢視並放心交付這項責任的協助？在你認為工作完成前，助理還必須完成甚麼？