Google 的 Gemini Decisions API 讓代理程式的選擇超越文字生成
Google 於 11 月 11 日推出 Gemini Decisions API,讓開發人員可評估多達 1,000 個互不相依的問題,而毋須生成書面回應。這個新的端點是專用的應用程式介面,針對的是軟件需要即時採取行動的選擇。其核心主張挑戰了一種常見的代理程式設計:要求對話模型寫出內容,再由程式碼加以解讀。
這讓使用通用文字生成進行路由、分類及政策檢查的開發人員面臨壓力。這些工作往往需要有界定的答案,即從預先定義的可能選項中作出選擇。當應用程式最終只需要一個佇列識別碼時,一段解釋應選哪個支援佇列的文字幫助不大。
Google 自家的生成式 Gemini 模型提供了直接比較。它們可以產生結構化回應,但新端點將決策評分與書面輸出分開。這個轉變為代理程式建構者帶來一個實際問題:哪些決策受惠於開放式推理,哪些又應變成狹義定義的評分工作?
Gemini Decisions API 將有界定的選擇變成獨立產品
Google 已把 AI 應用程式中常見的輔助工作,變成專門服務。
這次推出引入 Gemini Decision 1,在請求中識別為 gemini-decision-1。Google 的決策模型文件列出文字、圖片、音訊、影片及 PDF 為支援輸入。文件訂明共用輸入上限為 262,144 個 token,即模型用來處理內容的單位。
開發人員可提交二元檢查、多項選擇題,或按有序評分準則評級;後者是預先定義的一組評分標準。多項選擇題支援 2 至 255 個選項。服務會連同選擇結果傳回機率,而非撰寫對話式答案。
這種封裝方式很重要,因為許多代理程式行動都是從有限選單開始。系統可能要選擇工具、把請求分配至某個部門,或判斷資訊是否值得覆核。這些決策與草擬回應不同,因為應用程式早已知道允許的結果。
設想一個假設的客戶服務應用程式正在檢視訊息及附上的照片。它需要識別問題、選擇目的地,並標示不確定性。在這個階段,應用程式未必需要面向客戶的解釋。
將這些功能分開,讓開發人員在決策與溝通之間劃出更清晰界線。決策服務可以建議路由,而生成式模型則在合適時撰寫回覆。一般應用程式程式碼仍負責權限、業務規則及執行。
這條界線亦令產品要求更明確。團隊在要求模型從中選擇之前,必須先定義可能採取的行動。這項工作會揭示缺失的類別、重疊的規則,以及需要升級處理的情況。
因此,這項公告改變的不只是回應格式。它將有界定的判斷定位為可由開發人員獨立評估的元件。團隊可以檢視路由表現,而毋須把它與寫作質素或對話風格混為一談。
對買家而言,這種分離帶來一個更聚焦的採購問題:在真實條件下,這項服務是否令特定工作流程更快或更可靠?與這個較狹義問題的答案相比,對模型智能的廣泛主張提供的證據較少。
這次推出亦讓開發人員有理由重新檢視累積下來的提示詞。在原型階段寫下的路由提示詞,可能悄然變成永久基礎設施。一旦如此,其假設就值得像任何其他控制生產工作流程的元件一樣受到審視。
直接結果是架構選擇。開發人員如今多了一種實作大型助理周邊小型判斷的方法。這個選項是否值得採用,取決於工作負載,而非單純免除文字生成的吸引力。
代理程式建構者面臨將決策與回覆分開的壓力
最直接受影響的團隊,是那些為已有明確答案集合的決策使用生成式呼叫的團隊。
當應用程式需要詮釋、綜合或解釋時,對話模型仍然有用。壓力在於工作流程即使下一步只會使用一個標籤,仍自動要求這些能力。這種設計可能掩蓋系統實際需要完成的事。
在假設的支援工作流程中,識別緊急投訴與撰寫富同理心的回應是兩項不同工作。它們可能使用相同證據,但成功的定義不同。前者關乎營運處理;後者關乎溝通。
將兩者結合會造成評估問題。流暢的回應可能令審核人員忽略錯誤路由。反之,正確分類亦可能藏在生硬的答案中,令整個互動看來不成功。
將工作分開,讓團隊可以分配更清晰的責任。路由負責人可檢視目的地準確度及升級處理行為。對話設計師則可評估最終訊息是否回答了客戶的問題。
Google 將內部採用描述為這種分離有實際用途的證據。其多模態決策公告提及涉及模型路由、設計互動、表情符號選擇及工具安全的應用。這些屬公司自行報告的部署,而非獨立審核的客戶成果。
共同特點是介乎輸入與行動之間的決策。系統必須在提供較完整的體驗之前,選擇下一步會發生甚麼。即使用戶從未看見其輸出,這亦令新服務與軟件協調有關。
這亦令應用程式團隊面臨為複雜性辯護的壓力。通用代理程式可以透過彈性提示詞處理整個工作流程。專門決策元件則引入另一項相依項、另一個評估目標,以及另一個潛在故障點。
新增元件只有在令整個系統改善時才值得採用。若額外請求、重試或交接抵銷了好處,更快的分類價值有限。只有下游程式碼正確使用時,較清晰的輸出才有幫助。
因此,企業買家應檢視由用戶輸入至完成工作的完整路徑。模型的回應時間只代表其中一部分體驗。身分驗證、媒體傳輸、資料擷取及人工升級處理,都可同樣強烈地影響結果。
知識工作流程說明了這個區別。選擇哪些材料值得關注,與找出作出該選擇所需證據並不相同。一個可搜尋的知識庫處理資訊層;決策元件處理其後的判斷。
這種區分可避免過度解讀這次推出。評分端點無法彌補缺失文件或過時政策。決策質素仍取決於提供給它的證據與選項。
因此,壓力既是組織層面,也是技術層面。團隊需要有人負責類別定義、評估範例及升級規則。較簡單的模型回應不會消除這些責任。
為選項評分改變模型所執行的工作
技術上的分別關乎模型如何產生答案,而不只是傳回資料的形狀。
Google 表示,Gemini Decision 1 在一次前向傳遞中為候選結果評分,即透過模型進行一次計算。它將此過程與按順序生成答案 token 作比較。這個設計針對的是從已知結果中作出選擇才是有用結果的工作負載。
Google 報告,在其所述基準測試條件下,端對端延遲為 150 至 250 毫秒。其延遲討論涵蓋最多 16K token 的上下文,並報告在 1 至 100 個問題之間結果幾乎持平。這些條件應與該說法一併保留。
這些數據並不能證明在所有支援的輸入長度或問題數量下均有相同性能。已記錄的容量上限說明服務接受甚麼;基準測試說明它在特定測試設定下的行為。
同一區分亦適用於結合不同內容類型的多模態輸入。支援影片並不表示所有影片的速度一致。片長、視覺細節、傳輸時間及應用程式處理方式,仍與實際部署有關。
經濟論據來自減少重複工作。當多項檢查涉及相同材料時,開發人員有誘因同時評估它們。不過,有意義的比較必須涵蓋周邊系統,而非孤立一個方便比較的請求。
假設的文件審閱說明其吸引力。應用程式可能檢查是否出現所需資料、分配類別,以及評估完整性。這些問題共用證據,但各自產生不同的營運訊號。
重要界線在於獨立性。若後續判斷需要較早的答案,工作流程便存在相依關係。將問題打包在一起,並不會自動令它們變成順序推理程序。
對開發人員而言,這鼓勵仔細分解工作。一個狹義問題比結合詮釋、政策判斷及行動選擇的請求,有更清晰的成功條件。這亦令故障更易調查。
Google 的產品陣容中已有另一種選擇。其結構化輸出文件說明受 JSON Schema 約束的回應;JSON Schema 是容許資料結構的規格。開發人員可以使用這種方法,從生成式模型取得可預測的欄位。
這個替代方案很重要,因為僅靠可靠格式並不需要獨立決策模型。已接收有效類別識別碼的應用程式,已解決部分整合問題。餘下的比較涉及延遲、準確度、不確定性及營運適配性。
當工作流程需要在作出選擇之餘生成新文字時,結構化生成亦保留彈性。有界定的評分服務則有較狹義的用途。兩種方法都不會免除定義正確答案含義的需要。
因此,這次推出不應變成對話模型的公投。不同階段可能需要不同輸出。有用的比較會問,專用評分器是否足以改善某個特定階段,以證明採用它的合理性。
開發人員亦應避免將輸出簡短視為判斷可靠的證據。一個簡短識別碼可以像一段文字般,編碼錯誤詮釋。底層決策仍需以具代表性的範例進行評估。
這種機制改變了分配給模型的工作。它不會解決應用程式的政策、決定可接受風險,或提供缺失證據。這些界線定義了新方法何時開始有用,以及其優勢在哪裏止步。
信心分數無法解決政策含糊之處
只有當應用程式知道如何回應不確定性時,機率才會在實務上發揮作用。
Google 的機率與信心指引區分了回傳答案與對該答案的信心程度。指引亦建議,應利用應用程式自身流量中附有標籤的例子來選定門檻。這使評估責任明確落在部署團隊身上。
校準描述的是,在可比較個案之中,預測機率與實際觀察結果的吻合程度。它關乎多個例子之間的模式,而非對個別答案附帶保證。即使有信心,仍可能出錯。
對支援請求分流系統而言,這項分別會影響升級處理。團隊或可容許部分一般查詢被錯誤分流,但會認為漏掉安全投訴後果更嚴重。單一共用的信心門檻,無法自動表達這些不同優先次序。
政策含糊不清會帶來另一個問題。若類別之間重疊,模型即使選出容許的答案,仍可能違反機構預期的流程。問題源於類別系統本身,而非回應格式。
設想一宗同時涉及帳單爭議和產品損壞的投訴。在某公司的程序下,將它交由單一目的地處理可能合適;另一家公司則可能要求各部門協調處理。
兩種安排都無法單憑訊息內容推導出來。應用程式必須提供相關政策,並界定該項選擇代表甚麼。否則,評估可能會獎勵那些僅僅符合審核者未明言假設的答案。
封閉式選項亦會引入覆蓋範圍問題。現有選項可能遺漏正確行動。在這種情況下,為列出的選項排序,無法創造缺失的類別。
因此,升級處理路徑的作用有別於一般分類。它讓系統能夠在個案超出預定範圍時停止自動處理。團隊應直接評估這種行為。
缺乏書面理據亦會改變調查方式。選擇結果和信心值可提供有用訊號,但無法解釋每一項底層判斷。機構仍需要保留紀錄,將輸入資料、政策、模型版本和最終行動連繫起來。
這些紀錄在政策改變後尤其有價值。即使模型表現一致,原本可接受的分流路徑也可能變得錯誤。監察必須區分模型錯誤與規管任務的規則變更。
安全性構成另一道界線。評估可疑內容的分類器,仍會將該內容作為輸入處理。產品團隊應測試對抗性指令、誤導性證據或異常格式,會否影響他們重視的決策。
Google 所報告的安全應用案例,並不代表每個應用程式都獲得普遍保護。安全評估需要明確的威脅模型,即所考慮的攻擊和失效情況。不同工具和權限會帶來不同後果。
同樣的審慎態度亦適用於速度方面的說法。一個會升級處理更多個案的應用程式,可能看似可靠,卻會增加人手工作量;另一個應用程式則可能自動完成更多工作,同時容許出現更多有害錯誤。
這些結果都應納入同一套評估。回應時間、完成率、升級處理負擔和錯誤嚴重程度,共同決定部署是否改善工作流程。只優化單一指標,可能掩蓋其他方面的惡化。
毋須點名批評者,便可圍繞這些限制製造爭議。這些限制源自「選擇答案」與「授權行動」之間的差異。公告提供了一個新的決策元件;至於其輸出在何種條件下會帶來實質後果,仍由每個機構自行界定。
早期示例展示覆蓋範圍,但更廣泛的驗證仍待進行
可運作的示範證明能力可用,而生產環境的可靠性則需要更廣泛的證據。
開發者 Simon Willison 在公告當日發表了一項親身進行的影片分類測試。他提交了一段機械人影片,並詢問其內容和所在地點。他在文章中報告的是機率性回應,而非一律絕對的答案。
這個例子為發布提供了具體的外部參考。它顯示一名獨立開發者正在使用影片介面,但並不能證明整體影片準確度、廣泛的校準品質,或在生產流量下持續穩定的表現。
它的價值在於讓產品邊界變得清晰可見。開發者提供問題,服務評估媒體內容,而結果支援一項有限範圍的判斷。無須把這次互動轉化成對話式回應。
對產品團隊而言,下一步是判斷自身工作流程是否具備同樣結構。固定的決策選單可構成合理候選;需要探索、協商或詳盡解釋的工作,則屬於另一種問題。
假設性的媒體審核工具可說明兩面。它可利用有限範圍的檢查,為待檢視片段排定優先次序;審核人員其後可透過另一項功能要求解釋或作更廣泛的分析。
這種安排可保留分流與最終判斷之間的分別。分流決定哪些事項值得關注;最終審核則決定證據是否足以支持具實質後果的結論。
文件工作流程亦有類似問題。分類可協助整理資料,但不能證明底層內容是否準確。將文件分流至正確部門,並不驗證當中的主張。
這對知識工作者尤其重要,因為自動處理可令不確定的判斷看似已成定論。簡潔的介面可能只顯示所選類別;若信心程度和升級處理從體驗中消失,用戶便會失去評估結果所需的背景。
因此,除了模型表現外,周邊產品設計亦值得關注。應用程式應在決策需要審核時清楚說明,亦應讓用戶可以修正,而毋須重建整個工作流程。
與傳統分類器比較時,同樣需要嚴謹處理。分類器是經訓練或配置、用以將輸入分配至類別的系統。專門而穩定的任務可能適合這種方式;需求不斷改變時,具彈性的自然語言準則可能更合適。
這次發布並未為所有情況定奪這項選擇。團隊必須比較定義、維護及驗證每個選項所需的工作。方便的介面可減少整合工作,卻不能消除維持決策品質所需的長期投入。
最有力的證據,會把模型行為與完成結果連繫起來。正確團隊有否收到請求?審核人員有否找出重要個案?用戶有否以較少延誤獲得有用解決方案?
這些問題可避免示範獲賦予超出其應有的分量,亦可在早期實驗與可辯護的生產部署決定之間建立實用橋樑。
2027 年初前值得留意的事項
最具參考價值的下一步發展,將會把已量度的決策品質、營運準備程度和持續使用情況連繫起來。
首先,留意採用具代表性工作負載的獨立評估。這些評估應把新端點與團隊實際可能取代的系統作比較。一項有用的研究會保留任務定義,並報告成功自動化及具實質後果的錯誤。
涵蓋困難輸入的證據,將加強更廣泛採用的理由。若結果僅限於乾淨的示例,核心部署問題仍會懸而未決。買家需要了解效能會在哪裏下降,以及不確定性訊號如何清楚反映這種下降。
比較亦應涵蓋完整的應用程式路徑。較快的模型回應,只有在轉化為更快完成的工作時才有意義;若編排或升級處理吞噬了節省下來的時間,架構優勢便會變得較有限。
第二,留意營運可用性及整合成熟度。Google 的發布公告稱,對 Google Cloud 中 Gemini 的支援即將推出。在相關服務文件確認可用性之前,這項說法應視為推出計劃。
企業採用通常不只取決於端點是否能回應。團隊需要合適的存取控制、監察、配額和部署程序。這些要求若有進展,將令此次發布與更多生產環境相關。
整合成熟度亦會影響維護。一個公開基本請求的框架,與一個能可靠處理錯誤、重試和模型行為變化的應用程式並不相同。買家應問清楚哪些部分現時可用,哪些仍屬其自身責任。
第三,留意披露持續工作流程結果的部署。內部使用案例和個別示範可作為起點;較長期的報告,將就維護工作、人手審核及輸入變化時的行為提供更有力證據。
最具說服力的報告,會同時說明失敗和改善。分流系統的價值,部分取決於其偏好的答案出錯時會發生甚麼。清楚交代修正和升級處理的情況,將加強對整體設計的信心。
這些訊號將釐清專用評分是否會成為代理式軟件中持久的一層,也會揭示通用生成在哪些地方仍是較實際的選擇。兩種結果可在同一應用程式中共存。
對正在評估 Gemini Decisions API 的開發者而言,應先從容許結果已有清晰定義的工作流程開始。使用相同證據和成功準則,將它與現有實作作比較。納入含糊個案、資訊缺失情況,以及應觸發人手審核的例子。
將決策準確度與最終書面回應的品質分開處理。記錄維護類別、調查錯誤和更新政策所需的工作,然後檢視完整工作流程是否變得更快或更易營運。你的應用程式中,哪一項經常重複的判斷具備清晰答案集合?又需要甚麼證據,才足以證明讓軟件根據其結果採取行動是合理的?



