top of page

Databricks Vital Skills 為 Genie Code 加入醫療程序

3 小時前
讀畢需時 12 分鐘

Databricks 於 10 月 27 日推出適用於 Genie Code 的 Vital Skills,瞄準可運作程式碼與可辯護的醫療分析之間的落差。Databricks Vital Skills 為其編程代理封裝領域程序;該軟件可規劃及執行編程工作。這項公告將焦點轉向單靠生成程式碼無法解決的決策。

核心矛盾很直接:代理可以產出可執行的分析,卻同時作出用戶從未批准的方法學選擇。由於系統以不同方式理解含糊描述,病人群組可能會改變。一本已完成的 notebook,亦可能掩蓋一項尚未完成的決策。

Anthropic 已透過 Agent Skills 推進類似做法,亦即由指引及支援資源組成、可重複使用的套件。Databricks 將這種做法帶入醫療及生命科學工作流程。對企業買家而言,問題在於封裝程序能否改善可供審閱的工作,而不只是產出更多結果。

Databricks Vital Skills 封裝程序,而非推出新模型

這項公告的重點,是改變代理執行專門工作的方式,而非推出新的底層模型。

Databricks 將 Vital Skills 描述為供 Genie Code 使用、可重複套用的醫療及生命科學指引。其醫療代理技能公告表示,在受支援的生物醫學工作上表現更佳。這些是公司自行評估,而非對實際部署成效的獨立確認。

這項分別很重要,因為模型升級與程序更新解決的是不同問題。能力更強的模型或可更準確理解請求。程序則可規定哪些決策需要批准、哪些工具應負責執行,以及哪些證據應納入輸出內容。

比較一下要求助理分析病人紀錄,與要求它遵循已批准的分析規程。兩種請求都可能產出外觀相似的圖表,但只有後者會在圖表變得具說服力之前,明確說明預期採用的方法。

商業意義正是源於這種分隔。機構未必需要為每項專門工作採用不同模型;它們需要的是可靠的方法,把一般推理能力與已批准的方法、本地資料定義及可追責的審閱連結起來。

這為評估編程助理帶來不同標準。程式碼質素仍然重要,但只是更廣泛評估的一部分。買家還需了解代理如何處理模糊情況、記錄假設,以及在工作超出其指引範圍時如何回應。

當分析結果流轉至原作者以外的人手時,這點尤其相關。對建立者而言清晰的 notebook,可能令審閱者無法判斷納入規則。一份吸引人的報告更可能令這種不確定性難以察覺,因為呈現方式令人以為工作已經完成。

因此,Databricks Vital Skills 將程序知識帶入產品討論之中。真正有用的問題是,這些知識在執行期間是否仍然可見及可驗證。若審閱者無法將指令套件連結至實際完成的工作,其價值便有限。

這種做法亦改變了何謂維護。機構必須連同使用該程序的軟件一併考慮程序本身。過時的方法不會因代理始終如一地遵從它而變得合適。

安裝技能與採用工作流程之間亦有實際分別。安裝讓指引可供使用;採用則需要決定它適用於何處、由誰負責詮釋,以及哪些證據可證明表現符合要求。

從這個營運角度看,這項公告最具影響力。它提供一種封裝專業知識的方法,同時仍由機構負責判斷該套件是否適合其工作。

醫療分析師面對更嚴格的完成定義

承受壓力的團隊,是那些需要在代理完成生成分析後為結果作出辯護的人。

對醫療分析師而言,困難往往在運算之前已經開始。一項請求會以日常語言描述某個群組、結果或比較。把該請求轉化為分析,需要作出在最終程式碼中未必可見的選擇。

cohort,即為分析而選定的一組病人,正好說明這個問題。「糖尿病控制不佳的病人」這個說法,聽起來足以用於溝通,但仍留下未解決的分析決策。

實際後果是,就請求達成共識,並不保證就其實作方式達成共識。不同詮釋可產生不同病人群組。若審閱時缺少原有決策歷程,每種實作看起來都可能合理。

這正是編程代理表現出的信心值得仔細檢視的原因。快速答案可把多項未解決選擇壓縮為單一可執行產物。用戶得到進度,但亦承接了可能需要大量工作才能釐清的假設。

對分析主管而言,這改變了生產力的定義。節省下來的程式碼生成時間,只有在更廣泛的審閱流程中才有價值。若審閱者必須事後重建方法,部分效益便會消失。

壓力亦延伸至領域專家。在程序無法僅從情境判定答案的環節,他們的專業知識變得不可或缺。機構必須決定哪些問題值得由他們處理,以及哪些檢查應由軟件自動執行。

這不代表專家要批准每一行程式碼,而是需要更清楚界定機械式實作與實質判斷之間的界線。這條界線應反映決策後果,而非代理執行該決策的能力。

企業買家亦面對相關採購問題。示範可顯示助理完成一項工作,卻未必能反映批准結果、重現結果或解釋分歧所需的工作量。

更好的採購討論,應將審閱負擔與生成輸出一併檢視。買家應詢問當代理遇到模糊情況時,分析師會收到甚麼;亦應檢視當工作流程宣稱已完成時,審閱者會收到甚麼。

這些問題同時為通用編程助理帶來壓力。若專門程序能減少隱藏假設,一般系統便需要提出可信的回應。這種回應可能包括更佳的程序支援、更清晰的升級處理機制,或與已批准工具更緊密的整合。

因此,眼前的競爭其實是不同分析工作方式之間的競爭。一種方式把完成的產物視為主要交付成果;另一種則把產物、其方法及其決策歷程視為相連的結果。

對開發企業代理的開發者而言,這提高了介面設計的重要性。批准請求應指出尚未解決的決策及其後果。只以模糊問題打斷用戶,只會轉移混亂,而非解決混亂。

同一原則亦適用於完成訊息。有用的交接應區分哪些工作已執行、哪些已檢查,以及哪些仍需要詮釋。這讓接手團隊有更貼近現實的基礎來接受工作。

建立 Cohort 顯示代理應在何處暫停

最清晰的機制,是在解讀含糊請求與落實分析定義之間刻意暫停。

已發布的 cohort builder 程序描述在建立前提供預覽。它會呈現含糊的門檻,以及如何結合編碼紀錄與臨床筆記的選擇。用戶在工作流程建立及驗證最終群組之前,先選定這些選項。

這種設計在關鍵時刻改變了代理的角色。它不再把不確定性視為需要自行填補的空白,而是把不確定性視為需要呈現的決策。

這項分別很容易被忽略,因為兩種方式都可產出病人名單。當有人問及為何這些病人符合資格時,差異便會浮現。可辯護的答案需要一個已獲同意的定義,而非執行後才發現的一種看似合理的詮釋。

試想分析師要求建立研究群組,同時使用結構化紀錄及敘述性筆記。結構化紀錄將資訊整理至預先定義的欄位中;敘述性筆記則以日常語言表達觀察結果,可能令意思及情境產生模糊之處。

分析師必須決定這些來源應如何互動。出現於任一來源的病人,與同時出現於兩個來源的病人,組成的是不同群組。兩者都不應只因代理在生成程式碼時作出選擇,便自動成為權威定義。

預覽會在後續工作展開前,讓這項選擇變得可見;它亦提供機會,察覺擬議群組並不符合預期研究問題。

這正是 Genie Code 醫療技能提供具啟發性的產品模式之處。其意義在於把部分判斷點提前,使分析師仍可在無須重建相依工作前更改定義。

然而,暫停只有在用戶理解選項時才有用。若助理只是展示沒有說明後果的技術設定,決策仍然不透明。介面應把每個選項與其對分析的影響連結起來。

該程序亦把同意與驗證分開。就定義達成同意,是確立意圖;檢查輸出是否符合定義,則是確立實作有否遵從意圖。兩者責任相關,但誰也不能取代另一方。

正確實作的定義,仍可能不適合該問題;反過來,合理的定義亦可能被錯誤實作。審閱必須保留這兩項分別。

對工程團隊而言,這提出一項具體的架構啟示:高影響決策應有可識別的輸入及輸出。若這些決策消失於冗長對話之中,後續審閱便要依賴重建對話內容。

更廣泛的知識管理關連同樣實際。隨着人員、項目及工具改變,團隊需要讓已批准方法保持可被發現。一個可搜尋的知識庫可支援這類文件工作,但不能取代受控的分析系統。

與 remio 等工具相關的重點,在於方法學記憶。團隊需要保存解釋、審閱備註及已批准決策。處理敏感臨床資料則需要其專屬且適切的環境及控制措施。

這個機制亦為機構提供一條有用的失敗檢視問題:若用戶拒絕作出選擇,會怎樣?負責任的工作流程應清楚顯示尚未解決的狀態。一份修飾完善的輸出,絕不應掩蓋底層定義仍未確定這一事實。

可重複使用的 Skills 將競爭轉向營運情境

可重用程序令領域知識更具可攜性,但執行環境仍然決定大部分實際體驗。

Anthropic 的 Agent Skills architecture 描述了代理在需要時載入的有組織指令、腳本和資源。其方法提供了相關的比較:專業化部分來自封裝的程序知識,而非為每項任務設置獨立代理。

Databricks 在資料平台內採用了同樣的大方向。競爭問題在於,該程序知識在哪裡與組織的資料、權限、執行工具及審核流程交會。

對於已使用特定平台的團隊而言,接近性可能相當重要。系統之間的轉換越少,責任歸屬就越容易理解。不過,這項優勢仍取決於整合式工作流程能否支援任務的實際要求。

對於在多個環境運作的團隊而言,可攜性更有價值。若每個目的地都需要大量重建,可重用程序帶來的便利便有限。買家應區分可攜的指令與可攜的執行方式。

一個指令套件或可清楚描述工作流程,卻依賴平台專屬服務。移動文字並不會自動移動那些相依項目。這是技能方法的實際限制,而非矛盾。

Databricks 透過 Unity Gateway 記錄了受管治的代理技能,這是一項集中式探索及管治功能。文件將此功能標示為 beta,並說明技能由其權限及資產管理系統 Unity Catalog 管治。

這一點重要,因為組織內的重用本身會產生管理問題。一項實用程序的傳播速度,可能快過其擁有者追蹤本地變更的能力。中央管治提供了控制存取的方法,但組織仍需制定內容審核政策。

使用某項程序的權限,與對其方法的信心之間存在差別。權限決定誰可存取資產;方法審核則決定該資產是否適合特定用途。

這項差別應影響部署決定。獲批准的技能仍可能被用於不恰當的情境。權限系統無法解決每一個關於資料品質、研究設計或詮釋的問題。

因此,新興的競爭壓力不止於模型排名。供應商必須說明程序如何被發現、選取、更新及淘汰。他們亦必須展示用戶如何辨識指令套件不適用的時候。

這為專門平台帶來潛在的情境優勢,也透過靈活性為通用編程助手帶來機會。若沒有可比較的證據,兩者都不能在醫療保健工作流程中確立普遍優勢。

最有用的比較會維持任務及驗收準則不變。買家便可檢視分析員投入、未解決假設及審核品質的差異。比較無關的示範所揭示的資訊會少得多。

對開發者而言,實際含義是整合品質已成為代理品質的一部分。在不完整的組織情境下運作的強大模型,仍可能犯下可避免的錯誤。經審慎整合的程序可補足部分遺漏,但無法解決每一個推理問題。

Genie Code 醫療保健技能屬於這場更廣泛、圍繞營運實用性的競爭。其價值取決於它們能否協助組織批准、重複及維護工作。

評估所支持的主張,比臨床就緒程度更狹窄

報告結果支持測試領域程序,但對泛化能力及真實世界使用仍留下重大問題。

Databricks 表示,在三次試驗中,支援的 BiomniBench 任務平均分由 100 分滿分的 71.9 分提升至 76.9 分。BiomniBench 評估生物醫學研究工作流程。公告描述了技能範圍內的五項任務,並採用 AI 評審評分。

這些細節為結果劃出了有用界線。支援任務中的較佳平均表現,是針對那些已評估工作流程的證據,並不代表所有醫療保健分析均有同等改善。

這項比較亦須與病人結果分開看待。基準分數衡量的是評估設計下的表現,並不直接衡量部署是否改善照護、降低組織風險,或隨時間改變研究品質。

這不是否定結果的理由,而是要求提出更精確的問題:哪些錯誤變得較少出現,而這些錯誤與組織本身的失效模式有多相似?

獨立研究提供了相關警示。Tingxu Han 及其同事的技能基準研究發現,98 項軟件工程技能中有 92 項沒有統計上顯著的效果。該預印本亦識別出有幫助的程序,以及有害的範本錨定現象,即指引使代理偏離任務要求。

該研究評估的是不同任務,並未測試 Vital Skills。它的關聯在於方法論:加入指令本身並非改善的證據。每項程序都需要適合其預期用途的評估。

這些發現亦令「好技能包含甚麼」的問題更清晰。重複熟悉建議的指令,可能帶來甚少額外價值。保留原本可能遺漏要求的指令,則更有明確途徑帶來實際價值。

當程序信心超過適用性時,亦存在相應風險。技能可令代理更一致,卻同時引導它採用錯誤範本。只有在底層方法適合任務後,一致性才有價值。

Databricks 的 Vital Skills repository 明確將驗證及合規責任留給用戶。它亦表示,該解決方案本身並不保證符合法規。這項限定應與產品的預期好處一併考慮。

對買家而言,含義屬於組織層面,而不僅是技術層面。必須有人負責驗收準則,必須有人判定結果是否適合下游使用。安裝一項技能不會自動分配這些責任。

評估亦應檢視失敗的可見性。能清楚報告不確定性的工作流程,讓審核者有機會介入;在證據缺失下仍產生貌似合理答案的工作流程,則會形成不同風險概況。

人工審核引入另一個變數。若程序要求用戶批准含糊的選擇,表現部分取決於那些選擇的品質。只評估代理本身,可能忽略組合系統的行為。

長期維護基於同樣原因亦很重要。當本地資料變化時,已獲接受的程序可能需要修訂。組織需要一種方法,區分由指令、執行、資料或人類詮釋造成的失敗。

因此,對 Databricks Vital Skills 的恰當解讀是具體的:該公司提出證據,顯示針對性指引改善了部分任務。更廣泛的主張需要更廣泛測試,尤其當結果進入具重大影響的工作流程時。

留意重複驗證、本地採用及程序更新

下一批證據應顯示,程序改善能否在不同用戶、不同資料及持續維護下存續。

首個值得留意的訊號是獨立重複驗證。評估者應在保持任務要求一致的情況下,比較有和沒有相關技能的工作流程。他們應公布足夠細節,以解釋改善及失敗。

若重複驗證在公司評估以外取得相似好處,便會強化論據。若結果高度依賴狹窄例子,則會限制主張的範圍。無論哪種結果,都有助買家理解該方法的適用位置。

最具參考價值的重複驗證應檢視行為,而非只看整體分數。助手有否揭示未解決的定義?它有否遵從用戶的選擇?最終輸出有否保留足夠證據,讓另一名分析員審核?

第二個訊號是本地工作流程採用情況的記錄。組織應報告分析員及審核者的工作有何改變。若驗收仍需大量重建,更快完成初稿的重要性便較低。

有用的採用證據會將生成的產物連結至批准流程,說明哪些檢查仍是人工進行、哪些遺漏有所減少,以及專家仍在哪裡介入。這將揭示技能是否改善整體工作流程。

若審核工作只是轉移到其他地方,這一訊號會削弱商業論據;若團隊能以較少可避免工作解釋及重現獲接受的分析,則會強化論據。

第三個訊號是程序更新的品質。日益擴大的目錄創造更多重用機會,但也增加過時或重疊指引的機會。維護工作需要清楚保留哪項程序適用的資訊。

變更亦應觸發適當的重新評估。修訂前表現良好的程序,不應自動繼承信心。同一原則亦適用於其執行工具或底層資料假設改變時。

在未來數月,這些訊號會比目錄規模本身更有參考價值。更多可用技能會擴大覆蓋範圍;可重複效益的證據則確立這些覆蓋是否有用。

對開發者而言,眼前機會是識別代理目前隱含作出的決定。這些決定可成為明確程序、批准點及驗證的具體候選項目。從可觀察的遺漏著手,令評估有更清晰目標。

對企業買家而言,當前任務是界定可接受交接的樣貌。該定義應包括結果、獲批准的方法、未解決限制,以及審核所需證據。

在採用 Databricks Vital Skills 前,請選擇一個具代表性的工作流程,並識別審核者通常必須重新找出的假設。比較該技能能否在執行前令這些假設變得明確,並在其後保留所選方法。在設定驗收準則時納入領域專家,然後記錄他們的介入在哪些地方仍屬必要。除生成的程式碼外,亦評估完整交接,包括解釋及未解決問題。初始範圍應保持足夠狹窄,讓失敗仍可理解。當程序或資料假設改變時,重複進行比較。真正有用的結果,是團隊能以清晰責任檢查、重現及接受的分析。你目前工作流程中的哪些決定,最適合在代理繼續前變得明確?

 
 

為每個智能代理提供更完整的背景,提升工作表現

讓智能代理連接 remio 已整理好的知識、決策和歷史紀錄。

remio 目前支援 Windows 10+(x64) 及配備 Apple 晶片的 Mac。

你的 AI 工作夥伴
和 remio 一起高效工作

規劃、創作、交付
一站式完成

bottom of page