Anthropic AI 安全法案為阻止危險模型設下高門檻

據報，Anthropic 正游說推動一項 AI 安全法案，規定只有涉及超過 50 人傷亡或造成 10 億美元損失的風險，才可下令阻止模型推出或使用。

這項門檻形成提案的核心矛盾。Anthropic 希望為前沿 AI 設立具約束力的聯邦監管，但政府最強力的補救措施，卻只會在被界定為災難性傷害時才可啟動。

這項提案尚未正式提交為法案，其機密文本亦未經公開的立法審議。相關細節來自 Politico 所描述的一份機密草案，以及後續報道。

即使在災難發生前，草案仍會施加義務。大型開發商須準備安全框架、披露風險、報告嚴重事故，並接受外部評估。

然而，這些預防要求最終通向一條狹窄的執法途徑。合資格評估機構會標示迫在眉睫的災難性風險，商務部會將證據提交法院，再由聯邦法官裁定是否有理據介入。

這種架構令討論不再只限於先進 AI 是否需要監管。更棘手的問題是：在一個模型尚未造成所擔心的損害前，政府應需要多少證據才能將其叫停。

加州現行的前沿 AI 規則提供了最接近的參考點。據報的聯邦草案借用了當中的災難性風險門檻，但會將阻止模型的權力納入單一聯邦程序。

結果是在一致性與彈性之間作出取捨。單一全國標準可防止任意干預，但當證據尚未完整時，也可能令及早行動變得困難。

Anthropic AI 安全法案實際會做甚麼

這項提案結合定期監管與一條嚴格受限的模型叫停途徑。

根據據報草案，受規管的前沿模型開發商必須制定並遵守書面安全框架。這些文件須說明各公司如何評估嚴重風險，以及如何判斷保障措施是否足夠。

開發商亦須為新推出的前沿模型發布透明度報告，向商務部報告關鍵安全事故，並為提出安全疑慮的僱員提供保障。

獨立評估機構會定期審核受規管公司及其模型。這些評估機構須向商務部登記，令該部門在決定誰可進行受規管評估方面擔當正式角色。

據報，提案容許開發商向其評估機構付款，但只有在這種財務關係不會損害評估機構獨立性的情況下才可獲准。

這項安排與 Anthropic 已開始自願測試的制度相似。在 10 月 15 日發布的評估機構更新中，公司表示，非牟利組織 METR 的六名僱員已獲提供公司硬件及類似僱員的存取權限。

Anthropic 表示，METR 可在毋須公司批准下發布其分析。Anthropic 仍可要求按預先界定的類別作出刪節，包括客戶資料、受特權保護的材料及某些架構細節。

其他評估機構的存取權限則較為有限。Anthropic 表示，第一級審查人員只會獲得由公司選定的存取權限，且只能在公司批准下發布發現。

聯邦提案試圖將評估由自願安排轉為受規管制度。然而，據報規則仍留下了一個重要問題：當實驗室同時提供存取權限及付款時，獨立性將如何衡量？

草案最重要的條文涉及政府介入。若模型構成可預見且迫在眉睫的災難性風險，商務部可尋求阻止其推出或使用。

據報，該風險必須涉及超過 10 億美元損失，或導致超過 50 人死亡或嚴重受傷。風險亦必須源自指定危害，包括生物武器、網絡攻擊，或模型逃離其開發商的控制。

發現這類威脅的評估機構，須在 72 小時內向該部門報告。商務部其後會向哥倫比亞特區的聯邦法官提交證據。

將由法官而非開發商或機構單方面裁定是否符合有關法律標準。這個司法步驟可保障公司免受任意限制，但同時亦會增加時間與證據方面的要求。

據報，草案禁止其他聯邦部門、機構或官員自行命令受規管實驗室停止推出模型。商務部將成為取得這項特定補救措施的唯一渠道。

這種排他性相當重要。AI 風險可跨越國家安全、醫療、執法、消費者保障及基建等管轄範圍，但草案會將最終的部署決定集中於一個部門。

此門檻是法律觸發條件，而非可接受的損失

這些數字界定的是法院何時可阻止模型，而非 Anthropic 認為多少傷害可以容忍。

有關 50 人死亡或 10 億美元的標題，聽起來彷彿開發商獲准造成低於這些水平的任何損害。這並非對據報提案最準確的解讀。

該門檻適用於一項特定的預防性補救措施：因預測到災難而阻止前沿模型推出或使用。它不會消除一般刑事法、產品責任、疏忽索償、消費者保障或特定行業監管。

造成較少損失的網絡攻擊仍可能違法。與模型相關的傷害仍可能引發訴訟、調查，或依據其他法律採取執法行動。

草案看來亦會建立在尚未達到災難性門檻前便適用的義務。安全計劃、事故報告、評估及如實披露，毋須等到出現數十人傷亡才進行。

即便如此，該門檻仍會塑造政府在最關鍵時刻能做甚麼。當官員相信某模型有危險，但證據仍屬機率性時，他們須同時證明風險既迫在眉睫，規模亦屬災難性。

這種組合要求甚高。前沿模型評估很少能提供清晰預測，指出某系統會在固定期間內造成特定數目的傷害。

評估機構通常量度能力、保障措施、存取條件及合理的濫用途徑。要將這些發現轉化為財務損失或傷亡人數的預測，還須對人類行為者及部署條件作出額外假設。

「可預見」要求危險可被合理預期。「迫在眉睫」則要求威脅更為即時，儘管草案的具體詮釋將在法庭上相當重要。

一個模型可能大幅降低濫用生物技術所需的專業知識，卻未有揭示正在進行的攻擊。它亦可能自動化網絡漏洞利用，卻未有識別特定目標。

這些發現可支持收緊存取控制、增加測試，或延後推出，但未必足以令法院相信存在超越法定門檻、迫在眉睫的災難證據。

Anthropic 在 6 月發布的Advanced AI Framework為草案提供政策基礎。其焦點包括生物武器、進攻性網絡行動、失去控制，以及自動化 AI 研究與開發。

該框架指出，受規管開發商應測試先進模型、發布安全資訊、聘用獨立評估機構，並向政府機構負責。它亦提出多種執法模式，而非一項定論性的設計。

其擬議範圍會涵蓋訓練超過指定運算門檻的模型，並符合重大 AI 收入或研發開支測試的開發商。這些限制旨在將合規要求集中於有能力建立最先進系統的公司。

該框架在界定災難性風險時援引加州法律。因此，它將傷亡及損失數字視為既有的政策參考，而非新創造的可接受傷害衡量標準。

然而，將一項定義引入聯邦法律，不只是重用熟悉的措辭。它決定誰承擔舉證責任，以及在不確定性下何時應傾向介入。

在較低門檻下，政府可能基於薄弱預測而阻止有益技術；在較高門檻下，公眾可能要到模型部署後才發現，證據僅在難以逆轉時才達到法律所需標準。

單一聯邦把關者帶來清晰度，也形成樽頸

賦予商務部獨家阻止模型的權力，可令干預標準化，同時將艱難判斷集中於單一機構。

前沿 AI 並不完全符合任何單一監管類別。一個模型可同時影響醫學研究、軍事系統、金融服務、通訊及關鍵基建。

多個機構已具備與這些用途相關的專業知識。醫療主管部門了解生物威脅，網絡安全機構追蹤基建攻擊，而國家安全組織則評估敵對國家的活動。

據報的 Anthropic AI 安全法案不會消除這些機構原有的所有權力。其較狹窄的效果，是讓商務部成為取得停止受規管模型推出或使用命令的途徑。

支持者可為這種設計提出實際理由。指定監管機構可建立技術團隊、訂立一致程序，並避免由採用不同標準的機構發出互相衝突的命令。

司法審查亦可約束有關程序。商務部須提出足以說服聯邦法官的強力證據，而不能依賴不透明的內部判斷。

對開發商而言，這個程序提供可預測性。公司可了解哪個機構接收報告、哪些評估機構合資格，以及哪項法律測試規管部署爭議。

可預測性不只是商業利益。穩定的規則可協助安全團隊作出內部決定，而毋須猜測多個機構會如何回應相同證據。

反對意見則關乎制度能力。指定機構若沒有足夠的技術專業知識、安全基建、資金及審查受保護資料的權力，便無法提供有意義的監督。

Anthropic 自己的框架亦承認這項挑戰。它指出，政府應建立自行進行能力評估及整體風險評估的能力。

在具備這種能力前，政府將高度依賴外部評估機構及開發商提供的資料。因此，執法質素將取決於爭議進入法院前所建立的存取安排。

集中權力亦可能在快速發展的事故中形成樽頸。評估機構必須辨識威脅、通知商務部、建立證據紀錄，並等待司法行動。

72 小時的報告期限在合規文件中聽來很快，但當自主系統、外洩的模型權重或活躍的網絡攻擊活動正於網絡間擴散時，這段時間可能顯得慢得多。

該提案聚焦於由法院監督的介入，反映了對監管越權的合理憂慮。禁止一個模型屬於非常措施，會對客戶、研究人員、國家競爭力及言論相關權益帶來影響。

不過，非常補救措施往往在損害變得可見之前最具價值。這令法律標準如何處理預測、不確定性及機密證據，比新聞標題中的數字本身更為重要。

當中亦涉及聯邦制問題。由於國會尚未建立全面的前沿 AI 監管制度，各州已率先採取行動。

Anthropic 一名發言人表示，該提案反映公司自六月起一直向聯邦及州級立法者倡議的政策。公司稱，這些是國會應採納的合理措施。

Anthropic 的框架指出，只有當國會建立符合嚴格安全標準的強力制度時，才應實施聯邦優先權。框架亦稱，優先權應維持狹窄範圍，並保留各州在指定前沿治理職能以外的權力。

這種措辭比全面禁止州級 AI 監管更克制。不過，任何最終法案均須訂立精確界線，因為專屬聯邦權力即使不會廢除每一項州法，仍可能削弱各州進行政策試驗的空間。

獨立評估取決於資金、存取權及發表權

評估機構的名稱不及它能否檢視正確證據，以及能否發表不受歡迎的發現重要。

獨立評估是提案連接私營開發與公共執法的主要橋樑。政府無法就看不見的風險採取行動，而實驗室掌握外部人士無法重現的資訊。

一個嚴肅的評估機構須能存取發布前模型、訓練決策、內部保障措施、事故紀錄，以及進行測試時的條件。僅有模型存取權並不足夠。

評估人員亦需要具備識別誤導性結果的專業能力。模型在測試期間的表現可能不同，而基準測試亦可能遺漏透過工具、長時間任務或多個代理之間互動才出現的風險。

Anthropic 認為，駐場評估人員可彌補資訊落差。其目前與 METR 的安排，讓一支小型外部團隊取得與內部風險人員大致相當的存取權。

這種做法較偶爾進行外部測試有重大優勢。評估人員能觀察公司如何運作，而不只是於發布前不久檢視已完成的模型。

這種密切關係亦帶來自身壓力。評估人員在公司的安全環境內工作，依賴公司提供資訊，亦可能逐漸習慣公司的假設。

付款使問題更為尖銳。受審查公司支付費用，並不會自動令審查者失去獨立性。財務核數師、測試實驗室及認證機構經常在類似安排下工作。

獨立性反而取決於保障措施。付款不可隨結論而變，持續資助不可取決於有利的發現，而評估機構需要對其已發表分析擁有具實質意義的控制權。

據報提案容許開發商提供資金，前提是不影響獨立性。這項原則合理，但執行時需要可衡量的標準。

監管機構須檢視股權利益、顧問關係、收入集中度、合約限制、人事聯繫，以及評估機構在失去一個客戶後能否維持營運。

發表權同樣值得關注。即使評估機構可以私下通知監管機構，若發現嚴重弱點卻無法公開說明，其問責作用仍然有限。

某些刪節無可避免。公開報告不應披露客戶資料、可被利用的漏洞、模型權重，或會令生物濫用更容易的指示。

困難問題在於由誰界定資訊分類，以及如何解決爭議。若開發商對每項刪節均擁有最終控制權，公眾便難以核實審查者的獨立性。

Anthropic 目前的制度說明了這種光譜。METR 的發表權較在公司第一級存取層工作的評估人員更強。

這種差異令聯邦標準顯得有用。註冊制度可為所有受涵蓋開發商建立基本的存取、披露、利益衝突及發表規則。

然而，僅靠註冊不能保證能力。政府需要有足夠專家檢視評估方法，並分辨審慎的風險分析與合規表演。

評估市場亦可能規模很小。有能力測試前沿系統的機構，往往同時從參與 AI 開發的公司、投資者或慈善網絡取得資助。

這不代表它們的發現已被影響。但這意味財務及專業關係應被披露，而非被視為無關緊要。

匯集資金制度可減少對單一開發商的依賴。受涵蓋實驗室可向獨立管理的基金繳費，由基金指派評估機構，而不讓公司直接就付款進行談判。

Anthropic 的框架亦提出類似可能性。它建議提供資金及標準，讓評估機構獲得足夠存取權，同時保障其獨立性。

隨機指派亦可為高風險審查帶來幫助。不過，專門知識及安全許可可能限制哪些評估機構能檢視特定風險。

最強的制度會結合多項機制：最低存取權、受保障的發表權、披露利益衝突、政府審查，以及就最具重大影響的模型委任多於一個評估機構。

真正的取捨是及早行動與監管越權之間

該提案要求社會接受較高的證據門檻，以換取防止政府過早介入的保障。

Anthropic 一直將自身定位為更強前沿 AI 規則的倡議者。其框架要求強制測試、定期風險報告、獨立評估、事故披露、吹哨者保障及真正的執法。

這些條文比自願承諾更具實質性。它們會建立法律責任，讓領先開發商無法在商業壓力增加時悄然放棄。

具爭議的門檻並不會取消這些義務。它規管最嚴重的補救措施，應在更廣泛的架構內評估。

不過，安全制度可以在文書要求上嚴格，卻在決定性環節薄弱。若監管機構在災難變得可預見、迫近及可量化之前，不能延遲部署，透明度或許只會記錄風險，卻無法控制風險。

這正是 Anthropic 面對的核心批評。公司警告前沿系統可能產生極端危險，但據報其提案將介入限制於一組狹窄的災難性情境。

受涵蓋風險的範圍與規模門檻同樣重要。生物武器、大型網絡攻擊及失控值得受到重點關注，因為它們可能造成廣泛而難以逆轉的傷害。

其他嚴重問題可能不在這個框架內。詐騙、操控、歧視、不安全的醫療建議、勞動力被取代、私隱流失及有害的陪伴型行為，可能影響許多人，卻不像單一災難事件。

這些傷害未必應觸發全國性模型禁令。但它們說明，Anthropic 的 AI 安全法案不能取代更廣泛的消費者、民權、就業、健康及競爭政策。

前沿安全法應處理罕見的系統性危險。其他法律則應規管日常部署及特定行業的傷害。

挑戰在於邊界地帶。一場分散式網絡攻擊行動可令數千名受害者的損失逐步累積，卻沒有一個明確的迫近災難損害時刻。

一個 AI 代理可反覆超越獲授權的存取範圍，而每宗事件看似都可控。某種生物能力亦可能在官員識別出具體武器化行動前，已在用戶之間擴散。

門檻帶來一致性，但亦造成斷崖。即使兩個估算均含有巨大不確定性，剛低於界線的預測事件與剛高於界線的事件，會受到根本不同的處理。

因此，數字化措辭可能營造出較現時評估方法所能提供更高精確度的印象。專家可能對模型能力、攻擊者意圖、可用保障措施及可能後果存在分歧。

法院在許多範疇處理不確定證據。據報提案仍須訂立規則，說明何種概率、時間範圍及因果貢獻符合其標準。

「實質促成」尤其重要。前沿模型未必單獨製造威脅，卻可能縮短研究時間、自動化目標鎖定，或令專門知識更容易取得。

立法者需要決定這種協助是否已足夠。若標準要求模型是主要原因，便可能錯過由多種技術及人類決策共同構成的風險。

若將任何貢獻都視為足夠，標準又可能過於寬闊。一般軟件及公開資訊同樣可支援合法及惡意活動。

正確答案不太可能來自單一數字。可行的法律需要與不同證據水平相稱的分級補救措施。

監管機構可要求更多測試、限制特定能力、收窄存取範圍、強制更嚴密監察，或在尋求全面禁令前延遲發布。

Anthropic 的框架討論了多項執法選項，包括罰款、限制日後部署，以及限制已部署模型的存取權。這個分級機制值得獲得與災難性終點同等的審視。

加州顯示聯邦細節為何重要

據報的門檻有其歷史，但當它們成為專屬聯邦執法制度的一部分時，其影響便會改變。

加州的前沿 AI 法律對涉及巨額財務損失，或超過 50 人死亡或重傷的災難性風險，採用類似措辭。其要求主要聚焦於透明度及關鍵安全事故。

一份針對 California SB 53 的州政策分析，說明了大型開發商的責任，同時保障小型公司免受不成比例的合規負擔。

這一先例說明 Anthropic 為何可稱聯邦提案是既有政策的延伸。這些數字早已是經協商的州級框架一部分。

不過，複製定義並不等於複製整個監管環境。州總檢察長、聯邦機構、法院及行業監管機構，擁有不同權力及制度誘因。

除非國會取代加州的要求，否則它們可以與聯邦執法並存。限制誰可阻止模型的聯邦法律，將形成不同的平衡。

由於聯邦 AI 立法進展緩慢，關於州級權力的辯論已加劇。各州已就前沿安全、自動化決策、深度偽造、陪伴型聊天機械人及披露要求採取行動。

由此形成的拼湊式制度帶來真正的合規挑戰。當一個模型服務全國用戶時，前沿開發商不容易在各州維持互相衝突的發布標準。

全國性框架可解決這個問題，但亦可能固化薄弱標準，並阻止各州因應新證據作出回應。

Anthropic 的公開框架嘗試在兩者之間取得平衡。它支持聯邦規則，但表示國會只應在強力聯邦制度所涵蓋的職能範圍內取代州法。

這個立場令最關鍵的詞彙仍未有明確定義：強大。開發者、監管機構、公共利益團體及政府官員對「強大」的判斷可能各不相同。

傷亡門檻容易理解，因此勢必備受關注。至於較技術性的條文，則可能決定這項法律的實際成效。

這些條文包括哪些開發者符合資格、何謂受規管模型、評估人員如何取得存取權、事故必須在多快時間內通報，以及商務部可以提出哪些要求。

有關內部部署模型的規則同樣重要。企業可能會在向外部客戶提供系統之前，先在其研究流程中使用能力更強的系統。

若法律只聚焦於公開發布，便可能忽略那些進行研究、管理基礎設施，或加快下一代模型開發的內部代理。

模型權重帶來另一項複雜因素。一旦權重遭竊或被廣泛分發，針對原始開發者的法院命令未必能遏止該能力。

在這種情況下，預防性安全要求的重要性可能高於其後的部署禁令。因此，該提案中有關模型安全及事故通報的規則，值得仔細審視。

國會亦須協調商務部與掌握威脅情報的機構。專屬權限不應變成對資訊的專屬存取權。

指定辦公室可從衞生、網絡安全、國防、情報及執法機構取得證據，同時保留向法院提出申請的責任。

這種架構可保留單一決策渠道，同時避免令其與外界隔絕。目前仍不清楚據報的草案是否建立了這類協調機制。

在這成為法律前值得留意的事項

三個訊號將顯示，這項提案會發展成可執行的監管，還是僅停留在由業界主導撰寫的政策綱要。

第一個訊號是公開的立法文本。Politico 報道指，Anthropic 代表正私下向立法者展示一份機密草案，但在有議員正式提出之前，提案並不等同法案。

正式提出的文本將披露定義、涵蓋門檻、優先適用條文、執法工具及程序時限。委員會分配及具名提案人，將顯示這項提案是否有可信途徑通過國會。

公開文本亦可讓專家檢驗標題所傳達的解讀。它可確認據報的災難門檻，是規管每項阻止行動，還是只適用於一項特定補救措施。

若立法者保留較高門檻，但在其下加入分級介入措施，這個框架便能更靈活應對不確定的風險。若該門檻成為採取預防行動的唯一途徑，對介入延誤的憂慮將會加深。

第二個訊號是評估人員的規則手冊。Anthropic 現行安排證明嵌入式審查在運作上可行，但並未建立通用標準。

商務部需要制定有關登記、專業能力、資金、存取權、利益衝突、安全及發布的準則。程序應說明評估人員如何質疑被扣起的資料或有爭議的遮蔽內容。

嵌入式評估人員發布的首批公開報告，將提供實際考驗。讀者應檢視這些報告是否指出弱點、說明存取限制，並將證據與公司說法區分開來。

一份僅確認合規的報告，所揭示的資訊不多。能記錄分歧及未解決風險的報告，則可提供更有力的獨立性證據。

第三個訊號是如何處理州政府權限。州立法者一再主張，地方規則可填補國會留下的空白。

有關州級監管推動的近期報道，顯示聯邦優先適用為何仍具政治敏感性。最終法案必須明確列出哪些州級職能得以保留。

針對前沿模型測試的狹義優先適用，可在減少重複合規要求之餘，保留州級消費者及民權保障。廣泛的優先適用，則可能令單一聯邦標準變成上限。

開發者、企業買家及一般用戶都應留意這些細節，因為模型治理會影響產品供應及信任。發布延誤可改變供應商的產品路線圖，而監管薄弱則可能把未經衡量的風險轉嫁給客戶。

企業團隊不應等到國會採取行動，才向供應商詢問安全框架、事故通報、評估人員存取權及模型變更通知。這些問題有助買家判斷供應商的保證有多少證據支持。

知識工作者亦需要可靠的方法，保存不斷變動的政策文件、評估結果及供應商承諾。可搜尋的 AI knowledge base 可將這些紀錄與採購及風險決策連結起來。

Anthropic AI safety bill 已引發有價值的討論，但兩個標題數字並不能定論。真正的考驗在於，立法者能否建立一套制度，在災難性證據演變成災難性經歷之前採取行動。

請留意正式提出的文本、可執行的評估人員標準，以及聯邦與州政府權限之間的清晰界線。這三項發展將顯示，該提案是否提供可信的預防機制，還是主要為已迫在眉睫的緊急情況提供一條狹窄的法律途徑。