OpenAI CSAM 分類器新增圖片安全檢查
OpenAI 於 2026 年 11 月 16 日公布圖片安全工具及 ChatGPT 的 24 小時存取暫停措施,擴大其應對兒童性虐待材料的做法。OpenAI CSAM 分類器會識別疑似虐待圖片以供審查,包括可能不熟悉或由 AI 生成的材料。核心問題在於,更佳的偵測及更早介入,是否能轉化為更好的保護。
這項公布針對虐待的不同階段:識別可疑內容、中斷有害行為,以及支援機構的應對工作。這些階段需要不同證據。發現一張圖片、判斷應採取甚麼行動,以及防止有人繼續尋找更多虐待材料,都是不同結果。
Microsoft 的 PhotoDNA 提供了一個有用參考點:辨識先前已識別的圖片,長期以來一直是網上兒童保護的一部分。OpenAI 的方法則將焦點延伸至不熟悉的內容及帳戶行為。這令平台必須把自動偵測與受過訓練的人員判斷、一致執法及可量度的預防措施連結起來。
OpenAI CSAM 分類器擴展偵測層面
這次推出新增了將可疑圖片排出優先次序的方法,同時把具重大影響的判斷交予人員及既有安全流程處理。
OpenAI 表示,經審核的機構可透過其 API 存取分類器;API 是連接服務的軟件介面,而且毋須付費使用。其兒童安全措施包括開發者資源、工具,以及為獲授權調查人員提供的培訓。
該公司在 National Center for Missing & Exploited Children 的協助下開發分類器;該機構營運 CyberTipline 舉報平台。此工具並非完全依賴先前已識別的內容,而是尋找顯示圖片需要關注的視覺跡象。
這個差異很重要,因為偵測系統需要就不熟悉的材料提供有用訊息。平台不能假設每一項有害上載內容早已出現在現有參考資料庫之中。同樣地,內容不熟悉本身並不代表它具有虐待性。
分類器在這種不確定性中提供一個訊號。圍繞該訊號作出的決定,仍然是更困難的機構工作:由誰審查、他們可存取哪些資料,以及後續會如何處理。
OpenAI 表示,一項評估估計可令需要審查的圖片減少 48%,同時找出大約相同數量的虐待圖片。這是關於篩選審查工作的說法,並非顯示虐待事件減少 48%,亦非證明兒童安全有相應改善。
對安全團隊而言,減少不必要的審查仍具實際價值。用於處理錯誤警示的時間,不能同時用來調查可信的疑慮。其效益取決於較少警示能否保留具意義的偵測能力。
設想一項圖片分享服務正在評估新的安全供應商。其核心問題應是供應商改善了哪些決策,而非產生了多少個分數。當服務能夠恰當地按分數採取行動時,分數才會變得有用。
例如,更清晰的佇列或可協助獲授權審查人員更快處理可信疑慮。然而,若透過忽略困難個案來縮減佇列,便會造成進展的誤導性表象。同一個標題數字可描述截然不同的營運結果。
因此,這次推出改變了可用工具,比起確立最終結果更為明確。機構多了一個偵測選項,但採用它並不能解決人手安排、升級處理、問責或成效問題。
這正是這項公布更廣泛的張力。自動化可協助決定關注應投放在哪裏,但兒童保護取決於關注到位後發生甚麼事。
ChatGPT 警告在升級處理前加入中斷措施
這項 24 小時暫停措施是一種行為介入,其成效需要與圖片偵測分開評估。
OpenAI 表示,當有人嘗試尋找虐待材料時,ChatGPT 會顯示警告、移除被標記的對話,並暫停存取 24 小時。專業支援服務仍然可用。重複違規可導致更長限制、帳戶關閉或向當局舉報。
把這項措施稱為暫時暫停,比視之為永久封禁更為準確。這亦避免暗示所公布的流程涵蓋每一項執法決定,或保證在其他行動前一定會先發出警告。
這個區別對公眾理解很重要。平台可禁止某些行為,同時嘗試中斷該行為,並引導當事人取得專業協助。預防與執法的目的相關,但不能由其中一方推斷另一方的成效。
存取限制會直接改變某人在受影響服務內能做甚麼。警告則嘗試改變某人其後選擇做甚麼。第二種結果更難觀察。
一個人在帳戶上停止提出要求,可能代表其行為已改變、已放棄該服務,或只是停止在該處留下可見訊號。這些可能性令單憑偵測活動下降,難以作出解讀。
阻嚇訊息方面已有相關先例。University of Tasmania 對早期一項阻嚇訊息試驗作出評估,研究在英國 Pornhub 上的警告及聊天機械人。
該大學表示,部署期間令人關注的搜尋有所減少。報告亦指出,觸發介入措施的用戶中有 82% 看來沒有重複進行這些搜尋。部分人士有跟隨連結取得專業支援。
這項研究支持在令人關注的行為出現當刻測試介入措施。但它並未確立 ChatGPT 的版本會如何表現,亦未證明相同結果可在不同服務之間轉移。
搜尋框與對話式助理提供不同互動方式。其用戶面對不同介面、預期及回應流程。早期部署的證據提供了進一步研究的理據,而非保證結果。
早前試驗也說明,為何參與度指標需要審慎解讀。點擊支援連結是有意義的行動,但不能證明持續的行為改變。沒有重複搜尋,同樣比證明傷害已停止狹窄得多。
對 ChatGPT 用戶而言,另一個區別亦很重要:討論兒童保護與尋找虐待材料並不相同。正當的舉報、研究及求助要求需要按語境處理。這項公布未有提供足夠證據,以判斷每一項界線決定。
因此,可信的評估應同時檢視預期效果及錯誤。它應考慮重複有害行為、能否適當取得支援,以及對正當對話造成的中斷。
這才是分析 ChatGPT 對兒童安全影響時真正的工作。計算顯示了多少警告,只是在描述部署;評估其後發生甚麼,才開始描述預防。
現有工具說明為何分層保護仍然重要
相關比較應着眼於覆蓋範圍及工作流程,而非在偵測品牌之間選出贏家。
Microsoft 的已知圖片比對技術 PhotoDNA 會建立名為雜湊值的數碼簽名,並與先前已識別圖片的簽名作比較。Microsoft 表示,該公司於 2009 年與 Dartmouth College 共同開發這項技術。
比對系統會問:材料是否與已獲辨識的內容相似。圖片分類器則估計不熟悉內容是否屬於令人關注的類別。這兩種方法回答不同問題,並可支援審查流程的不同部分。
這種差異令簡單的取代說法沒有幫助。專為辨識已知內容而設的系統,不會因分類器可識別可疑新材料而變得無關重要。相反,比對資料庫亦無法解決每一個不熟悉上載內容的問題。
Thorn 的兒童安全技術提供另一個比較。其 Safer 服務處理已知及可能屬新型的虐待材料,涵蓋機器學習、專門知識及不同部署選項。
Thorn 的定位說明,OpenAI 正進入一個已有專門安全服務的成熟領域。其公布應按實際機構需要評估,而非視為自動化兒童保護的開端。
對採購方而言,有用的問題包括:現有系統漏掉甚麼、另一項工具在哪裏增加覆蓋範圍,以及整合後的流程是否仍然可管理。更多供應商不會自動帶來更佳保護。
重疊的警示可造成重複工作。互相矛盾的訊號可能需要額外判斷。因此,整合值得與偵測模型本身同等的關注。
設想一個平台的現有系統已能恰當地將熟悉內容分流。若新分類器有助識別超出該覆蓋範圍的可信疑慮,它便最有用。僅是重新發現相同個案,則提供的是另一種效益。
平台亦需要了解審查人員如何看到那些結果。缺乏相關背景的警示會拖慢決策。能清楚呈現不確定性的介面,則可支援更審慎的判斷。
部署安排帶來另一項考慮。Thorn 宣傳自託管及 API 形式的選項。這些選擇讓機構以不同方式思考資料處理及營運責任,而非對安全質素作出普遍排名。
評估供應商的機構應區分技術能力與周邊服務。文件、專業支援、審查工具及調查錯誤的能力,都可影響偵測結果的實用程度。
具知名度的供應商或吸引的基準測試,都不能免除這項工作。採購決定應確立買方需要甚麼、哪些證據支持供應商的說法,以及誰負責尚未解決的決定。
對 OpenAI CSAM 分類器而言,最有力的競爭理由會是證明其帶來額外覆蓋範圍,或更有效運用審查人員的注意力。若聲稱整體上更優越,便需要可比較的證據,而這次公布本身並未提供。
這個觀點亦釐清了誰面對壓力。支援上載或圖片創作的平台,需要為整個安全流程作出說明。點名一個偵測供應商,只回答了該問題的一部分。
更佳篩選並不代表完整覆蓋
有利的審查指標可與重要盲點並存,因此買方需要同時掌握正確警示及漏檢個案的證據。
OpenAI 的分類器模型卡將輸出描述為風險訊號。文件明確指出,分數並不確認 CSAM、不確立法律地位,亦不決定舉報義務。
該文件亦區分精確率,即被標記個案中屬正確個案的比例,與召回率,即偵測到相關個案的比例。這些指標描述了效能的不同方面。
系統即使能產生較乾淨的審查佇列,仍可能遺漏重要內容。相反,更廣泛的偵測亦可能增加處理誤報的負擔。產品介面容易使用,並不會消除這兩種取捨。
OpenAI 承認,在 ChatGPT 流量以外的表現可能有所不同。其模型卡亦提到,評估資料重疊的風險仍然存在,並指出靜態影像結果不能證明在影片上的表現。
這些限制界定了讀者應從此次發布中作出的推論。於某項特定評估中取得的結果,並不會自動描述每位客戶、每種內容類型或每個運作環境。
AI 生成內容訊號還有另一項界限:它不會核實圖片的來源,即其起源或創作歷程。懷疑素材為合成內容,與確認檔案如何製作,是兩項不同的發現。
對需要作出具影響力決策的機構而言,保留這些區分至關重要。審查優先次序、帳戶限制及對外報告,所帶來的含義各不相同,不應在儀表板中變成可互換的標籤。
量度問題不止於選擇一個醒目的百分比。買方需要知道測試了甚麼、何謂正確結果,以及哪些個案仍不在適用範圍內。
缺乏這些背景資料時,比較可能令在較容易素材上評估的系統獲益,也可能掩蓋辨認熟悉模式與處理不同於訓練示例個案之間的差異。
獨立評估會有幫助,但獨立性本身並不能解答所有問題。評估仍需要相關資料、清晰定義、適當保障措施,以及說明結論涵蓋範圍的描述。
這個領域的透明度亦有實際限制。為令基準可重現而公開敏感材料,會帶來不可接受的暴露風險。因此,評估必須容許審查,同時不讓有害內容公開流傳。
這意味著需要審慎的保證,而非要求毫無限制的披露。具資格的評估人員可在不公開底層材料的情況下,解釋方法及其限制。
客戶亦不應把沒有出現警示解讀為完全沒有問題。偵測服務是在其適用範圍內提供證據,而不是對所有經過系統的內容作出確定保證。
同樣地,採用後已確認偵測個案增加,也需要加以解讀。這可能反映覆蓋範圍更佳、濫用情況改變、審查做法不同,或多項因素共同造成。
因此,負責任的懷疑態度應具體明確:此次發布提出一項可測試的營運主張,但其成效需要在各個情境中評估。懷疑應令證據要求更精準,而非否定其可能帶來的益處。
開發人員在警示出現後承擔回應工作
實際負擔落在必須把可疑問題轉化為及時且可問責決策的機構身上。
OpenAI 的開發人員安全指引圍繞預防、偵測、回應及報告來組織這項工作。指引建議訂立清晰政策、用戶舉報渠道、可用紀錄、已分配的責任,以及為審查人員提供支援。
該指引亦強調,應透過適當識別碼將活動連繫至個別用戶。這可協助機構區分某一人士的濫用行為,與共享服務較廣泛的活動。
這些建議揭示了購買工具與營運安全職能之間常見的落差。偵測會產生必須由某人負責的工作。整合本身無法回答:當緊急關注事項出現時,誰可隨時處理。
對小型產品團隊而言,誘惑是把成功完成技術連接視為工作完成。然而,營運問題正是由此開始:警示會送往何處、由誰接收,以及未解決個案如何繼續處理。
一個合理情境是,某服務在既有文字產品之外加入圖片上載功能。上載功能改變了用戶可提交的內容,其安全安排需要顧及這項改變後的能力。
若有值得關注的上載內容觸發警示,回應不應取決於剛好有哪位工程師注意到它。明確的負責人及升級處理路徑,可令結果較少依賴偶然因素。
這既是組織問題,也是技術問題。產品、支援、安全及專業審查人員,可能各自掌握相關資料的不同部分。他們的責任需要互相連接,同時避免不必要地擴散敏感資料的存取權限。
紀錄亦需要有清晰目的。保存可問責的決策歷史,與把敏感內容廣泛複製到一般工作場所工具中,是兩回事。存取及文件記錄應反映具體工作需要。
同樣的推理亦適用於內部報告。管理層摘要應區分可疑關注事項與已審查的發現。把這些類別混為一談,可能會錯誤呈現濫用規模及回應成效。
審查人員的福祉亦屬於這個營運圖景的一部分。機構不能只以處理速度衡量成功,卻忽略作出艱難決策的人員。工具應支援審慎工作及適當的專業監督。
升級處理安排同樣值得重視。有些決策可等待一般審查,另一些則需要獲授權人員迅速處理。流程應在困難個案發生前,令責任歸屬易於理解。
企業買方可利用這些問題評估供應商的成熟度。有用的問題包括審查責任歸屬、存取控制、錯誤更正、服務延續性,以及為解釋決策而保留的證據。
對使用 AI 工具的知識工作者而言,其關聯雖屬間接,卻十分具體。接受檔案或連接共享服務的功能,會引發對濫用處理方式的期望。這些期望應由可問責的營運機制支持。
因此,這項公告提高了開發人員需要進行的討論標準。「我們使用分類器」並不是完整答案。更有力的答案會說明它支援哪些行動,以及這些行動周邊設有甚麼保障措施。
留意採用情況、獨立測試及預防成效
下一批證據應顯示工具如何在實務中運作、其結果如何經得起檢驗,以及介入措施是否改變行為。
首個訊號是初步發布以外的實質採用情況。未來數月,有用的更新應說明已完成的部署及營運成果。僅宣布可供使用或點名有興趣的機構,所提供的證據較少。
最具參考價值的採用報告會解釋整合後有何改變。審查人員有否在既有覆蓋範圍以外發現可信的關注事項?誤報有否減少?機構有否更一致地處理未解決個案?
這些問題並不要求每位客戶公開敏感的營運細節。經過審慎界定範圍的評估,可在保護相關人士及材料的同時,說明其對象、方法及限制。
額外覆蓋範圍的證據,會加強此次發布的理據。若部署只增加警示而沒有改善決策,其實際價值便會減弱。相關結果關乎安全流程是否有效運作,而非單純完成安裝。
第二個訊號是獨立技術評估。評估應區分測試材料、所支援的決策,以及與其他服務比較時的限制。
一項只報告有利整體結果的研究,仍會留下重要問題未解答。讀者需要足夠背景,才能理解錯誤、差異,以及測試環境與實際部署之間的關係。
在適當情境中取得一致結果,將提高人們對其更廣泛實用性的信心。若存在顯著差異,則令本地驗證更為重要。無論哪一種發現,都比缺乏支持的普遍準確率主張更能幫助買方。
第三個訊號涉及 ChatGPT 的行為介入。OpenAI 應面對關於警告出現後會如何處理的問題,而不只是警告出現的頻率。
相關證據應檢視重複出現的關注活動、與專業支援的互動,以及誤中斷情況。相比限制措施實施後立即出現的短暫下降,較長時間的觀察會更具參考價值。
外部評估有助區分量度結果與產品訊息,亦應說明服務無法觀察到甚麼,包括在其他地方發生的行為。
在評估 ChatGPT 對兒童安全的影響時,這項限制相當重要。平台活動可提供有用證據,但不能自動證明平台以外發生了甚麼。相關主張應與這種可見度相稱。
相同紀律亦應用於有關整套方案的結論。更佳的偵測、更清晰的回應及有效的預防,會互相強化。一個範疇的進展證據,仍不代表其他範疇毋須評估。
對追蹤 OpenAI CSAM 分類器的讀者而言,最有用的下一步是審視評估更新,而非只看發布主張。留意清楚定義的結果、可比較的條件及明確限制。開發人員應詢問警示出現後由誰負責回應;買方則應要求與其服務相關的證據。用戶應區分帳戶限制與有害行為已停止的證明。在評估未來公告時,應把這些問題分開處理,並詢問所報告的改善描述的是偵測、決策還是預防。究竟哪一項結果已實際量度,而甚麼證據才足以支持進一步延伸相關主張?



