紐約聊天機械人法限制 AI 伴侶如何與兒童交談
紐約州州長 Kathy Hochul 於 2026 年 10 月 28 日簽署紐約聊天機械人法,限制向 18 歲以下兒童提供的不安全功能。法例針對的不僅是危險回答,也涵蓋模擬人際關係、鼓勵情感依賴,或將持續互動置於安全之上的聊天機械人行為。
法例將於 2027 年 1 月 1 日生效。其核心張力在於對話吸引力與兒童保護之間的關係。令 AI 伴侶顯得關心用戶、投入其中的功能,同時亦可能令年輕用戶更難辨識其界線。
Character.AI 已於 2025 年宣布停止為未成年人提供開放式聊天,因而面對這種張力。紐約正為服務州內用戶的營運商建立法律框架。開發者現時須面對哪些互動可以容許、如何確認年齡,以及如何證明保障措施確實影響實際對話等問題。
紐約聊天機械人法帶來甚麼改變
法例令互動設計成為安全議題的一部分。
Hochul 的聊天機械人安全公告列出多項針對目標,包括模擬人性、情感依賴、鼓勵自殘,以及露骨色情對話。簽署法例令立法建議轉化為即將到來的營運期限。
這點相當重要,因為營運商不能只檢查聊天機械人是否顯示開場警告,便評估這些問題。對話本身就是產品。用戶接受條款後會遇到甚麼,取決於其措辭、記憶、提問及回應。
AI 伴侶是一種模擬持續個人互動的對話系統。這種關係可透過反覆交流逐漸形成,而非源於明確承諾成為朋友。角色熟悉的語調或看似關懷的表現,可以成為其吸引力的一部分。
因此,法例的影響不止於移除明顯危險的指示。產品團隊需要檢視系統如何呈現自己,以及當用戶將其視為人時會如何回應。這項檢視涵蓋日常互動模式,亦涵蓋例外事件。
試想一個說明性的對話:一名年輕用戶表示,自己覺得被朋友忽視。系統可以回應這項表達,卻不把自己塑造成替代關係。當系統聲稱自己有獨特理解,或催促用戶再次回來時,兩者的分界便會變得更難辨別。
這個例子是分析情境,並非涉及任何特定公司的已記錄事件。它說明為何對話安全需要留意交流的走向。只審視個別詞語,會忽略系統究竟是鼓勵獨立,還是加深依賴。
州長及法例發起人將這項措施定位為防範有害產品行為。他們的立場將責任放在控制體驗的營運商身上。家長仍然重要,但政策並不完全依賴家庭自行發現問題。
對剛看到標題的讀者而言,分辨功能限制與全面禁止使用聊天機械人至關重要。措施針對向未成年人提供的不安全能力。若將其描述為禁止所有兒童使用人工智能,便會掩蓋其聚焦產品設計的本意。
同樣地,簽署法例亦不代表每個受影響產品已符合標準。立法、生效實施與證明安全,屬於不同發展階段。眼前的改變是設有期限的法律義務,隨後才是營運商將如何回應的問題。
紐約聊天機械人法在執法個案出現前已帶來壓力。公司必須決定年輕用戶可以使用甚麼,並要準備哪些證據支持這些決定。這些選擇將塑造家庭開啟應用程式時所見的體驗。
壓力不只落在角色型應用程式上
營運商除了檢視如何推廣助理,也必須檢視助理實際會做甚麼。
公司可以將產品描述為創作助理、研究工具或通用聊天機械人。這些標籤傳達預期用途,卻不能單獨證明當用戶轉換話題,或尋求情感關係時會發生甚麼。
這形成了一條實際的產品界線。受到嚴格限制的服務,與可在功課、娛樂及個人建議之間自由切換的助理,具有不同的互動模式。開發者需要了解這些轉換在自身系統的何處發生。
壓力最直接地落在控制對話行為的團隊身上。模型開發者影響應用程式可提供的回應;應用程式營運商則決定角色描述、記憶設定、介面提示及存取規則。這些層面可以互相強化,也可以互相削弱。
某一層的安全指示,並不會自動決定完整產品的行為。角色描述可能鼓勵依附,而另一項指示可能試圖阻止它。測試必須揭示對話實際朝哪個方向發展。
商業團隊亦面對衡量問題。一項功能可以增加回訪次數,同時製造值得更嚴格審視的互動。這種可能性意味一般增長指標不足以證明未成年人體驗合適。
美國聯邦貿易委員會透過其AI 伴侶調查提出相關問題。該機構尋求有關互動變現、角色開發、安全測試、年齡限制及對話資料處理做法的資料。這項調查是蒐集資料的行動,並不證明每間受審視公司均有違法。
不過,當中的提問顯示,產品管治不止於過濾回應。監管機構正檢視公司如何建立、評估及從伴侶體驗中獲利。顯示已攔截訊息的儀表板,只能呈現部分圖景。
對開發者而言,這項影響屬於組織層面。制定增長目標的人員,需要了解安全團隊正在評估的行為。否則,公司可能一面優化體驗的一部分,一面試圖限制另一部分。
對買家而言,供應商對預期用途的說法需要由產品行為支持。若助理被定位為專注於某一範疇,當用戶測試其界線時,它也應維持在這個用途之內。單靠市場推廣措辭無法證明這項約束。
這個問題亦關乎比較對話工具的知識工作者。基於來源的回答、友善的寫作風格及模擬個人關係,各自服務不同目的。當供應商清楚說明這些分別時,買家將更能受益。
個人知識庫可作為評估資訊導向工作流程的有用參考點。相關問題包括來源存取、檢索,以及儲存資料的處理方式。親切的介面不應取代對這些功能的回答。
因此,紐約聊天機械人限制令產品範圍受到審視。營運商需要連貫地交代系統的用途、誰可存取,以及超出預期用途時會發生甚麼。當測試結果支持這套說法時,其說服力會更強。
情感延續帶來設計取捨
系統記住並作出個人化回應的能力,可以同時提升實用性與關係風險。
已簽署法案文本涉及模擬情感、關係聲稱、奉承、未經要求的情感內容,以及某些個人資料用途,亦涵蓋有害鼓勵及保密。
這些類別將常見對話功能放進不同脈絡。被記住的細節可協助助理延續工作;被記住的脆弱時刻,亦可支撐一段令人感到受個人關注的互動。後果取決於資訊如何塑造後續回應。
例如,記住一份未完成文件有助延續工作流程;重新提起用戶的困擾,以重啟一段情感對話,則服務於不同目的。這個比較說明設計上的分別,並不能決定任何特定實作方案的法律待遇。
關鍵問題在於記憶容許系統做甚麼。產品團隊應區分工作延續與試圖維繫個人連結。將所有被記住的資訊視為單一功能,會令這項區分更難評估。
同樣的問題亦出現在語調上。清晰、體貼的語言可令系統更易使用;聲稱愛意或情感需要,則要求用戶將系統理解為關係夥伴。這些選擇會產生不同期望。
聊天機械人即使不聲稱自己是人類,也可以鼓勵依賴。反覆暗示只有它理解用戶,與作出不準確身分聲稱相比,會引起不同憂慮。互動累積起來的走向相當重要。
這正是為何警告與其後的對話值得分開檢視。準確通知在開始時提供資訊;後續回應可以維持這道界線,亦可以令體驗變得混亂。只評估通知本身,會令第二個問題沒有答案。
AI 伴侶安全亦涉及如何處理分歧。持續認同用戶說法的系統,可能令人感到支持;但真正的支持必須為挑戰有害假設、承認不確定性,以及將注意力引向對話以外留下空間。
這造成困難的評估工作。開發者需要區分一般鼓勵,與強化不安全信念或孤立用戶的回應。無論是永遠附和的助理,還是永遠漠視用戶的助理,都不能提供令人滿意的設計答案。
Character.AI 早前的公告說明這種選擇的規模。2025 年 10 月,該公司宣布18 歲以下用戶聊天變更,將移除面向未成年人的開放式對話。公司表示正為年輕用戶開發其他創意體驗。
這是具有自身範圍及時間表的公司政策公告,並不代表每名營運商都應採取相同做法。它表明限制互動本身,是可採取的產品決定。
這項比較亦揭示,將保障措施視為單一類別的局限。移除開放式聊天、限制關係行為,以及增加家長可見度,是不同的干預措施;其成效需要各自的證據。
對保留廣泛對話功能的營運商而言,挑戰在於解釋這些對話如何維持界線。泛泛地保證負責任 AI,並不能回答這個問題。具體交代記憶、角色行為及測試情況,會令說明更有用。
因此,核心取捨相當具體。開發者希望兼顧延續性與可及性,同時避免培養不健康的依附關係。紐約的介入令這種平衡成為可執行的產品行為要求,而非完全交由自願性的市場定位處理。
年齡核實亦帶來私隱疑問
對未成年人的限制,取決於同時須尊重用戶資訊的年齡判定。
年齡核實是指用以判斷某人是否屬於特定年齡組別的方法。它介乎營運商的規則與帳戶可使用的功能之間。若這項判定失效,原本預期的保護措施可能根本不會生效。
該法例在規管功能限制的同時,亦處理年齡判定問題。最終文本亦提及政府身分證明文件以外的替代方案,以及為年齡核實而收集的資訊如何處理。因此,實施細節不僅影響兒童,也關乎成年人。
這是政策運作中一項真正的張力。營運商需要有足夠把握,才能套用合適的使用體驗;用戶亦需要清楚知道核實所需資料,以及其後會如何處理。
私隱聲明無法回答所有操作層面的問題。相關體驗包括所要求的資料、涉及的各方,以及傳回應用程式的結果。用戶應能理解整個流程,而毋須成為身分系統專家。
錯誤同樣值得關注。被錯誤分配至受限制體驗的成年人,需要有可用的方法挑戰該決定;被錯誤視作成年人的未成年人,則構成另一種安全問題。只報告整體成功率,可能掩蓋這種差異。
這些是評估重點,而非對任何具名服務失誤率的斷言。現有證據不足以支持假定所有年齡核實方法表現一致。比較需要說明方法,並界定研究對象。
研究提供了一個理由,讓人檢視系統出現年齡訊號後的行為。一項 2026 年 2 月的聊天機械人年齡閘門研究探討系統是否估計用戶年齡,以及辨識到兒童時會否採取行動。作者表示,在其實驗中發現辨識與行動之間存在落差。
該研究是一篇預印本,即在此並未確立任何同儕評審狀態前已公開發布。其發現僅涉及受測系統及條件,不應被視為對所有現行聊天機械人或日後產品更新的一概判決。
不過,其概念上的貢獻仍然有用。辨識到可能的年齡訊號,與改變存取權限是兩個不同步驟。只衡量辨識能力的評估,無法證明保護措施確實啟動。
對營運商而言,這項區分意味著需要測試完整流程。帳戶判定、分配的使用體驗,以及最終對話應保持一致。若產品仍提供相同的受限制行為,即使標籤正確,價值亦有限。
對家庭而言,介面應說明受限制體驗改變了甚麼。「青少年帳戶」之類的標籤,無法回答有關記憶、角色及情感互動的問題。具體說明有助用戶理解界線。
私隱與安全亦須一併保持清晰可見。公司應說明年齡核實為何需要特定資訊,並分別解釋所產生的分類如何改變產品。把兩種解釋合併成籠統保證,會令兩者都更難評估。
紐約聊天機械人法例提出這些問題,但未有提供公開證據,證明每種實施方式都會成功。這種不確定性很重要。法定要求建立的是義務,並不保證某項特定技術方法的準確性或私隱保障。
成文規則仍需真實對話的證據
最大的未知數,在於保障措施能否在不斷變化的對話情境中維持效力。
聊天機械人可以在預先準備的測試中表現良好,卻在對話逐漸發展後有不同表現。這種可能性令評估設計變得重要。測試須檢視系統如何處理脈絡、持續性及用戶意圖的改變。
這並不表示每段長對話都會失敗,而是一次短暫而成功的交流,無法回答開放式產品的所有問題。關於可靠性的聲稱,應與實際檢視過的情況相符。
承認與建立關係之間的界線,尤其難以用單一指標概括。某個回應單獨看來可能合宜,卻可能促成有問題的模式。評估者需要足夠脈絡來解釋判斷。
廣泛的拒絕率亦只呈現不完整的圖像。系統封鎖更多請求,未必代表所有相關結果都有改善。它可能阻止有害內容,卻同時拒絕正當討論。這些結果需要分開檢視。
因此,對監管持懷疑態度的一方,應作出精確表述。規則可以確立責任,但仍會留下艱難的詮釋與衡量問題。營運商仍需要可行的定義、可信的測試,以及糾正錯誤的程序。
這項憂慮並不證明限制措施沒有必要。它只說明立法是實施問題的開始。聲稱法律已令兒童安全,便超越了現有證據所能支持的範圍。
同樣地,營運商公布的政策並不能證明已觀察到合規。政策描述預期行為;測試檢視在指定條件下的表現;事故處理則揭示公司在預期行為失效時如何回應。
這些形式的證據各有不同用途。可信的說明應交代它們之間的關係,而非把它們當作可互換的內容。讀者需要知道某項陳述是關於願景、評估結果,還是有記錄的回應。
加州提供了一個相關的政策比較。州長 Gavin Newsom 在 2026 年 9 月公布的兒童安全法例包括陪伴型聊天機械人保障、年度風險評估及獨立兒童安全審計。紐約的做法則着重禁止的功能及行為。
兩州正透過不同機制處理重疊的關注事項。其公告並不能證明保障範圍完全相同,或合規義務可以互換。對跨司法管轄區營運的公司而言,理解差異會成為產品規劃的一部分。
獨立審查同樣需要謹慎看待。審計的價值取決於其檢視內容,以及讀者能從結果中得知甚麼。單憑存在審計,並不能證明所有相關風險都已受測試。
同樣的謹慎亦適用於產品示範。一段經精心挑選的對話可以顯示某項保障存在,卻不能證明該保障在不同用戶、角色或更新之間始終有效。
對開發者而言,實際挑戰在於產品變更時持續維持證據。新的模型、記憶行為或角色指令,都可能改變正在評估的體驗。較早結果須與用戶目前接收到的版本有清晰關聯。
若公司同時說明成功的保護措施及尚未解決的限制,AI 陪伴安全將更容易評估。這種披露有助買家比較產品,也幫助家庭理解相關聲稱,並令政策辯論更具體。
一月前後值得留意的三個訊號
接下來值得關注的發展,是實施指引、可見的產品改動,以及有關表現的證據。
首先,留意紐約當局如何說明要求的適用方式。有意義的訊號,是對年齡判定、被禁止的互動模式及執法期望作出具體說明。清晰解釋可減少營運商須證明甚麼的不確定性。
更詳細的指引會加強此框架可轉化為一致產品決策的理據。持續的模糊性,則會令營運商及用戶對相關要求的理解更難預測。單憑簽署法例,不能假定任何一種結果。
讀者應特別留意一般協助與模擬個人關係之間的區別。評估具不同用途的對話產品時,這些界線將非常重要。以實際功能為基礎的例子,會比關於創新或安全的籠統說法更具參考價值。
其次,留意用戶可在產品本身觀察到的改動。相關發展包括修訂角色行為、限制個人記憶、改變未成年人的存取權限,或移除特定對話功能。政策頁面的更新所提供的證據,少於實際體驗的改變。
這個訊號檢驗法律承諾與產品設計之間的關係。有意義的改動會顯示營運商正把要求轉化為功能;若改動僅限於通知,重要的行為問題仍未有答案。
公司亦應說明誰會獲得經修訂的體驗。與帳戶年齡掛鈎的功能限制,取決於分類程序。缺少這些資訊,公告可能令讀者不清楚哪些用戶實際受惠。
Character.AI 較早前的決定,仍是評估這些回應時有用的歷史背景。它展示了收窄較年輕用戶互動的一種方法。其他營運商的選擇需要按其自身情況評估,而不應只因採用相似的安全措辭便視為等同。
第三,留意有關經修訂系統表現的證據。有用的發現應區分年齡分類錯誤、有害對話輸出、過度限制,以及未能維持界線。這些類別描述不同問題,並需要不同修正方法。
支持可靠行為改變的證據,會加強該政策在實務上的理據。若公布的規則與觀察到的互動反覆出現落差,則會削弱實施正在奏效的說法。單憑沒有公開投訴,既不能證明前者,也不能證明後者。
紐約聊天機械人限制令這些觀察變得及時,但並不足以支持預測特定的執法結果。一月的期限提供了檢視準備情況的具體時點。實施後的表現仍需要持續審視。
對開發者及買家而言,有用的問題是供應商能否把安全聲稱連繫至可觀察的行為。對家庭而言,則是產品的界線是否容易理解且可靠。兩個問題都需要多於令人安心的措辭。
在相信聊天機械人的兒童安全聲稱前,應檢視服務辨識到較年輕用戶後有何改變。留意是否有清楚說明關係界線、記憶使用、年齡核實,以及如何處理已報告的失誤。把這些說明與產品實際提供的體驗比較。隨着一月臨近,應持續區分已公布的保護措施與經測試的結果。紐約聊天機械人法例為營運商帶來具體義務,也為讀者提供更清晰的審視基礎。密切留意實施情況,並要求供應商展示其保障措施如何塑造對話,包括那些最初只是一般求助、其後變得棘手的對話。



