MIT 關於 AI 虛假記憶的研究揭示人類監督的薄弱環節

MIT 研究人員透過多項實驗，將 AI 生成內容與虛假記憶聯繫起來；其中一項實驗發現，經改動的影片令錯誤記憶增加一倍。

MIT 關於 AI 虛假記憶的研究並不表示每張生成圖片或每份摘要都會改寫觀眾對過去的記憶。它提出的是一項較聚焦、卻影響深遠的發現：當人工內容把看似合理的細節加入人們先前看過的事物中，這些細節可能會成為其記憶的一部分。

這直接衝擊了部署人工智能時的主流安全模式。企業和公共機構往往預期由人類審核員找出系統的錯誤。研究顯示，系統輸出可能在審核員作出更正前，已經影響其記憶。

憂慮現已不再局限於旨在欺騙受眾的深度偽造內容。一份不準確的會議摘要、警方報告、經編輯的家庭照片或影片回顧，即使沒有惡意意圖，也可能帶來同樣的基本風險。

這並非人類認知的新弱點。心理學家數十年來已記錄「錯誤資訊效應」：後來接收的資訊會改變人們對較早事件的記憶。生成式 AI 改變了可觸發這種效應的材料之規模、速度、個人化程度和表面流暢度。

因此，核心問題不在於人類是否有時會記錯，而在於當 AI 生成材料已進入審核員的資訊流後，機構是否仍能把人類審核視為獨立的安全層。

MIT 關於 AI 虛假記憶的發現不止於深度偽造

最重要的改變，是來自圖片、影片、對話和文字摘要的證據不斷累積。

MIT Media Lab 在 2026 年 10 月發表的研究概覽，將多項相關實驗整合於同一篇報告中。這些實驗共同描述了從合成資訊到扭曲記憶的多條路徑。

其中一項視覺媒體實驗招募了 200 名參加者，分成四組，每組 50 人。所有人先觀看一組原始照片，然後完成一項填充任務。

其後，參加者接觸四類材料之一。對照組再次觀看原始圖片；其他組別則觀看 AI 編輯圖片、以原始圖片為基礎的 AI 生成影片，或以經編輯圖片為基礎的生成影片。

最後一種情況結合了兩次轉換。研究人員先改動靜態圖片中的細節，然後利用 AI 把這些經改動場景製成五秒影片。

接觸該綜合條件的人所報告的虛假記憶數量，是對照組的 2.05 倍。他們對這些錯誤記憶的信心亦高出 1.19 倍。

詳細的視覺記憶研究指出，對照條件下，12 項受測細節平均出現 2.265 項錯誤記憶；綜合影片條件的平均值則為 4.640 項。

AI 編輯的靜態圖片亦造成明顯差異。該條件下的參加者平均出現 3.765 項錯誤記憶，即對照結果的 1.67 倍。

生成影片本身並非唯一因素。以未經編輯圖片製成的影片，造成的虛假記憶數量為對照組的 1.25 倍。當經改動的細節獲得動態效果，以及更強的連貫感時，影響最為明顯。

研究人員測試了涉及人物、物件及環境的改動。在綜合條件中，與人物相關的編輯帶來最高的虛假報告絕對比例，達 45.3%。

環境改動則呈現最大的相對增幅。在生成影片條件中，涉及經編輯周遭環境的虛假報告達到對照結果的 2.2 倍。

這些區別十分重要，因為日常 AI 編輯往往正正會改動這些類別。手機可以移除路人、調整背景、合併表情，或讓靜態照片動起來。

當人們重看這些媒體時，未必能記得哪些元素來自原本的瞬間。經編輯的成品可以成為其重構事件時的另一個來源。

研究並未證明每次此類編輯都會形成持久的自傳式信念。它是在受控流程下，使用 24 張圖片和相對短暫的接觸時間來量度記憶回想。

不過，實驗顯示合成細節毋須看起來荒謬或明顯帶有政治意圖。對日常場景看似合理的改動，可以同時影響回憶及信心。

這種組合比一般的辨識錯誤更令人擔憂。不確定的人可以尋找其他來源；而自信地記得虛構細節的人，較少理由再作核實。

為何 AI 摘要會帶來另一類風險

AI 摘要可以成為記憶的輸入，而不只是資訊的壓縮紀錄。

Georgetown University 與 University of Washington 的研究人員在 2026 年發表的一項研究，以目擊者情境探討這個問題。研究聚焦於文字摘要，而非經編輯照片。

研究人員透過 Prolific 招募了 360 名美國成年人。經過注意力檢查及流失後，分析涵蓋 328 名參加者。

每名參加者觀看一段 25 秒的動畫影片，內容是一宗汽車撞倒行人的意外。研究人員採用兩個版本，兩者在一項關鍵細節上不同：一個場景有停車標誌，另一個則有讓路標誌。

24 小時後，參加者閱讀一份以 ChatGPT 生成、共 21 句的摘要。摘要要麼準確描述相關標誌，要麼加入錯誤的標誌。

參加者亦被告知，摘要來自 AI 系統或專業人類聽寫員。實際上，所有條件下的原始文字均由 AI 生成。

閱讀摘要後，參加者回答有關原始影片的問題。研究人員明確要求他們依據對事件的記憶回答，而非依賴後來閱讀的文字。

在閱讀準確摘要的人當中，83.6% 正確記得交通標誌；閱讀誤導版本者的準確率則降至 44.8%。

這項摘要實驗發現，即使標示文字由 AI 生成，亦無法消除影響。當參加者相信文字由人類撰寫時，他們同樣容易受影響。

受訪者對 AI 的信任程度，亦未有顯著改變其易受影響的程度；參加者表示使用 AI 聊天機械人的頻率亦然。

這個結果令一種常見的合成內容處理方法變得複雜。標籤可以告訴讀者資訊的來源，但未必能阻止該資訊塑造其後來的記憶。

標籤在透明度及問責方面仍具重要作用。然而，實驗指出，單靠披露不能成為完整的認知保障措施。

同一篇論文亦評估了 ChatGPT 和 Gemini 如何摘要兩段意外影片。研究人員以標準化提示生成 20 份摘要。

每份摘要均有錯誤。雖然平均只有 305 字，但每份都有 7 至 21 個錯誤。

所有 20 份摘要均遺漏資訊。在整組摘要中，65% 至少包含一項關鍵不準確內容，90% 包含非關鍵不準確內容，60% 加入了原本不存在的內容。

每份摘要平均有 1.6 項虛構新增內容，包括額外車輛、額外行人、不正確的車輛移動，以及對角色意圖缺乏根據的假設。

這項模型分析規模較小，不能確立每個系統或每項摘要任務的錯誤率。研究人員使用了兩段簡短、以遊戲生成的意外影片，以及一個標準化提示。

人類實驗亦經過刻意控制。研究人員挑選了一份相對較好的 ChatGPT 摘要，然後調整周邊細節，令同一份文字可用於實驗比較。

這些限制收窄了結論，卻未有抹去已展示的機制。

參加者目擊事件後，看到了一項看似合理的錯誤。該細節繼而影響他們把哪個版本的事件辨認為真實。

在日常工作中，這個流程往往十分相似。員工出席會議後閱讀自動生成的重點回顧；臨床醫生診症後檢視 AI 生成的紀錄；調查人員觀看片段後，接觸由機器撰寫的報告。

原始經驗與人工回顧不再是彼此分離的來源。它們可以在審核員的記憶中互相作用。

這正是保留原始紀錄的重要原因。可搜尋的知識庫可把主要文件與摘要、註釋及後來的詮釋並列保存。

這種做法不會令人的記憶變得萬無一失，卻能提供一個審核員可直接查閱的來源，而毋須依賴已受生成文字塑造的回憶。

人類審核員並非獨立的最後防線

研究挑戰了人們一直以為人類總能從未受影響的位置審核 AI 輸出的假設。

人類參與的系統會把批准、更正或拒絕自動化結果的部分責任交予人員。當審核員有充足時間、權限、證據及領域知識時，這種設計可以發揮作用。

弱點在於，當 AI 輸出成為審核員對底層事件的主要表述時，這個人或許同時在審核機器的主張，以及已受該主張影響的記憶。

這是一個獨立性問題。當受檢查的系統同時提供審核員的證據、框架及回憶提示時，安全檢查的可靠性便會下降。

另一項相關的 MIT 實驗，將這個問題放進模擬的罪案目擊者訪談中。200 名參加者觀看罪案影片，然後完成四種後續條件之一。

其中一組回答中性問題；另一組收到包含誤導問題的問卷；第三組與預先編寫的聊天機械人互動；第四組則使用生成式 AI 訪談員。

誤導提示問及五項未曾發生的細節。例如，訪談員可能把不存在的物件當作目擊者已經看過的事物提及。

這項目擊者訪談研究發現，生成式聊天機械人造成的即時虛假記憶，是對照條件的三倍以上，亦是誤導問卷的 1.7 倍。

在生成式聊天機械人條件下的所有回應中，36.4% 在互動期間受到誤導。研究人員在一星期後再次測試參加者時，虛假記憶的數量仍然穩定。

與對照組相比，信心亦維持較高水平。錯誤細節並沒有在對話結束後自行消失。

對話系統引入了一種靜態警告無法完全處理的機制。它們會回應使用者、重述主張，並令後續提示在語境上顯得恰當。

這種互動可以產生社會壓力和重複效應。即使沒有 AI 系統參與，這兩個因素長期以來已與易受暗示性的研究相關。

另一項由 MIT 主導的實驗測試了嵌入摘要及聊天機械人對話中的錯誤資訊，會否改變人們對書面文章的記憶。這項預先註冊的研究涵蓋五種條件，共有 180 名參與者。

參與者閱讀三篇文章中的其中一篇。其後，他們會接受以下其中一種安排：沒有介入、誠實摘要、誤導性摘要、誠實聊天機械人互動，或誤導性聊天機械人互動。

誤導性聊天機械人條件產生的錯誤記憶，是對照組的 2.92 倍。它亦降低了參與者對正確回憶的信心。

這篇聊天機械人錯誤資訊論文發現，不同文章主題均呈現類似模式。互動式錯誤資訊帶來的影響最強。

這一點很重要，因為 AI 助手很少只是被動的資料庫。它會將資料轉化為答案、預測後續問題，並呈現連貫的敘事。

即使回應包含細微錯誤，連貫性仍可能令人感到可靠。一旦該錯誤與周邊敘述吻合，使用者可能會將它納入自身記憶，卻不記得其來源。

機構往往以加入最終審批步驟來應對幻覺問題。這種做法把問題當成審閱者只需檢查可疑輸出便能解決。

這些研究指出的風險更為複雜。審閱者在接觸可疑輸出後，可能需要重新建構原始事件。

因此，有意義的保障措施必須在生成內容影響回憶之前保護審閱程序，同時在事後保留直接查閱來源的途徑。

對會議摘要而言，這代表要保留錄音或逐字稿。對警方報告而言，則代表要將原始影像及證人陳述與生成敘事分開。

對醫療文件而言，這代表要讓來源觀察與機器生成的綜合內容清楚區分。對新聞機構而言，則代表在刊登前將摘要與原始文件比對。

審閱者亦需要一個容易提出異議的介面。獎勵快速接受結果的工作流程，只會令人工監督淪為儀式性步驟。

這並不代表人類沒有價值。人類帶來現有系統欠缺的脈絡、倫理判斷及責任承擔。

研究反而說明，為何不能把審閱者視為完美的錯誤過濾器。人類認知是系統的一部分，因此也是其失效模型的一部分。

這些研究未能證明甚麼

證據顯示記憶效應可重複出現，但未有量度日常使用 AI 的完整影響。

最強烈的說法是 AI 可以植入虛假記憶。這種描述在方向上與實驗結果一致，但可能暗示了比研究設計所能支持更高的確定性。

研究人員在受控條件下量度特定類型的錯誤。參與者接觸到經挑選的視覺變化、誤導性問題，或遭操弄的交通標誌細節。

這與證明 AI 系統能可靠地改寫一個人豐富的自傳式記憶不同。研究並未顯示對人們相信甚麼具備無限控制力。

視覺實驗涉及 200 名美國參與者及 24 張圖片。接觸時間短暫，測試環境亦未重現網上常見的反覆、具社會脈絡的接觸情境。

論文作者特別呼籲進行縱向研究，亦指出需要更廣泛的人口樣本及更多元的媒體。

2026 年的摘要研究使用兩段在 Grand Theft Auto V 內製作、各長 25 秒的動畫交通意外影片。研究在 24 小時延遲後，檢視一條關鍵辨認問題。

其輸出分析涵蓋兩個模型產生的 20 份摘要。這足以揭示具體失效模式，但不足以為所有現行系統排名。

證人訪談實驗研究了一宗模擬罪案及五項誤導性細節。真實調查涉及情緒壓力、重複盤問、法律意見、佐證證據及機構程序。

因此，結果不應被轉化為通用的虛假記憶比率。某一條件下的數字，無法預測每位使用者的經歷。

記憶扭曲與信念之間亦有分別。有人可以錯誤回答辨認問題，卻未必會圍繞該細節建立持久的個人敘事。

研究人員使用明確定義的指標來識別錯誤回憶。公眾討論可能模糊這些定義，令每個與 AI 有關的錯誤聽起來都像深層心理植入。

另一項不確定性涉及 AI 本身的角色。人類訪問者、誤導性新聞報道、經修改的照片及不準確的書面摘要，同樣可改變記憶。

Georgetown 與 Washington 的實驗發現，即使把同一份 AI 生成摘要標示為人類撰寫，參與者仍容易受影響。這顯示來源標示並非主要驅動因素。

危險在於錯誤資訊進入記憶重建過程。AI 引起憂慮，是因為它可以幾乎毫無阻力地生成、個人化及分發這些錯誤資訊。

這個區分可避免得出誇大的結論。研究並未顯示機器擁有獨特的心智控制能力。

它顯示生成式系統能將熟悉的認知風險自動化，並將其置於使用者會用來查閱權威摘要、協助及文件的產品之中。

意圖同樣重要。故意欺騙的聊天機械人，與意外遺漏或改變細節的摘要工具，面對的是不同的管治問題。

然而，認知結果可能重疊。無論錯誤來自操弄、基礎依據不足、來源資料含糊，還是一般模型失誤，使用者都可能吸收該錯誤。

這些研究對於接觸錯誤資訊後，哪種修正方式最有效，提供的證據不多。視覺論文沒有廣泛測試效果持續性或對後續修正的抵抗力。

標籤未能消除交通標誌效應，但更有力的介入措施仍是未解問題。來源比對、延遲驗證、矛盾提示及信心提示均需要直接測試。

研究人員亦必須隨時間評估模型改善情況。更佳的影片理解能力及具依據的生成，應可減少部分不準確輸出。

較低錯誤率可減少接觸機會，但無法解決記憶機制。在高風險個案中，罕見錯誤仍可能十分嚴重。

合適的回應是按比例採取審慎措施。這些實驗支持對來源保存及生成摘要實施更嚴格控制。

但它們並不支持把每一張經編輯的家庭照片都視為心理傷害。脈絡、意圖、重複程度及被記住細節的重要性，都會影響風險。

三個訊號將顯示 AI 監督是否正在改善

下一個考驗，是產品及政策改變能否在錯誤影響人類決定前保護記憶。

第一個訊號是以貼近現實的材料進行獨立重複驗證。研究人員需要更長的影片、真實會議、自然對話、多元人口，以及更長的跟進期。

若效果能在這些情境中重複出現，將更有力支持錯誤回憶是日常部署風險。若結果微弱或不一致，憂慮便會收窄至特定介面及實驗條件。

關鍵量度應區分辨認錯誤、信心、持續性及行為後果。當錯誤答案改變投票、診斷、法律判斷或職場決定時，其重要性並不相同。

研究人員亦應直接比較不同媒介。生成逐字稿、圖片、音訊片段及對話式答案，對記憶的影響未必相同。

第二個訊號是產品設計出現改變。AI 系統應保留來源可追溯性，即讓每項主張可追溯至其來源。

生成的會議摘要應把決定連結至確切的逐字稿段落。影片摘要應讓使用者開啟相應的來源片段。

從個案檔案回答問題的聊天機械人，應區分直接證據與推論。它亦應在將矛盾轉化為流暢敘事前作出標示。

這些功能比泛泛表示涉及 AI 的通知更重要。2026 年實驗發現，AI 標籤未能阻止誤導性細節影響回憶。

有用的介面必須減少對記憶的依賴，並令比對原始證據比接受生成敘述更快捷。

機構可量度審閱者是否開啟這些來源、修改錯誤草稿，以及質疑不確定的主張。單看接受率，並不是監督成功的有力證據。

第三個訊號，是高風險機構是否重新設計審閱程序。警隊、醫院、法院、銀行、新聞機構及公共部門應界定生成摘要可在工作流程的哪個位置進入。

最安全的流程是把觀察與綜合分開。審閱者應在閱讀 AI 生成解讀前，先記錄獨立敘述。

當無法作出這種分隔時，第二名審閱者可在看不到第一個系統敘事的情況下檢視原始來源。這至少保留了一重較少受污染的查核。

機構亦應保留生成版本、提示、來源檔案及修正紀錄。沒有這條審計軌跡，調查人員便無法重建錯誤細節何時進入程序。

若這些做法有所改善，便支持一個審慎的結論：機構正把 AI 引致的記憶扭曲視為系統設計風險，而非個人失誤。

若沒有改變，便會加強 MIT 關於 AI 虛假記憶研究的核心警告：當機器控制人類其後依賴來回憶的資料時，人類監督依然脆弱。

實際回應並不是停止使用每一項 AI 摘要或編輯功能，而是不要再把流暢輸出誤當成獨立紀錄。

在依賴生成敘述前，開啟來源並記錄你觀察到的內容。保留原件、區分證據與綜合內容，並在對話以外核實具後果的細節。

每當 AI 系統似乎確認你的記憶時，問一個最後問題：你記得的是事件本身，還是機器後來交給你的精修版本？