top of page

USC 研究人员测试自适应 AI 支持,以减少危险的过度依赖

8月13日
讀畢需時 12 分鐘

USC 研究人员针对 AI 的一个顽固问题测试了五种自适应干预措施:人们常常过度相信建议,或者在应当听从建议时予以拒绝。这项通过 Google News 报道获得关注的研究发现,围绕用户信任水平调整助手行为,能够改善多项决策结果。

核心结论并不是人们需要更多解释。持续提供解释有时反而会使决策变差。研究人员发现,在信任异常高或低的特定时刻提供支持,效果更好。

这一区别挑战了一种常见的产品策略。许多 AI 系统向每位用户提供相同的置信度提示、解释和交互速度。这项新研究认为,更安全的决策支持需要动态调整:界面必须回应信任在反复交互中如何发展。

这些发现来自受控研究,涵盖科学问题、模拟临床诊断以及大语言模型助手。它们提供了一个务实的设计方向,但并未证明真实产品能够可靠地推断信任,或在实际工作场所复现这些结果。

USC 研究实际改变了什么

研究人员将用户信任视为界面中不断变化的输入,而非会话结束后测得的固定态度。

Tejas Srinivasan 和 Jesse Thomason 研究了信任如何影响人们是否接受 AI 建议。他们的论文 Adjust for Trust 发表于 2026 年 ACM Conference on Intelligent User Interfaces 论文集。

AI 辅助决策是指个人在收到模型建议后作出最终选择。当人们接受好的建议、拒绝不好的建议时,就实现了恰当依赖。

不当依赖包括两种相反的失败。过度依赖是指有人接受了错误建议。依赖不足则是指有人拒绝了本可纠正其初始错误的有用建议。

研究人员发现,自我报告的信任与后续行为之间存在强关联。在测试的各项条件下,信任与改选 AI 答案之间的相关系数介于 0.796 至 0.949。

这种模式在极端情况下尤为重要。医疗参与者在高信任时接受了 26% 的错误 AI 诊断,而信任较低时这一比例为 8%。

低信任则造成相反的问题。医生在低信任交互中有 68% 的时间拒绝正确的 AI 诊断,而在其他交互中这一比例为 40%。

这些结果很重要,因为一句“验证 AI 输出”的指示无法同时解决两种失败。持怀疑态度的用户需要有助于评估好建议的证据。过度信任的用户则需要一定阻力,使其不易自动接受错误建议。

因此,研究测试了信任自适应干预。这类界面变化会在用户报告的信任跨越既定阈值时被触发。

当信任在 10 分制中低于 5 分时,助手可以提供支持性解释。当信任高于 8 分时,它可以提供反向解释,说明其建议为何可能是错的。

研究人员还测试了更慢的交互方式。其中一项干预要求高度信任的用户在提交最终决定前等待 10 秒。这一暂停旨在打断用户立即改选 AI 答案的行为。

这些干预改变了助手,但没有改变其底层预测能力。系统并非因获得更好的模型而变得更准确;改变的是它呈现信息的方式与时机。

这正是该研究的关键事件。自适应决策支持从一项笼统的设计提案,转变为跨越多种依赖条件的受控测试,其中包括一项大语言模型实验。

Google News 通过 Tech Xplore 的报道让这一发现接触到更广泛的受众。不过,相关证据来自同行评审论文及其报告的实验,而非新闻聚合层。

为什么 Google News 读者应关注经过校准的 AI 信任

这项研究将责任从用户单方面转向设计 AI 建议传达方式的团队。

大多数安全指南要求用户保持怀疑、核查来源,并保留人工参与环节。这些做法依然重要。然而,它们假定警惕性能够在漫长的连续决策过程中保持稳定。

论文将信任描述为动态的。一个正确答案可能提升对助手的信心,而一个明显错误则可能急剧降低信心。最近的结果随后会影响用户如何处理下一条建议。

这给构建 copilots、临床系统、金融工具和企业 agents 的公司带来压力。即使今天的建议理应得到不同回应,静态界面仍可能放大昨天的体验。

看到多次正确答案的用户,可能开始在缺乏足够审查的情况下接受后续建议。另一名用户可能遇到一次明显失败,随后在任务剩余时间里忽略好的建议。

这两种反应都不反映模型在当前案例中的实际可靠性。界面需要帮助用户评估每一条建议,同时不能假装信任已经从过程中消失。

在低信任时,支持性解释发挥了作用。在相关条件下,研究报告依赖不足减少了 13% 至 31%。总体不当依赖下降了 9% 至 38%。

在这些低信任条件下,最终决策准确率提高了 10% 至 19%。最大增幅出现在模拟 AI 过度自信时,在这种设定下,用户更有理由形成低信任。

反向解释则针对另一种极端。在高信任时,它们将过度依赖降低了 10% 至 23%。总体不当依赖下降了 19% 至 36%,最终准确率提高了 8% 至 20%。

最醒目的标题数字是:不当依赖最多减少 38%。另一项实验的准确率提升最高达到 20%。

这些是在特定实验条件下的相对改善,不应被理解为自适应界面的普遍性能保证。

压力也不仅限于模型开发者。企业采购方必须判断,产品的安全控制措施在实际使用中是否有意义。在入门环节展示的一般性警告,几乎无法说明系统会如何在信任变化后作出回应。

产品经理需要不同的衡量方案。如果一个系统奖励不加区分的依赖,采用率、节省的时间和答案接受率都不完整。

高接受率看似成功,却可能掩盖自动化偏见,即即便存在相反证据,仍倾向于遵从自动化建议。低接受率则可能掩盖能力浪费和不必要的人工工作。

恰当依赖提供了更有用的目标。团队应衡量人们是否能区分好建议与坏建议,而不是衡量他们是否更频繁地同意系统。

这对通过 Google News 发现该报道的读者很重要,因为这一结果适用于日常 AI 使用,而不只限于专业医疗软件。搜索助手、写作工具和工作场所 copilots 都会在反复交流中塑造信任。

知识工作者已经可以保留支持材料,并将 AI 答案与原始文档进行比较。可搜索的个人知识库提供了一种让证据贴近决策的方式。

不过,个人自律无法弥补每一种界面选择。始终表达流畅、立即作答且展示统一置信度的系统,可能让仔细评估变得比实际需要更困难。

自适应支持优于永不关闭的解释

关键机制在于选择性干预,因为解释在错误时机出现时会制造新的错误。

可解释 AI 往往假设,更多推理会带来更好的监督。这项研究使这一假设变得更复杂。

研究人员将自适应支持性解释与持续展示的解释进行了比较。始终展示解释并未带来同样的收益。

在一项诊断条件中,持续解释降低了最终准确率。在另一项任务中,它增加了低信任交互中的依赖不足。

作者认为,反复接触误导性解释可能会降低人们对解释本身的信心。附在错误答案上的看似合理的论证,也可能鼓励接受而非审查。

这正是该研究背后的主要冲突:静态辅助与信任自适应辅助。静态系统无论用户状态如何都提供相同干预。自适应系统则判断额外支持、反驳或阻力是否适合当下。

反向解释尤其值得注意。系统并非为其偏好的答案增加更多支持,而是提出该答案可能错误的理由。

这种设计有别于许多助手的对话风格。当前产品通常致力于提供由连贯论证支持的清晰回答。当模型的语言听起来比其证据更自信时,连贯性会让不确定性变得不那么明显。

反向解释引入了结构化怀疑。它并不告诉用户拒绝建议,而是提出一个竞争性论点,使自动同意变得不那么有吸引力。

强制暂停实验以不生成额外解释文本的方式追求同一目标。高度信任的用户必须等待 10 秒,才能作出最终选择。

这种延迟在测试环境中减少了不当依赖并提高了准确率。该结果支持认知强制,即一种在用户能够遵从自动化建议前要求其进行审慎操作的界面技术。

在产品设计中,阻力通常带有负面含义。团队会移除点击、减少等待、缩短工作流程,因为更快的交互往往能提高采用率。

决策支持改变了这种计算。当用户能在考虑矛盾证据前批准一项不确定的建议时,速度就会成为风险。

恰当设置的暂停可以保护判断力。若在每项低风险操作前设置暂停,则可能造成警报疲劳,并促使用户绕过系统。

论文的方法试图通过信任来区分这些情况。当报告的信任较高时,短暂延迟或反向论点可以放慢接受过程。当信任较低时,支持性解释可以避免条件反射式的拒绝。

大语言模型实验又增加了一层。参与者使用 Llama 3.1 助手回答 AI2 Reasoning Challenge 中的问题。

研究人员生成了多个答案与论证配对。多数答案作为模型预测,其在各次生成中出现的频率则作为置信度估计。

当信任较低时,系统展示支持模型预测的论证。当信任较高时,它会选择支持替代答案的论证,前提是生成样本中存在这样的论证。

采用自适应 LLM 后,决策准确率达到 67.8%,而未进行干预时为 58.4%。不当依赖总比例从 83.5% 降至 68.2%。

在低信任时刻的依赖不足从 65.1% 降至 44.4%。在高信任时刻的过度依赖从 56.4% 降至 42.4%。

这些结果强化了该机制的合理性,但也暴露出其对生成式推理的依赖。LLM 可能生成看似有说服力、却包含虚构或缺乏支持细节的解释。

作者明确指出,在高风险环境中,幻觉式解释是一项隐忧。自适应呈现无法仅靠选择更恰当的展示时机,就让不可靠的推理变得安全。

独立研究同样警告,不应将解释视为通用解药。一项关于 AI 错误难度的 2026 年研究发现,对于用户仍能验证的中等难度错误,解释最有帮助。

这一边界与 USC 的发现相吻合。自适应支持通过促进评估来发挥作用。当用户缺乏评估建议所需的信息、专业知识或时间时,它的帮助十分有限。

实际教训比“个性化每个 AI 界面”更为有限。团队应先识别信任会在哪些环节影响采纳,再针对可衡量的决策错误测试小规模干预。

信任感知本身会带来安全问题

助手若不能在不操纵用户、不侵犯隐私、也不将自信误判为能力的前提下估计信任,就无法安全地进行自适应。

这些实验依赖明确的自我报告信任。参与者报告自己对助手的信任程度,预先设定的阈值决定系统何时介入。

大多数商业工具不会在每次交互后询问信任评分。反复调查会拖慢工作流,也可能改变正在被测量的行为。

隐式估计提供了另一种选择。产品可以从答案采纳情况、编辑模式、响应时间、索要来源以及反复覆盖建议等行为中推断信任。

每一种信号都存在歧义。快速采纳可能意味着信任、截止期限压力、分心,或是扎实的既有知识。拒绝建议可能反映合理的怀疑、个人偏好或误解。

因此,系统可能施加错误的干预。它可能用不必要的反驳质疑一位谨慎的专家,同时用薄弱的解释安抚一位不确定的新手。

这种失败不只是可用性问题。信任自适应助手能够影响它声称要测量的心理状态。

例如,显示“AI 正在思考”可能提升用户对其投入程度和能力的感知。即便原始建议有充分依据,反向解释也可能降低用户信心。

论文在低信任情境下测试了“AI 正在思考”的延迟,但没有发现其具有与支持性解释相同的益处。单纯等待并不能提供重新评估有价值建议所需的证据。

这一发现凸显了有效摩擦与表演之间的区别。当用户仓促准备采纳建议时,延迟可能鼓励反思。但在没有产生额外推理时,它不应模仿更深入的推理过程。

隐私带来了另一个问题。详细的信任模型可能成为一种行为画像,涵盖犹豫、服从、专业能力以及易受说服的程度。

组织需要对收集、保留和二次使用设定明确限制。为安全而收集的信任信号,不应悄然变成员工绩效评分或定向投放的输入。

临床部署进一步提高了风险。该研究使用的是模拟诊断任务,而非真实患者照护。受控实验具有内部一致性,但遗漏了机构压力、不完整病历、责任风险和多学科审查等因素。

医生在专业领域、经验和对病例的熟悉程度上也各不相同。10 分制信任量表上的固定阈值无法涵盖所有相关的不确定性来源。

论文还承认另一项限制:现实环境通常不会立即反馈某项决策是否正确。缺乏结果反馈时,用户和系统都无法依据可靠的事实基准更新信任。

许多商业决策会产生延迟或存在争议的结果。招聘建议、欺诈警报或战略预测,可能数月后仍无法获得明确的正确性标签。

在这些环境中,信任校准更加困难。助手可能会适应信心信号,却始终无法判断这些信心是否合理。

该研究还将依赖不足和过度依赖合并计入不当依赖指标。然而,这些错误的代价因领域而异。

医疗中的假阴性后果可能不同于不必要的检测。金融机构对识别欺诈的重视程度,也可能不同于减少误报。

因此,产品团队需要反映实际伤害的效用模型。提升综合评分,可能掩盖代价更高的错误类型出现危险增长。

发表在 PLOS One 的研究此前提出,可根据依赖行为和认知线索进行自适应信任校准。USC 的工作补充了受控证据,但现实部署仍需要在实验室界面之外进行验证。

另一项 Communications Psychology 研究发现,人们会针对具有不同特征的人工顾问调整自己的依赖程度。但他们的整合表现仍显著低于建模得出的最优水平。

这些研究共同表明,自适应是可能的,但并不完美。人们确实会对感知到的顾问质量作出反应,却无法持续以最大化准确率的方式整合建议。

风险在于,企业将信任自适应当作另一项个性化功能。安全主张需要更高标准,包括预注册评估、领域特定的错误成本,以及针对操纵风险的测试。

因此,Google News 读者应将这一标题结果理解为设计假设的证据,而非一层已经完成的安全机制。这些实验表明,情境敏感型干预值得测试;但它们并未表明任何现有助手都能理解某个特定用户何时过度信任它。

自适应 AI 决策支持接下来会如何发展

下一阶段取决于三个信号:现场试验、可信的信任估计,以及证明自适应界面能长期保护技能的证据。

第一个信号是在真实工作中的复现。研究人员需要开展现场研究,让专业人士面对真实约束、延迟反馈,以及实验评分之外的后果。

医疗保健是显而易见的测试场景,但部署应从边界明确的决策和独立审查开始。研究人员应分别报告采纳错误建议和拒绝正确建议的比例。

如果自适应干预能同时改善这两项指标,又不增加工作负担或警报疲劳,论文的核心主张便会更有力。若收益在受控任务之外消失,该机制就需要被限定在更狭窄的用途内。

第二个信号是可辩护的信任估计方法。明确评分透明但负担较重。行为推断在工作中侵入性较低,却更容易被误读。

可信系统应说明哪些信号会触发干预。用户应能够纠正该估计,并在不失去基础安全信息访问权的情况下关闭个性化。

评估还应测试人口统计和专业能力差异。适用于某一群体的信任检测器,可能会错误分类另一群体的犹豫、语言模式或交互速度。

第三个信号是关于长期技能保持的证据。短期实验衡量即时选择,而日常使用 AI 可能重塑人们搜索、核验和记忆的方式。

一项 2025 年临床研究报告称,医生在定期接触计算机辅助检测后,其无辅助腺瘤检出率有所下降。这些 临床发现00139-7)引发了关于潜在技能退化及其他解释(包括工作负荷)的讨论。

因此,应在两个时间维度上评判自适应支持。它必须改善当前决策,同时不能削弱系统不可用时个人作出决策的能力。

这一要求更支持让证据保持可见、并鼓励独立判断的界面。它反对那些只是在建议周围添加说服性文本的工具。

对于日常知识工作,用户可以建立自己的验证层。保存源材料、记录采纳某项建议的原因,以及使用 知识混合,都能让后续审查更容易。

产品团队也可以从同样适度的控制措施开始。他们可以在用户快速采纳后测试反驳观点,在高影响操作前要求证据,并跟踪用户是否能识别预先植入的模型错误。

他们应避免推断犹豫等同于不信任,或同意等同于成功。目标是决策质量,而不是对助手的服从。

围绕这项研究的 Google News 关注,反映了人们对 AI 依赖的更广泛担忧。这篇论文带来的不只是又一次警告,而是一种可测试的机制:当信任走向极端时,如何改变界面。

其最强的结果也最具警示意义。更多解释并不总是更好。当支持的形式和时机与用户状态相匹配时,它才能改善决策。

下一个值得追问的问题,不是人们是否应信任 AI,而是某个特定系统是否能帮助他们识别:何时信任有据可依、何时怀疑不可或缺,以及何时用户和模型都没有足够证据。

关注那些公布这些衡量指标、而非提供泛泛保证的产品。询问其安全提示是否会改变行为、用户能否查看触发原因,以及其表现能否在受控演示之外保持有效。

自适应决策支持只有在改善判断、且不将信任本身变成另一种不透明预测时,才配得上可信度。

 
 

免费开始使用

一款本地优先的AI助手

为了获得更好的人工智能体验,

remio 目前仅支持Windows 10+ (x64)M-Chip Mac

你的 AI 工作伙伴

remio 一起高效工作

规划、创作、交付

一站式完成

bottom of page