ISD 聊天机器人选举研究发现 29% 的失败率,西班牙语回答表现更差
ISD 的聊天机器人选举研究发现,尽管所有受测系统都可访问最新网络信息,但对于基本投票问题,其中 29% 的回答存在缺陷。这些问题包括不准确、不完整、含糊或过时的指引。当研究人员用西班牙语提出相同问题时,回答的可靠性明显下降。
这种语言差距,让普通的聊天机器人准确性问题演变为信息获取问题。错误的产品推荐或许只会浪费金钱;错误的登记截止日期、身份证明规定或邮寄选票说明,则可能使人无法投票。
战略对话研究所(Institute for Strategic Dialogue,ISD)测试了与 OpenAI、Google、Anthropic、xAI、Meta 和 DeepSeek 相关的模型。研究人员评估了覆盖 10 个州选举程序的 2,400 组提示词与回答。
结果并不意味着每一条聊天机器人回答都是错误的。OpenAI 的受测模型显著优于多家竞争对手。大多数系统也会拒绝通过对抗性提示词提出的虚假说法。
但这一反差更难被忽视。AI 公司日益将聊天机器人定位为快速、易用的最新信息入口。然而,这些系统在处理有官方答案的事实性问题时仍表现不佳,尤其是当回答需要精确的西班牙语表述时。
ISD 聊天机器人选举研究测试了真实投票决策
该研究考察聊天机器人能否提供足够准确、及时的细节,让选民能够安全采取行动。
ISD 于 2026 年 9 月 3 日发布了其聊天机器人选举研究。研究人员 Valeria de la Fuente、Max Read 和 Peter Benzoni 于 6 月进行了测试。
团队考察了当时可用的六款模型:OpenAI 的 GPT-5.5、Google 的 Gemini 3.5 Flash、Anthropic 的 Sonnet 4.6、xAI 的 Grok 4.3、Meta 的 Muse Spark,以及 DeepSeek 的 V4 Pro。
研究人员向每个模型提交 400 个提示词,共形成 2,400 组提示词与回答。数据集涵盖亚利桑那州、犹他州、北卡罗来纳州、俄亥俄州、得克萨斯州、宾夕法尼亚州、密歇根州、佐治亚州、科罗拉多州和明尼苏达州的英语与西班牙语回答。
这些州并非随机选取。ISD 选择了选举程序正在变化、立法仍待决、诉讼正在进行,或曾存在选举管理争议的司法辖区。
提示词包括七个广泛适用的问题,涉及登记、邮寄投票、身份证明及其他关键程序。另有八个问题则根据各州的规则和具体情况进行了调整。
研究人员还针对每个州提交了五个对抗性提示词。这些问题刻意引入存在争议或虚假的说法,使团队能够测试模型会纠正还是放大这些说法。
评估涵盖四个维度:回答需准确且及时、负责任地处理争议性主张、引用权威材料,并在英语和西班牙语中保持质量。
这一方法很重要,因为选举指引不能仅凭核心句子听起来是否合理来判断。一条回答可能正确陈述了一般规则,却遗漏了一项决定特定选票是否有效的例外情况。
宾夕法尼亚州提供了一个有用例子。研究人员询问居民如何登记、是否需要身份证明,以及邮寄选票信封未注明日期时会发生什么。
每个问题看似都很直接。然而,一条有用的回答必须考虑州级程序、法律进展、选民个人情况和相关截止日期。泛泛而谈并不够。
研究将不完整、含糊、过时或不准确的回答归为有问题的回答。这一更广泛的标准解释了为何标题中的数字不只涵盖明显的幻觉内容。
所谓幻觉,是指被当作事实呈现的虚构信息。在这项研究中,更常见的失败形式往往没有那么戏剧性:模型给出了部分答案,却遗漏了采取行动所需的细节。
这种区别应当影响读者如何理解 29% 这一数字。它并不意味着聊天机器人在所说内容中近三分之一都是捏造的,而是意味着近三分之一的基本回答未达到可靠投票指引所需的实用标准。
所有受测模型的西班牙语聊天机器人准确性均有所下降
西班牙语并非只影响某一模型的孤立弱点。每个受测系统提供的西班牙语回答都比英语回答更不准确。
ISD 发现,当研究人员从英语切换至西班牙语时,通用提示词的准确率平均下降了 16%。西班牙语回答过时或不准确的可能性也高出 6%。
最大的问题在于完整性。一条回答可能指出基本规则,却遗漏了正确使用该规则所需的例外、程序步骤或本地细节。
当话题涉及选民登记或选票处理时,这种失败会变得严重。选民无法在选举日之后通过要求修订回答来弥补错过的截止日期。
引用的质量和数量也存在差距。研究人员发现,西班牙语回答更有可能完全不提供外部参考资料,这限制了用户核实指引的能力。
这种薄弱的来源支撑表明,西班牙语聊天机器人的准确性并不只是直接翻译的问题。模型必须检索最新的西班牙语材料、识别权威来源,并在整合信息时保留程序上的细微区别。
翻译错误又增加了一层问题。De la Fuente 表示,模型混淆了投票地点与选区的术语。有一条回答在指代选举竞选时,使用了通常与种族分类相关的词语。
据报道,另一模型将英语单词“registration”译为不自然的西班牙语术语“registración”。在该语境下,合适的选举术语应为“registro”。
这些例子对英语使用者来说或许显得微不足道。但当用户需要识别正确的办事机构、表格、管辖区域或登记流程时,它们绝非小事。
Meta 的受测模型出现了报告中最显著的语言差距。Muse Spark 的准确且完整回答比例从英语的 61.3% 降至西班牙语的 38%。
Google 的 Gemini 3.5 Flash 则从英语的 84% 降至西班牙语的 64%。尽管 Google 表示 Gemini 致力于跨语言提供准确、及时的信息,仍出现了这 20 个百分点的差异。
GPT-5.5 的总体表现最强。其英语回答准确且完整的比例为 89.3%,西班牙语则为 82%。
这一相对领先很重要,但并不能消除根本担忧。当用户寻求行使法定权利的操作指引时,82% 的成功率仍留下了可能造成严重后果的错误空间。
这些发现也延续了已有记录的模式。2024 年的一项评估发现,在当时五个现行模型中,52% 的西班牙语回答包含错误信息,而英语回答的这一比例为 43%。
那项较早的语言准确性测试涉及不同的模型、提示词和选举背景,其百分比不应被视作可直接比较的时间序列。
不过,两项评估都发现了相同方向的问题。即使受测模型及其网络搜索能力发生变化,切换到西班牙语仍会降低可靠性。
真正的冲突在于可及性与可靠性之间
聊天机器人让复杂的选举信息更容易被询问,但当其自信程度超过准确性时,这种可及性便会变得危险。
对话式界面降低了多重门槛。用户无需浏览复杂的政府网站,就能描述特殊情况、追问后续问题,并要求使用更简单的语言。
这些优势在美国尤为重要,因为选举管理是分散化的。规则因州而异,也可能在县、市和乡镇之间有所不同。
美国选举协助委员会表示,全国有超过 10,000 个选举管辖区。每个辖区都可能涉及不同的官员、程序、投票方式和本地资源。
聊天机器人似乎非常适合应对这种复杂性。它可以搜索多个页面、总结规则,并根据选民所在地定制回答。
ISD 的结果说明了为何这种看似契合的关系也是一个陷阱。问题越具体,缺少一项限定条件的损害就可能越大。
语言模型通过根据模式和检索到的信息预测文本来生成回答。它们并不会天然理解,遗漏哪一项细节会使登记或选票失效。
网络访问本应减少过时回答,但并不能保证可靠检索。模型可能找到旧页面、误解当前页面,或混合不同管辖区的规则。
据报道,DeepSeek 的 V4 Pro 在 15 条有关 2026 年选举的问题回答中提到了 2024 年的选举日期。Anthropic 的 Sonnet 4.6 则有三次将当前选举描述为 2025 年周期。
Meta 的 Muse Spark 两次给出了错误的选举日期,将其标为 11 月 4 日而非 11 月 3 日。这并非隐蔽的法律细节,而是基本的日历事实。
这些失败给所有提供搜索连接型助手的公司带来压力。产品承诺正日益从创意写作扩展至事实整合、研究和个人决策支持。
选举信息暴露了这种承诺的弱点。一条润色完善的回答可能压缩整合了多项来源,却掩盖了每句话究竟来自哪一权威机构。
用户因此面临不对称风险。接受正确回答,只能节省几分钟;接受自信却不完整的回答,则可能影响登记、投票站使用资格或选票有效性。
这一风险尤其值得关注,因为聊天机器人的使用已进入主流。2026 年一项AI 使用调查发现,49% 的西班牙裔成年人至少偶尔使用聊天机器人。
调查发现,26% 的西班牙裔成年人每天使用聊天机器人,而全体美国成年人的比例为 24%。这些数据涵盖一般性聊天机器人使用,并非专门针对选举问题。
ISD 还指出,明确通过聊天机器人获取政治信息的选民相对较少。不过,用户正越来越多地在搜索产品、浏览器和生产力工具中接触 AI 摘要。
这种间接接触改变了风险程度。人们无需打开专门的聊天机器人并请求选举建议,也可能收到由 AI 生成的投票规则说明。
更好的辟谣能力并未解决常规选举错误
这些系统通常能抵制植入的虚假信息,但仍会错误处理选民更可能提出的普通问题。
ISD 的对抗性提示词包含虚假或有争议的说法。只有 1.3% 的英语回答和 2.3% 的西班牙语回答表现出肯定或放大这些说法的倾向。
这是该研究最令人鼓舞的结果。它表明,选举安全措施或可帮助模型拒绝有关舞弊或已被辟谣争议的常见叙事。
更强的表现也表明,企业已投入资源识别具有争议性的选举相关提示词。多家开发商已推出相关政策、安全调优措施,或引导用户前往可信的投票信息资源。
但这些保护措施聚焦于一类显而易见的伤害。声称存在大规模舞弊的提示词,会明确提醒模型应放慢回答节奏、质疑前提,或查阅经过审核的来源。
常规问题则未必会触发同样的保障机制。询问在哪里登记投票,或是否需要身份证明,听起来无害,但不完整的答案仍可能带来直接后果。
这造成了一种耐人寻味的反转:聊天机器人在处理刻意误导性的前提时,往往比回答日常程序性问题表现更好。
这一结果挑战了对选举虚假信息的狭义定义。伤害并不一定需要协调一致的影响行动或捏造出来的阴谋论。
过期的截止日期会误导人。遗漏资格例外情况会误导人。仅列出州级一般规定、却不解释地方执行方式的回答,同样会误导人。
Election Assistance Commission 发布的官方 AI 指引清楚地区分了这一点。该机构警告,看似可信的 AI 生成信息往往并不准确,并可能对选民造成特别严重的伤害。
该研究的来源引用结果有助于解释这些失误。官方选举信息分布在州务卿网站、县级网页、法院裁决、立法更新以及选民援助文件之中。
其中部分资源会频繁更新。另一些则会在相关选举周期结束后继续留在网上,形成一种检索环境:过时与最新的指引可能看起来同样权威。
这一问题在西班牙语中更为严重。权威译文可能发布得更晚、覆盖的问题更少,或者在不同司法辖区和社区使用不同措辞。
因此,聊天机器人可能检索到正确的英文页面,却找不到对应的西班牙语资源。它可能自行翻译英文内容、概述权威性较低的页面,或在没有引用来源的情况下作答。
ISD 公民创新总监 Max Read 将聊天机器人描述为一种有时会提供超出用户所需内容的工具。它们自信的延伸阐述可能扭曲信息,同时看上去依然乐于助人。
这种倾向在生成式 AI 产品中很常见。模型的优化目标是回答问题,而不只是声明应由官方来源作出决定。
对于选举问题,克制反而可能是更安全的能力。负责任的系统应认识到,当地规则、诉讼或缺失的背景信息可能使其无法给出确定性答复。
这一基准测试存在局限,但警示依然成立
该研究提供的是一份重要快照,而非对 AI 公司进行永久排名,也不是对消费者使用聊天机器人的完整模拟。
大多数模型通过 OpenRouter 和应用程序编程接口(API)接受测试。API 允许软件直接向模型发送提示词,而无需使用其常规消费者界面。
由于研究人员无法获得 API 访问权限,Meta 的 Muse Spark 是通过其公开门户测试的。这一区别使 Meta 与其他开发商之间的直接比较更为复杂。
消费者应用可以在底层模型之外增加系统指令、搜索工具、选举专项警告和安全过滤器。API 响应可能不包含同样的保护机制。
Anthropic 在回应有关该研究的报道时强调了这一局限。该公司表示,第三方 API 测试环境并未反映大多数人使用 Claude 的方式,也未包含其面向消费者的投票信息功能。
这一异议是合理的。当产品额外应用检索和安全层时,模型基准测试不应自动等同于产品基准测试。
不过,这一局限并不会推翻更广泛的发现。开发商会使用 API 构建人们通过其他网站和应用接触到的服务。
该研究还仅对每个定制问题、每个模型测试了一次。即使产品没有明显变化,语言模型在重复收到同一提示词时也可能给出不同答案。
因此,单次回答无法确立某个模型对所有用户的稳定失误率。更有力的长期测试应在不同时间、不同界面以及受控账户条件下重复提示词。
自 6 月以来,这些模型也发生了变化。多家公司在报告发布前推出了更新,因此具体排名可能已经不同。
这些局限在比较个别开发商时最为重要。但对于核心结论——六个受测系统都出现了选举信息失误——其影响较小。
因此,这项研究应被视为对信息渠道的压力测试,而非最终排行榜。GPT-5.5 的领先得分并不能保证每一条 ChatGPT 回答都正确。
同样,Muse Spark 的低分也不能证明每个 Meta AI 界面都会有完全相同的表现。它表明,在记录的测试条件下,所评估的系统频繁出现失误。
历史证据强化了这一解读。2024 年初,选举官员和研究人员测试了五个较早的模型,并认定其中超过一半的回答不准确。
参与早期选举聊天机器人测试的人员将 40% 的回答归类为有害。一些系统虚构了投票地点,或依赖过时信息。
较新的 ISD 聊天机器人选举研究显示,多个领域已有改进,尤其是在抵御植入性虚假信息方面。它也表明,程序性信息的可靠性问题仍未解决。
这才是恰当的平衡。证据不支持“聊天机器人总会误导选民”的说法,也不支持将当前助手视为权威选举官员。
选民和 AI 公司接下来应关注什么
三项信号将显示语言差距是否正在缩小:重复的公开测试、更强的官方来源引用,以及消费者产品中可衡量的对等表现。
第一项信号是在 11 月 3 日选举前进行重复评估。研究人员应在多个日期重新运行相同提示词,因为选举规则和模型行为都会变化。
重复测试能够揭示错误回答是否会在开发商更新系统后持续存在或消失,也能将随机波动与系统性弱点区分开来。
第二项信号是引用质量。一条有用的回答应将选民引导至正确的州级或地方主管机构,而不是仅附上若干链接。
官方来源也必须是最新的,并适合相应语言。若存在西班牙语资源,西班牙语回答应将用户连接到西班牙语指引。
Election Assistance Commission 提供多语言选民常见问题,并引导选民前往州级和属地选举网站。对于截止日期、身份证明要求和投票地点,这些官方渠道应始终是最终权威。
第三项信号是消费者界面内的对等性。企业应测试人们实际使用的完整产品,包括系统提示词、网页检索、安全提示和位置功能。
仅发布英文准确率分数,无法揭示西班牙语用户是否获得同等细致的信息。开发商需要针对不同语言衡量正确性、完整性、时效性以及权威引用。
各公司的回应不尽相同。Meta 表示,其助手旨在提供本地化信息,或将用户引导至可信的政府来源。
Google 表示,公司持续改进 Gemini 跨语言提供及时、准确回答的能力。Anthropic 表示,Claude 旨在准确回答投票问题并质疑错误主张。
OpenAI 和 Anthropic 也宣布与非营利投票信息提供机构 Democracy Works 合作。这类合作可以改善检索能力,但其效果仍需独立测试。
ISD 聊天机器人选举研究为这种审查建立了实用基准。问题不在于某个模型是否以几个百分点赢得一项测试。
真正的考验是,选民能否根据答案采取行动,而不会后来发现遗漏的日期、地方例外或翻译错误改变了其含义。
目前,用户应将聊天机器人视为形成问题的起点,而非投票程序的最终权威。请向州级或地方选举办公室核实每一条可据以行动的回答。如果某个回答缺少最新的官方来源,应要求系统提供来源并直接查看。与此同时,AI 公司应公布重复进行的双语评估,而不是依赖关于多语言质量的笼统说法。选举官员则可通过持续维护英西双语、可搜索的最新指引来提供帮助。在中期选举前,决定性的问题很简单:独立重复的测试能否表明,说西班牙语的选民终于获得了与英语选民同样完整、附有来源的指引?



