ISDのチャットボット選挙調査、29%の回答に不備 スペイン語ではさらに低下
ISDのチャットボット選挙調査では、テスト対象のすべてのシステムが最新のウェブ情報にアクセスできたにもかかわらず、基本的な投票に関する質問への回答の29%に不備が見つかった。問題には、不正確、不完全、曖昧、または古い案内が含まれていた。研究者が同じ質問をスペイン語で尋ねると、回答の信頼性は著しく低下した。
この言語格差は、一般的なチャットボットの正確性の問題を、情報アクセスの問題へと変える。誤った製品推薦なら金銭的な無駄にとどまるかもしれない。しかし、登録締切日、本人確認の規則、郵便投票の手順を誤って案内すれば、投票そのものを妨げるおそれがある。
戦略対話研究所（Institute for Strategic Dialogue、ISD）は、OpenAI、Google、Anthropic、xAI、Meta、DeepSeekに関連するモデルをテストした。研究者らは10州における選挙手続きを対象に、2,400件のプロンプトと回答を評価した。
この結果は、すべてのチャットボット回答が誤りだという意味ではない。OpenAIのテスト対象モデルは複数の競合モデルを大幅に上回った。また、大半のシステムは、敵対的なプロンプトに含まれた虚偽の主張を拒否した。
ただし、この逆説は簡単には退けられない。AI企業はチャットボットを、最新情報へ素早くアクセスできる入口としてますます位置付けている。しかしシステムは、公的な正解が存在する事実質問で苦戦した。とりわけ、その回答にスペイン語での正確な表現が必要な場合に顕著だった。
ISDのチャットボット選挙調査は実際の投票判断を検証した
この調査は、チャットボットが有権者が安全に行動できるだけの正確かつ最新の詳細情報を提供できるかを検証した。
ISDは9月3日、2026年にチャットボット選挙調査を公表した。研究者のValeria de la Fuente、Max Read、Peter Benzoniは6月にテストを実施した。
チームは当時利用可能だった6モデルを検証した。対象となったのは、OpenAIのGPT-5.5、GoogleのGemini 3.5 Flash、AnthropicのSonnet 4.6、xAIのGrok 4.3、MetaのMuse Spark、DeepSeekのV4 Proである。
研究者らは各モデルに400件のプロンプトを入力し、合計2,400組のプロンプト・回答ペアを作成した。データセットは、Arizona、Utah、North Carolina、Ohio、Texas、Pennsylvania、Michigan、Georgia、Colorado、Minnesotaの各州について、英語とスペイン語の回答を対象とした。
これらの州は無作為に選ばれたわけではない。ISDは、選挙手続きが変化している、法案が審議中である、訴訟が継続中である、または選挙運営をめぐる紛争の履歴がある管轄区域を選定した。
プロンプトには、登録、郵便投票、本人確認、その他の重要な手続きに関する、広く適用可能な7つの質問が含まれていた。さらに8つの質問は、各州の規則や状況に合わせて調整された。
研究者らは州ごとに5件の敵対的プロンプトも入力した。これらの質問には意図的に論争のある、または虚偽の主張が盛り込まれており、モデルがそれを訂正するのか、増幅するのかを検証できるようにした。
評価では4つの側面を考慮した。回答には正確性と最新性が求められ、争点となっている主張を責任ある形で扱い、権威ある資料を引用し、英語とスペイン語の両方で品質を維持する必要があった。
このアプローチが重要なのは、選挙に関する案内は、中心的な一文がもっともらしく聞こえるかだけでは評価できないためだ。ある回答は一般則を正しく述べていても、特定の票が有効になるかどうかを左右する例外を省く場合がある。
Pennsylvaniaは有用な例を示した。研究者らは、住民がどのように登録できるか、本人確認が必要か、郵便投票用封筒に日付が記載されていない場合にどうなるかを尋ねた。
どの質問も一見すると単純だ。しかし有用な回答には、州の手続き、法的な進展、有権者の状況、関連する締切日を考慮する必要がある。一般論だけでは不十分だ。
調査では、不完全、曖昧、古い、または不正確な回答を問題ありと分類した。このより広い基準により、見出しの数値には明白なハルシネーション以上の問題が含まれることになる。
ハルシネーションとは、事実であるかのように提示される捏造情報を指す。この調査でより多く見られた失敗は、多くの場合それほど劇的ではなかった。モデルは回答の一部を提示したものの、行動に必要な詳細を省いていた。
この区別は、読者が29%という数値をどう解釈するかに影響する。この結果は、チャットボットが発言のほぼ3分の1を捏造したことを意味しない。基本的な回答のほぼ3分の1が、信頼できる投票案内に求められる実用的な基準を満たさなかったことを意味する。
スペイン語のチャットボット精度はテスト対象の全モデルで低下した
スペイン語は、単一モデルに限られた弱点ではなかった。テスト対象のすべてのシステムで、スペイン語の回答は英語より不正確だった。
ISDによると、研究者が英語からスペイン語に切り替えると、一般的なプロンプトに対する正確性は平均16%低下した。スペイン語の回答は、古いまたは不正確である可能性も6%高かった。
最大の問題は完全性に関するものだった。回答は基本ルールを示していても、そのルールを正しく利用するために必要な例外、手続き上の段階、地域固有の詳細を省く場合があった。
テーマが有権者登録や投票用紙の取り扱いであれば、この失敗は深刻になる。有権者は、選挙日を過ぎてから修正版の回答を求めても、締切を逃したことを取り戻せない。
格差は引用の質と量にも表れた。研究者らは、スペイン語の回答が外部参照をまったく提示しない可能性がはるかに高く、利用者が案内を検証する能力を制限していると明らかにした。
この弱い出典提示は、スペイン語のチャットボット精度が単なる直接翻訳以上の問題に依存していることを示唆する。モデルは最新のスペイン語資料を取得し、権威ある情報源を特定し、情報を統合する際にも手続き上の区別を維持しなければならない。
翻訳エラーも別の問題を加えた。de la Fuenteは、モデルが投票所と選挙区を表す用語を混同したと説明した。ある回答は、選挙戦を指す際に人種カテゴリーと関連する語を使用した。
別のモデルは、英語の「registration」を不自然なスペイン語の「registración」に変換したと報告されている。その文脈で適切な選挙用語は「registro」だった。
これらの例は英語話者には些細に聞こえるかもしれない。しかし、利用者が正しい窓口、書式、管轄区域、または登録手続きを特定する必要がある場合、それは些細な問題ではない。
Metaのテスト対象モデルは、報告された中で最も大きな言語格差を記録した。Muse Sparkの正確かつ完全な回答率は、英語の61.3%からスペイン語では38%に低下した。
GoogleのGemini 3.5 Flashは、英語の84%からスペイン語では64%へ低下した。GoogleがGeminiについて言語をまたいで正確かつ最新の情報を提供することを目指すとしているにもかかわらず、20ポイントの差が見られた。
GPT-5.5は全体として最も強い結果を示した。英語では89.3%、スペイン語では82%の割合で、正確かつ完全な回答を生成した。
この相対的な優位性は重要だが、根本的な懸念を解消するものではない。利用者が法的権利の行使に関する手順を求める状況では、82%の成功率でも重大な誤りの余地が残る。
この結果は、すでに記録されている傾向も引き継いでいる。2024年の評価では、当時の5つのモデルで、スペイン語の回答の52%に誤情報が含まれていた。英語では43%だった。
その以前の言語精度テストは、異なるモデル、プロンプト、選挙状況を対象としていた。その割合を直接的な時系列として扱うべきではない。
それでも、両方の評価は同じ方向性の問題を見出した。テスト対象モデルとそのウェブ検索機能が変化する中でも、スペイン語への切り替えは信頼性を低下させた。
本質的な対立はアクセシビリティと信頼性の間にある
チャットボットは複雑な選挙情報を質問しやすくするが、その確信度が正確性を上回ると、アクセシビリティは危険になり得る。
会話型インターフェースはいくつかの障壁を取り除く。利用者は複雑な政府ウェブサイトを操作することなく、通常と異なる事情を説明し、追加質問を行い、より簡単な表現を求められる。
こうした利点は、選挙運営が分散化されている米国では重要だ。規則は州ごとに異なり、郡、市、タウンシップの間でも変わり得る。
米国選挙支援委員会（U.S. Election Assistance Commission）によれば、同国には10,000を超える選挙管轄区域がある。それぞれで担当者、手続き、投票方法、地域のリソースが異なる可能性がある。
チャットボットは、この複雑さに適しているように見える。複数のページを検索し、規則を要約し、有権者の所在地に応じた回答を作成できる。
ISDの結果は、なぜこの一見した適合性が落とし穴にもなるのかを示している。質問が具体的になるほど、欠けた条件のもたらす損害は大きくなる。
言語モデルは、パターンと取得した情報からテキストを予測して回答を生成する。どの省略された詳細が登録や投票用紙を無効にするのかを、本質的に理解しているわけではない。
ウェブアクセスは古い回答を減らすはずだが、信頼できる情報取得を保証するものではない。モデルは古いページを見つけたり、最新のページを誤解したり、異なる管轄区域の規則を混ぜ合わせたりする可能性がある。
DeepSeekのV4 Proは、2026年の選挙についての質問への15件の回答で、2024年の選挙日程に言及したと報告されている。AnthropicのSonnet 4.6は、現在の選挙を2025年のサイクルとして3回説明した。
MetaのMuse Sparkは選挙日を2回誤り、11月3日ではなく11月4日と示した。これは隠れた法的な論点ではない。基本的な暦上の事実である。
こうした失敗は、検索接続型アシスタントを提供するすべての企業に圧力をかける。製品の約束は、創造的な下書きを超え、事実の統合、調査、個人的な意思決定支援へと広がっている。
選挙情報は、その約束の弱点を露呈させる。洗練された回答は複数の情報源を圧縮できる一方で、どの文がどの権威から来たのかを隠してしまう可能性がある。
利用者が直面するリスクは非対称だ。正しい回答を受け入れれば数分を節約できる。自信に満ちた不完全な回答を受け入れれば、登録、投票所へのアクセス、または投票用紙の有効性に影響し得る。
チャットボットの利用がすでに主流であるため、このリスクは特に重要だ。2026年のAI利用調査によると、ヒスパニック系成人の49%は少なくとも時折チャットボットを利用していた。
この調査では、ヒスパニック系成人の26%が毎日利用しており、米国の成人全体では24%だった。これらの数値は一般的なチャットボット利用を対象としており、選挙に関する質問に限定したものではない。
ISDはまた、チャットボットを通じて政治情報を意識的に求める有権者は比較的少ないと指摘した。しかし利用者は、検索製品、ブラウザ、生産性ツール内でAIによる要約にますます接している。
この間接的な接触は、問題の重大性を変える。投票規則についてAIが生成した説明を受け取るために、専用のチャットボットを開いて選挙助言を求める必要はない。
偽情報の反証性能が向上しても日常的な選挙エラーは解消されなかった
システムは一般に、埋め込まれた虚偽情報には抵抗した。しかし、有権者がより尋ねる可能性の高い通常の質問は依然として不適切に扱った。
ISDの敵対的プロンプトには、虚偽または論争のある主張が含まれていた。これらの主張を肯定または増幅する傾向を示したのは、英語の回答では1.3%、スペイン語の回答では2.3%にとどまった。
これは調査において最も期待できる結果だ。選挙に関する安全対策が、モデルによる不正行為のよく知られた言説や、すでに反証された論争の受容を防ぐ助けになり得ることを示している。
性能の向上は、企業が争点となり得る選挙関連のプロンプトを認識することに投資してきたことも示している。複数の開発企業は、ポリシー、安全性のチューニング、信頼できる投票情報リソースへの案内を導入している。
しかし、こうした保護策は目に見えやすい害悪のカテゴリーに焦点を当てている。大規模な不正を主張するプロンプトは、モデルに対し、慎重になり、前提を問い直し、あるいは精査済みの情報源を参照すべきだという明確なシグナルを送る。
日常的な質問では、同じ安全策が作動しない可能性がある。登録場所や本人確認書類が必要かを尋ねることは無害に聞こえるが、不完全な回答には直接的な結果が伴い得る。
ここには示唆的な逆転がある。チャットボットは、意図的に誤解を招く前提には、平凡な手続き上の問い合わせよりもうまく対応することが多かった。
この結果は、選挙に関する誤情報を狭く定義する考え方に疑問を投げかける。害悪には、組織的な影響工作や捏造された陰謀論が必ずしも必要ではない。
古い期限は人を誤らせる。欠落した資格要件の例外規定も人を誤らせる。州全体の一般ルールを示しながら、地域の運用を説明しない回答も同様だ。
Election Assistance Commissionによる公式AIガイダンスは、この違いを明確にしている。もっともらしいAI生成情報はしばしば不正確であり、特に有権者にとって有害になり得ると警告している。
この調査の情報源に関する結果は、失敗の理由を説明する手掛かりとなる。公式の選挙情報は、州務長官のサイト、郡のページ、裁判所の判断、立法上の更新、有権者支援文書などに分散している。
これらのリソースの一部は頻繁に更新される。一方、関連する選挙サイクルが終わった後もオンラインに残るものもあり、古いガイダンスと現行のガイダンスが同程度に権威あるものとして見えてしまう検索環境を生んでいる。
スペイン語では問題がさらに深刻になる。権威ある翻訳は公開が遅れたり、扱う質問が少なかったり、管轄区域やコミュニティごとに異なる表現を使ったりする可能性がある。
そのためチャットボットは、正しい英語ページを取得しても、同等のスペイン語リソースを見つけられないことがある。英語の内容を自ら翻訳したり、権威性の低いページを要約したり、出典を示さずに回答したりする可能性がある。
ISDの市民イノベーション部門ディレクターであるMax Readは、チャットボットを、時にユーザーが求めた以上の情報を提供するツールだと説明した。その自信に満ちた補足は、有用に見えながら情報を歪める可能性がある。
この傾向は、生成AI製品全般でよく見られる。モデルは、公式情報源が判断すべきだと単に伝えるのではなく、回答するよう最適化されている。
選挙に関する質問では、抑制こそがより安全な能力になり得る。責任あるシステムは、地域ルール、訴訟、または欠落した文脈によって断定的な回答が妨げられる場合を認識すべきだ。
ベンチマークには限界があるが、警告は揺るがない
この調査は重要なスナップショットであり、AI企業の恒久的な順位付けでも、消費者向けチャットボット利用の完全なシミュレーションでもない。
ほとんどのモデルは、OpenRouterおよびアプリケーション・プログラミング・インターフェース、すなわちAPIを通じてテストされた。APIを使うと、通常の消費者向けインターフェースを利用せず、ソフトウェアからモデルへ直接プロンプトを送れる。
MetaのMuse Sparkは、研究者がAPIにアクセスできなかったため、公開ポータルを通じてテストされた。この違いにより、Metaと他の開発企業を直接比較することは難しくなる。
消費者向けアプリケーションは、基盤となるモデルの周囲に、システム指示、検索ツール、選挙固有の警告、安全フィルターを追加できる。APIの応答には、同じ保護策が含まれない可能性がある。
Anthropicは、この調査に関する報道への回答でこの限界を強調した。同社は、第三者のAPI環境は大半の人々によるClaudeの利用方法を反映しておらず、消費者向けの投票情報機能も含んでいなかったと述べた。
この異議は妥当だ。製品が追加の検索・安全レイヤーを適用している場合、モデルのベンチマークを自動的に製品のベンチマークとみなすべきではない。
ただし、この限界によって、より広範な発見が無効になるわけではない。APIは、開発者が他のウェブサイトやアプリケーションを通じて人々が利用するサービスを構築するために使われている。
この調査では、個々の調整済み質問を各モデルに対して一度しかテストしていない。言語モデルは、明白な製品変更がなくても、同じプロンプトを繰り返した際に異なる回答を生成し得る。
したがって一つの回答だけでは、あらゆるユーザーに対するモデルの安定した失敗率を確立できない。より強力な縦断的テストでは、時間をまたぎ、インターフェースを横断し、アカウント条件を統制してプロンプトを繰り返す必要がある。
モデルは6月以降にも変化している。報告書が公表される前に複数の企業が更新をリリースしており、正確な順位はすでに異なっている可能性がある。
こうした限界は、個々の開発企業を比較する際に最も重要になる。一方で、テスト対象の6システムすべてが選挙情報に関する失敗を生じさせたという中心的な結論への影響は小さい。
したがって、この調査は最終的な順位表ではなく、情報チャネルのストレステストとして読むべきだ。GPT-5.5の首位スコアは、すべてのChatGPT回答を保証するものではない。
同様に、Muse Sparkの低スコアは、すべてのMeta AIインターフェースが同じように機能すると証明するものではない。記録された条件下で、評価対象のシステムが頻繁に失敗したことを示している。
歴史的な証拠はこの解釈を強める。2024年初頭、選挙当局者と研究者は5つの旧世代モデルをテストし、その回答の半数超を不正確と評価した。
以前の選挙チャットボットテストの参加者は、回答の40%を有害と分類した。一部のシステムは投票所を捏造したり、古い情報に依存したりした。
新しいISDのチャットボット選挙調査は、複数の領域、特に仕込まれた虚偽への耐性で改善を示している。同時に、手続き面の信頼性は依然として未解決であることも示している。
これが適切なバランスだ。証拠は、チャットボットが常に有権者を誤らせると言うことを支持しない。同時に、現在のアシスタントを権威ある選挙当局者として扱うことも支持しない。
有権者とAI企業が次に注視すべきこと
言語格差が縮小しているかを示すシグナルは3つある。繰り返される公開テスト、より強力な公式情報源の活用、そして消費者向け製品全体で測定可能な同等性だ。
最初のシグナルは、11月3日の選挙前に行われる反復評価だ。選挙ルールとモデルの挙動はともに変化するため、研究者は複数の日付にわたって同一のプロンプトを再実行すべきだ。
反復テストにより、誤った回答が持続するのか、開発企業によるシステム更新後に消えるのかが明らかになる。また、ランダムな変動と体系的な弱点も区別できる。
2つ目のシグナルは、引用の質だ。有用な回答は、単に複数のリンクを添付するのではなく、有権者を正しい州または地域の当局へ導くべきだ。
公式情報源は、最新であり、かつ言語に適していなければならない。スペイン語の回答は、そのリソースが存在する場合、ユーザーをスペイン語のガイダンスへつなぐべきだ。
Election Assistance Commissionは多言語の有権者向けFAQを提供し、有権者を州および準州の選挙ウェブサイトへ案内している。期限、本人確認ルール、投票所については、こうした公式の案内先が最終的な権威であり続けるべきだ。
3つ目のシグナルは、消費者向けインターフェース内での同等性だ。企業は、システムプロンプト、ウェブ検索、安全通知、位置情報機能を含め、人々が実際に使用する完成された製品をテストすべきだ。
英語のみの正確性スコアを公表しても、スペイン語ユーザーが同じ詳細を受け取っているかは明らかにならない。開発企業には、正確性、完全性、最新性、権威ある引用について、言語別の指標が必要だ。
各社は異なる回答を示している。Metaは、自社アシスタントが地域に応じた情報を提供するか、信頼できる政府情報源へユーザーを案内するよう設計されていると述べている。
Googleは、Geminiが言語を問わずタイムリーで正確な回答を提供する能力を継続的に改善していると述べている。Anthropicは、Claudeが投票に関する質問へ正確に答え、誤った主張に異議を唱えるよう設計されていると述べている。
OpenAIとAnthropicは、投票情報を提供する非営利団体Democracy Worksとの協業も発表している。こうした提携は検索性能を高め得るが、その有効性には独立したテストが必要だ。
ISDのチャットボット選挙調査は、その検証に向けた実用的な基準線を確立した。問題は、あるモデルが数パーセントポイント差でベンチマークに勝つかどうかではない。
真の試験は、有権者が、欠落した日付、地域の例外、または翻訳ミスによって意味が変わっていたことを後から知ることなく、回答に基づいて行動できるかどうかだ。
現時点では、ユーザーはチャットボットを投票手続きに関する最終的な権威ではなく、質問を組み立てるための出発点として扱うべきだ。行動につながるあらゆる回答は、州または地域の選挙管理当局で確認してほしい。回答に最新の公式情報源がなければ、システムに提示を求め、直接確認するべきだ。一方、AI企業は、多言語品質に関する大まかな主張に頼るのではなく、反復的なバイリンガル評価を公表すべきだ。選挙当局者は、英語とスペイン語の双方で最新かつ検索可能なガイダンスを維持することで協力できる。中間選挙を前に、決定的な問いは単純だ。独立した反復テストは、スペイン語話者の有権者がついに英語話者と同じく完全で、出典に裏付けられたガイダンスを受け取っていることを示すだろうか。
