AI検索の詐欺回答がユーザーの信頼を危険にさらす

GoogleはSearchを回答エンジンへと変貌させた。しかし、詐欺的な連絡先情報が、その変化に潜む危険な弱点を浮き彫りにしている。Panda Securityの警告を取り上げたGoogle Newsの記事は、この問題に改めて注目を集めた。回答ボックスは、基になる情報がより慎重な検証を要する場合でも、権威あるものに見えることがある。

懸念されるのは、すべてのAI Overviewに不正な情報が含まれているということではない。Googleは、防御システムによって毎日数億件の詐欺的な検索結果をブロックしていると述べている。問題が生じるのは、ユーザーが情報源を確認する前に、統合された回答が画面上に表示されるときだ。

従来の検索では、人々はリンクの中から選択する必要があった。AI検索はその選択を代行し、Googleの見慣れたインターフェース上で簡潔な回答を示す。回答に電話番号、支払い指示、復旧手順が含まれる場合、たった一つの誤った情報がユーザーを直接詐欺へと導きかねない。

これはセキュリティ上の問いを変える。ユーザーは、見慣れないウェブサイトが正当なものに見えるかどうかだけを判断するのではない。Google自身の回答ボックスが、信頼できる情報源を忠実に表現しているかどうかも見極めなければならない。

詐欺は回答ボックスの内部へ移る

中心的な変化は単純だ。AIの要約が先に不正情報を繰り返してしまえば、詐欺情報は最後のクリックを勝ち取る必要がなくなる。

詐欺師は長年にわたり、検索順位の操作、誤解を招く広告の購入、サポートページの複製、偽の電話番号の設置を行ってきた。こうした手口は通常、誰かを不正な目的地へ誘導できるかどうかに依存していた。AI生成の回答は、より短い経路をもたらす。

攻撃者は、銀行、航空会社、配送サービス、テクノロジー企業の名前の横に、偽のカスタマーサービス番号を掲載できる。類似した主張は、フォーラム、低品質なディレクトリ、改ざんされたページ、一時的に作られたウェブサイトにも現れうる。

AI検索システムはウェブから情報を取得し、関連性があるとみられる内容を統合する。検索拡張生成、すなわちRAGは、モデルが回答を生成する際に直近で取得した情報を利用できるようにする。この仕組みによりモデルは最新情報を扱えるが、同時に操作されたコンテンツが入り込む経路も生まれる。

その結果として表示される回答は、広告や不審な検索結果のようには見えないことがある。見慣れたGoogleページの上部に、洗練された要約として表示される。情報源へのリンクは主な回答の横または下に置かれる一方で、求められた詳細はすぐに表示される。

偽のサポート番号に関する報告は、このレイアウトが重要である理由を示している。欠航、アカウントのロック、支払い失敗、配送未着に直面した人は、迅速な解決を望む。切迫した状況では、複数の情報源を確認する可能性が下がる。

攻撃者に必要なのは、被害者に電話をかけさせることだけだ。応対する人物は従業員になりすまし、アカウント情報を要求し、送金を求め、リモートアクセス用ソフトウェアの導入を促すことができる。画面共有の要求や支払いの催促は、被害を特に深刻なものにしかねない。

これは、モデルが根拠のない情報を作り出すAIハルシネーションだけの問題ではない。システムが、攻撃者によって意図的にオンライン上へ置かれた虚偽の主張を、正確に再現してしまうこともある。その場合、回答は取得された資料に基づいているが、資料そのものが汚染されている。

この区別は重要だ。引用を増やすだけでは、問題が自動的に解決するとは限らない。複数の低品質なページが、同じように仕込まれた番号を繰り返す可能性がある。情報源間の見かけ上の一致は、独立した確認ではなく、組織的な操作を反映しているかもしれない。

統合された回答は、警告サインを取り除いてしまうこともある。不自然なドメイン名、粗雑なページデザイン、攻撃的なポップアップ、疑わしい著者情報は、慎重な訪問者に警戒を促すかもしれない。回答ボックスは、その信頼できない文脈を隠したまま、一行だけを抽出できる。

Google Newsがこの攻撃パターンを生み出したわけではない。しかし、より広いGoogleのインターフェースは、この手口を有効にする信頼の形成に寄与している。ユーザーは、ニュース記事や通常の検索からAI生成の回答へ移動しても、危険な環境に入ったとは感じない場合がある。

したがって、この変化は技術的であると同時に行動面の変化でもある。かつて検索は、ユーザーが評価すべき証拠を表示していた。回答ボックスは、そうした評価が始まる前に結論を提示する場になりつつある。

Google NewsとSearchは、より大きな信頼の負担を担うようになった

Googleが目に見える回答を書くとき、ユーザーは当然ながら、実行可能なあらゆる詳細の正確性についてGoogleにより大きな責任を求める。

Googleは、AI OverviewsをSearchの一部であり、ランキングおよび品質システムによって支えられているものだと説明している。同社はまた、ユーザーが根拠となるウェブページを確認できるよう、生成された要約の横にリンクを表示している。

この設計は、複雑な責任分担を生む。Googleは、情報は独立したウェブサイトに由来すると主張できる。一方でユーザーは、Googleがその情報を選択し、要約し、目立つ形で表示したのだと合理的に反論できる。

回答が一般的な背景説明ではなく、行動を求める内容を含む場合、この緊張はさらに強まる。歴史的な出来事の要約には一種のリスクが伴う。電話番号、ログイン経路、医療上の指示、支払い手順には別のリスクが伴う。

Google自身のセキュリティに関する助言も、連絡先情報の慎重さを認識している。同社のガイダンスでは、カスタマーサービスを探すユーザーは企業の公式ウェブサイトを確認すべきだとしている。また、一部の組織は電話サポートをまったく提供していないとも警告している。

この推奨は、回答ボックスが何を促すべきかを暗に制限している。公式ウェブサイトが依然として最も安全な情報源であるなら、AI生成の電話番号は単独で信頼できる到達点として機能することはできない。あくまで未検証の手がかりとして扱われるべきだ。

Googleは、システムが改善されていると述べている。同社は2025年の詐欺対策に関する説明で、AIによって検出できる詐欺的ページが20倍に増えたとした。また、Searchは毎日数億件の詐欺的な検索結果をブロックしているとも述べた。

これらの数字は、Googleの防御運用の規模を示している。ただし、すべての生成回答が安全であることを裏付けるものではない。システムは膨大な量の不正行為を排除しながらも、重大な結果を招く少数の詳細を見逃す可能性がある。

発生率と影響の違いは重要だ。まれに誤ったレストランの説明が表示されるのは不快なことだ。まれに不正な銀行の電話番号が表示されれば、認証情報、資金、身分証明書、デバイスが危険にさらされる可能性がある。

Googleは二つの方向から圧力を受けている。AI回答には即時性と完全性が求められる。同時に、回答に外部での検証が必要な場合をユーザーが理解できるようにしなければならない。

警告を増やせば、製品の利便性は下がりうる。警告を減らせば、不適切な信頼を促しかねない。これは、検索エンジンが一つの統一された声で語り始めたときに生まれる信頼の負担だ。

他のAI検索プロバイダーも、同じ構造的な圧力に直面している。Microsoft Copilot、Perplexity、ChatGPT search、その他の回答エンジンは、簡潔な回答を生成する前にオンラインの情報を取得する。インターフェースは異なるが、いずれのシステムも複数の情報源を一つの見かけ上の結論へと圧縮している。

Googleは、Searchの到達範囲と見慣れた役割ゆえに、より厳しい監視を受ける。多くのユーザーは長年にわたり、その最初のページを最も安全な出発点として扱ってきた。AI Overviewsは、ユーザーが新たな失敗パターンを学ぶ前から、その蓄積された信頼を借りている。

Google Newsは、認知される正当性にもう一つの層を加える。認知されたニュース面で見かけた見出しは、周囲の情報環境が十分に審査されていると読者に思わせる可能性がある。しかし、集約、ランキング、回答生成は別々のプロセスである。

ニュース結果が実在する出版社を正確に示していても、隣接するAI回答が特定の主張を誤って扱う可能性は残る。Googleの一つの画面に対する信頼が、別の画面で生成されたすべての詳細へ自動的に移るべきではない。

検証が始まる前に利便性が勝っている

回答ボックスは、かつて情報源の評価が行われていた間を取り除くため、ユーザー行動を変える。

Pewの研究者は、2025年3月に米国の成人による68,879件のGoogle検索を調査した。クリック行動に関する調査では、そのうち18％の検索でAI要約が表示されたことが分かった。

AI要約が表示された訪問では、ユーザーが従来の検索結果をクリックした割合は8％だった。要約がない訪問では15％だった。要約内で引用されたリンクにつながったのは、要約が表示された訪問のわずか1％だった。

この調査は、詐欺への接触を測定したものではない。しかし、多くのユーザーが、その裏付けとなる証拠を開かずに検索ページを受け入れていることを示している。この行動は、Googleが生成回答に置くあらゆる詳細の重要性を高める。

Pewはまた、要約が表示された訪問の26％が、その時点で閲覧セッションを終えていたことを明らかにした。要約がないページでは、比較対象となる割合は16％だった。多くの検索において、要約は事実上の最終目的地となった。

この結果は、情報源へのリンクが部分的な防御にとどまる理由を説明する。ほとんど誰も開かない引用は、防御効果が限られる。生成テキストこそが、主要なプロダクト体験であり続ける。

最も大きなリスクは、ユーザーが狭く取引的な質問をする場面で現れる。「この会社は何か？」は一般情報を求める質問だ。「どの番号に電話すべきか？」は、信頼できる通信経路を選ぶようシステムに求める質問である。

カスタマーサポートに関する問い合わせは、多くの場合、切迫感と限られた文脈を組み合わせている。ユーザーは空港の搭乗ゲートに立っているかもしれないし、不正利用の警告に対応しているかもしれない。あるいは、ロックされたアカウントの復旧を試みているかもしれない。プレッシャーの下では、情報源を精査する可能性は低くなる。

詐欺師は、そうした感情状態に合わせて次の手順を設計する。自称サポート担当者は即時の対応を求め、アカウントが侵害されていると主張し、返金の期限が迫っていると言うことができる。AI回答が連絡先を提示し、その後はソーシャルエンジニアリングが引き継ぐ。

インターフェース自体も権威性を生む。AI Overviewは一貫した書体、整った余白、Googleのブランドを用いる。疑わしい主張の元となったページの視覚的な雑然さを、そのまま引き継ぐわけではない。

このプロセスは、真実を証明することなく信頼性を洗浄しうる。システムは断片化されたウェブテキストを、自信に満ちた記述へ変換する。読者が目にするのはその自信であり、情報取得と情報源の選択に含まれる不確実性は隠されたままだ。

問題は電話番号だけにとどまらない。攻撃者は、偽のソフトウェアダウンロード手順、暗号資産ウォレットのアドレス、復旧手順、クーポンコード、認証情報を盗むページへのリンクを仕込むことができる。

回答が外部での行動を促すとき、リスクは高まる。電話をかける、アプリケーションをインストールする、画面を共有する、送金する、認証情報を入力するといった行為には、より高い検証基準が必要だ。

その基準は、流暢な文章だけに依存できない。言語モデルは、一貫性のあるテキストを生成するよう設計されている。一貫性は、電話番号がその横に記された組織のものかどうかを、ほとんど教えてくれない。

同様の問題は職場での調査にも影響する。従業員は生成された回答を、チケット、レポート、社内チャットのスレッドへコピーする機会が増えている。根拠のない詳細は、元の情報源の文脈を失った後に組織内を広がる可能性がある。

チームには、セキュリティ、財務、顧客、コンプライアンスに関わる意思決定のための、目に見える証拠の追跡経路が必要だ。検索可能なAI knowledge baseは、承認済みの文書とその文脈を保持できる。それでも、信頼できる情報源を選ぶ必要はある。

有用な考え方は、「AIの回答は誤りである」ではない。「AIの回答は、証拠の質がさまざまな要約である」だ。この枠組みなら、利便性を保ちながら自動的な権威を与えずに済む。

情報源が増えても、回答が常に安全になるわけではない

AI検索は、実在するウェブページを引用していても失敗しうる。なぜなら、検索品質と情報源の独立性は別の問題だからだ。

従来の検索エンジンは文書を順位付けする。AI搭載検索エンジンは文書を順位付けしたうえで、それを解釈する。各段階で、関連性、権威性、一致度、提示方法に関する判断が加わる。

モデルは、クエリの文言に非常によく一致するという理由で、悪意あるページを取得する可能性がある。そのページを正確に引用することもできる。モデルが何かを捏造しなくても、最終的な回答は有害になりうる。

研究者らはこの問題を幅広く検証し、2025年のUSENIX Security Symposiumで発表した。AI検索に関する研究では、複数の脅威データベース由来の悪意ある資料を使い、実運用中のAI搭載検索エンジン7種を評価した。

研究者らによると、評価フレームワークの下でテストした回答の47％はリスクがあるものだった。また、34％は回答内で有害なコンテンツを直接引用していた。

これらの割合をGoogle Searchの日常的な失敗率として扱うべきではない。この実験は意図的に悪意ある入力を使用し、複数の製品をテストしたものだ。通常の一般消費者トラフィックではなく、敵対的な条件下での脆弱性を測定している。

ただし、その仕組みは依然として重要だ。研究者らは、AI検索システムがフィッシングサイトを正規の公式サイトとして認識しうることを示した。また、オンライン文書のなりすましが生成された回答を誤らせる仕組みも示した。

この研究ではAI検索と従来型検索を比較し、有用性と安全性の両面でAI搭載システムの方が総合的に優れていることが分かった。この結果は、リンク一覧が常に安全だという単純な結論を退ける。

実際のトレードオフは、より精密だ。AIによる統合は関連性を高め、一部の悪意あるページへの接触を減らせる。一方で、取得した虚偽を直接的な推奨へと変えてしまうこともある。

従来の検索結果は、ドメイン名、スニペット、競合するリンク、順位の違いを表示する。こうした手がかりは、注意深い人が不確実性を見抜く助けになる。AIによる統合は、ユーザーに代わって見解の対立を解消することで、その摩擦を減らす。

攻撃者は反復も悪用できる。複数のページに同じ偽の数字が載っていれば、取得システムはそのパターンを裏付けと解釈するかもしれない。しかし、それらのページは互いにコピーしているだけか、同一キャンペーンに属している可能性がある。

したがって、情報源の多様性はURLの数を数える以上の意味を持たなければならない。信頼できるシステムは、共通の所有者、コピーされた文章、侵害されたサイト、最近のドメイン変更、組織の公式チャネルとの矛盾を特定すべきだ。

鮮度も別の課題を生む。新たに設置されたページには、古い公式サポートページより緊急のクエリによく一致する最新のキーワードが含まれていることがある。検索の鮮度は、情報源の権威性に不利に働きうる。

侵害された正規サイトはとりわけ扱いが難しい。信頼されているドメインが、所有者の知らないうちに注入されたコンテンツをホストしている場合がある。そのドメインが築いてきた評判が、攻撃者の偽装の一部になる。

Googleは長年にわたり、Safe Browsing、スパム分類器、ランキング保護、手動報告チャネルを運用してきた。これらの層により、Searchは極めて大規模な環境でより安全になっている。それでもAIの回答には、危険な遷移先だけでなく、生成された行動を対象にした対策が必要だ。

URL分類器は、ユーザーがフィッシングページを訪れる前に警告できる。しかし、すでに回答にコピーされた詐欺電話番号へ電話をかける人を完全には守れない。危険な情報はウェブページを離れている。

そのため、高リスクの項目には専門的な検証が必要だ。電話番号は公式の連絡先ページと照合すべきである。ウォレットアドレスを一般的なウェブ検索結果から合成すべきではない。ソフトウェアのダウンロードは、確認済みの発行元チャネルに解決されるべきだ。

システムは不一致も保持すべきだ。情報源が食い違う場合、最も安全な出力は、確認済みの連絡先が見つからなかったと明記することかもしれない。便利な詳細を一つ示すのを拒む方が、最も繰り返されている回答を選ぶより優れている場合がある。

安全性の主張と製品の約束は乖離する

Googleの防御は大幅に改善しうる一方で、回答優先のインターフェースは、証拠が裏付ける以上の信頼をなお促しかねない。

Googleの立場には強い事実的裏付けがある。同社は、ほとんどの組織が匹敵できない規模で不正利用対策システムを運用している。AIは膨大な量のウェブコンテンツ全体で、組織的な詐欺キャンペーンや新たな脅威を特定するのに役立つと同社は述べている。

同社の回答機能には情報源へのリンクもある。Googleは米国での広範な提供開始以降、AI Overviewsを調整しており、無意味または風刺的な回答を減らすことを目的とした変更も含まれる。

これらの対策は、Googleが問題を無視しているという見方に疑問を投げかける。検索チームは、敵対者がランキングやコンテンツを操作することを理解している。同社は数十年にわたり、スパム、マルウェア、欺瞞的な広告、ハッキングされたウェブサイトに対応してきた。

しかし、製品の約束はもはや関連ページを見つけることだけにとどまらない。回答ボックスは、ユーザーがすぐ行動に移せる統合された回答を提示する。そのため、求められる基準は発見の質から結論の質へと上がる。

Googleは大半のAI Overviewsが役立つと正確に言える一方、批判者も深刻なエッジケースを正確に指摘できる。平均的な有用性と大きな影響を持つ失敗は共存しうる。

Panda Securityの警告は、その隔たりに位置する。重要なのはGoogle NewsやAI Overviewsを必ず放棄すべきだということではない。インターフェースの権威性が、一部の根底にある主張の確実性を上回っているということだ。

セキュリティ報道では、AI Overviewsに詐欺的なサポート電話番号が表示された事例が報じられている。ただし、このような報告は個別事例であり、発生頻度の完全な測定ではない。

この制約は重要だ。公開された逸話だけでは、不正な詳細がどの程度の頻度で現れるかを立証できない。スクリーンショットは古くなる可能性があり、結果は地域によって異なり、Googleは不適切な回答を迅速に削除できる。

研究者も、個人向けに最適化された、あるいは急速に変化する検索出力を再現することに苦労している。今日テストしたクエリが、明日は異なる概要を返すかもしれない。アカウント、文言、地理的条件、閲覧コンテキストがページに影響を与える可能性がある。

したがって、AI Overviewsが広く安全でないという主張は、利用可能な証拠を超えることになる。問題が解決済みだという主張も行き過ぎだ。

擁護可能な結論はより限定的である。生成された回答は、悪意ある情報源にとって信頼できる攻撃対象領域を生み出す。実際の報告は、有害な連絡先情報が既存の防御をすり抜けうることを示している。

ユーザーはリスクに基づく検証ルールを適用すべきだ。一般的な説明は出発点として使える。実行可能な詳細には、権威ある情報源による確認が必要である。

カスタマーサポートについては、組織の公式ウェブサイトまたはアプリケーションを開く。AI要約、フォーラム、広告、ディレクトリに表示されたというだけで電話番号を信頼してはならない。

金融サービスでは、カードに印字された番号か、認証済みアプリケーション内に表示される番号を使う。着信相手にワンタイムコード、パスワード、または完全な決済認証情報を決して共有してはならない。

ソフトウェアについては、開発元の確認済み配布チャネルを利用する。回答が公式だと説明していても、見慣れないドメイン経由で推奨されるインストーラーは避けるべきだ。

アカウント復旧では、サービスに直接アクセスする。正規の担当者が、リモート操作、画面共有、ギフトカード、暗号資産、または即時送金を要求することはない。

Googleも同様の詐欺対策ガイダンスを提供している。同社は、急がず、情報源を確認し、カスタマーサービス情報には公式チャネルを使うようユーザーに助言している。

このガイダンスは、負担の一部をユーザーに戻すものだ。合理的な助言ではあるが、同時に矛盾も露わにする。回答ボックスが時間を節約できるのは、検証が必要になるまでにすぎない。

長期的な解決策は、恒久的にユーザーへ疑念を求めることだけではありえない。Googleは取得、ランキング、提示、警告の設計を管理している。危険な行動が起きる前に、不確実性を可視化できる。

Google Newsの読者が次に注目すべき点

次の段階は、行動レベルの検証、透明なインシデント報告、独立した安全性テストという3つの指標で評価される。

最初の指標は、Googleが連絡先情報や取引指示を特別なリスク分類として扱うかどうかだ。資金を動かしたり、アカウントを開設したりする情報には、通常の関連性スコアリングだけでは不十分である。

確認済みの電話番号には、組織の公式ドメインまたは認証済みビジネスプロフィールとの一致を求められる可能性がある。Googleがより強力な検証を導入すれば、回答ボックスが取引に関わるクエリを安全に処理できるという主張を支えることになる。

そのような対策がなければ、現在の矛盾は残る。Googleは直接的な回答を提供しながら、ユーザーには別の場所でその回答を確認するよう助言し続けることになる。

2つ目の指標は、より優れたインシデント透明性だ。Googleはブロックした詐欺ページに関する大まかな数値を公表しているが、ユーザーには生成された回答内に現れた有害な詳細に関する情報も必要だ。

有用な報告では、悪意あるリンク、偽のサポート電話番号、侵害されたドメイン、捏造された指示を区別するべきだ。また、検出までの時間、削除までの時間、再発についても説明すべきである。

これらの測定は、攻撃者が容易に回避できる防御手法を明らかにすべきではない。GoogleがAI検索を拡大する中で、回答レベルのインシデントが減少しているかを示すべきだ。

インシデント率の低下は、Googleの安全性に関する主張を強める。回答に特化した証拠を伴わない広範な削除件数だけでは、中心的な疑問は解決しない。

3つ目の指標は、再現可能な独立テストだ。セキュリティ研究者には、AI検索製品全体で情報源の質、引用の忠実性、高リスク行動を評価する安定した方法が必要である。

テストでは、通常の事実誤認と敵対的な操作を分けるべきだ。また、有害な引用と、回答内で直接提供される有害な指示も区別すべきである。

研究者は可能な限り、クエリセット、実施時期、地域、評価ルールを公表しなければならない。生成結果は急速に変化するため、透明な手法は孤立したスクリーンショットより重要だ。

独立テストでは、GoogleをMicrosoft、OpenAI、Perplexity、その他のプロバイダーと比較することもできる。この比較により、特定の製品に固有の弱点なのか、それとも回答エンジンというモデル全体に共通する問題なのかが明らかになる。

ユーザーにとっての運用ルールは、すでに明確だ。AI Overviewは確認済みの権威ではなく、迅速な要約として扱う。回答に資金を動かす、アカウントをさらす、デバイスを変える可能性のある詳細が含まれる場合は、情報源を開く。

Google Newsはこれらのリスクに関する価値ある報道を表示できる一方、Google Searchは依然として議論の対象である危険なインターフェースを生成できる。この対比は、AI検索をめぐるより大きな緊張を捉えている。

回答ボックスが便利なのは、手間を省くからだ。検証が必要なのは、その省かれた手間にかつて判断が含まれていたからである。Googleが製品内でその判断を確実に取り戻せるようになるまで、最も安全な対応はもう一度確認することだ。

電話をかける、支払う、インストールする、共有する前に、一つだけ問いかけてほしい。組織自身の確認済みチャネルは、この詳細を確認しているか。不明確なら、やめる。Googleの要約は検索の始まりにはなっても、判断の終わりであってはならない。