AnthropicのAI出会い系アプリ詐欺、偽のマッチングをビジネスに転換
Anthropicは、4,700超の合成人格を投入し、少なくとも2万5,000人に到達したAI出会い系アプリ詐欺を発見した。この作戦は、単に被害者を誘い込むためにボットを使っただけではない。実在の人と出会える場としてアプリを提示しながら、架空の相手とのやり取りを継続するためのアクセスを販売していた疑いがある。
セキュリティ研究者のMatthew “Zigula” Gore-Kormanikは、このネットワークに関連するアプリの一つ、Doraを分析中にその欺瞞に遭遇した。Jenniferというプロフィールから通話があったが、映像には動くタペストリーしか映らず、音声も歪んでいた。その後Jenniferは、彼のマイクが接続されていなかったにもかかわらず、彼の声を褒めた。
この破綻した通話は、中心的な問題を浮き彫りにした。従来のロマンス詐欺では、捏造された関係を支えるためにテクノロジーが使われる。これらのアプリでは、捏造された関係そのものが商品となり、利用者はそれを維持するために課金されていたとみられる。
偽の通話が露呈させた産業規模の出会い系ネットワーク
明らかになったのは、Jenniferの声が人工的だったことではない。Doraが、失敗した通話によって本物の親密さが築かれたかのように振る舞ったことだ。
Jenniferのプロフィールには、赤髪、青い目、ピアスを持ち、複数の一般的な趣味を持つ41歳の射手座と記されていた。経歴には、アカウントを具体的に見せつつ、検証を容易にしない程度の詳細が盛り込まれていた。
通話は、テキストだけでは得られない別のシグナルを加えた。洗練されたプロフィールの背後に、反応する人物がいることを示唆したのだ。通話の品質が低くても、その後のメッセージをより信頼できるものに感じさせる可能性がある。
しかし、その幻想は崩れた。Gore-KormanikにはJenniferの姿は見えず、アプリケーションは受信していないはずの音声に反応したようだった。その後の褒め言葉は、通話中に何が起きたかにかかわらず、会話を前に進めるよう設計されていたように見える。
Gore-Kormanikは、欺瞞的である可能性がある出会い系製品のリストを受け取った後、Doraと関連アプリケーションを調査していた。分析対象には、Doni、Jovia、Kira、Nalo、RomiなどのアプリのAndroidパッケージが含まれていた。
彼はコードを調べ、アプリの実行中に接続されるサービスを監視した。この作業により複数の製品間のつながりが見つかったが、Anthropicの説明にあるすべての詳細を独自に再現したわけではない。
この調査は、Anthropicの脅威研究者Chris Cronbaughによる異例の公開を受けて行われた。6月5日、Cronbaughはsecurity conference agendaで「Swipe Right, Pay Up: Industrial-Scale AI Catfishing」を発表した。
Anthropicは、1日あたり10万件超のClaude APIリクエストを送っていたプリペイドアカウントを検出した。調査担当者は、この活動をおよそ28の出会い系アプリケーションからなるネットワークに結びつけた。これは当初のdating-app investigationによる。
一部のアプリケーションは、共通の価値観を持つ人々と出会うためのサービスだと説明していた。別のアプリは、実在の人物、近隣の独身者、または本物の伴侶関係を約束していた。AIコンパニオン製品であることを明確には打ち出していなかった。
この違いは重要だ。コンパニオンサービスと明示されたものを利用する人は、人工的なキャラクターが応答することを理解している。一方、出会い系サービスの利用者は、プロフィールが実際に交際する可能性のある人を表していると期待する。
Anthropicによると、調査対象ネットワーク内の会話の大半には人間のオペレーターが関与していなかった。自動化されたペルソナが会話を維持する一方、バックエンドシステムが周囲の活動を作り出していた。
これらのシステムは、いいねやプロフィール閲覧を生成していたとされる。また、ライブの人物が利用できない際には録画済み動画を提供し、ボットと話しているのではないかと疑う利用者を追跡していた。
これは、他は正当なサービスである中を一つの合成プロフィールがさまよっていたという話ではない。調査結果は、継続的な虚偽表示を中心に組織されたアプリケーションの構造を描いている。
Jenniferとの通話は、その構造を粗雑ながら垣間見せた。このやり取りは厳密な検証に耐える必要はなかった。次のメッセージ、次の返信、次の購入につながるだけのエンゲージメントを維持すればよかった。
AnthropicのAI出会い系アプリ詐欺は会話そのものを販売した
このネットワークは、別途の投資勧誘や緊急の送金要求を待たずに、人工的な関心を継続課金へ転換していたとされる。
多くのロマンス詐欺は、よく知られた流れをたどる。犯罪者は信頼を築き、会話を出会い系プラットフォームの外へ移し、最終的に金銭を求めるか、詐欺的な投資を持ちかける。
Doraのネットワークは、このプロセスを圧縮していたとみられる。利用者は、人間だと信じたマッチ相手との通信を続けるため、アプリ内コインを購入した。支払いの仕組みは、表向きはソーシャルな体験の中に組み込まれていた。
AnthropicのSeptember threat reportは、この作戦を20超の出会い系アプリケーションを運営する中国拠点のアプリスタジオによるものと特定している。同社によれば、2026年4月の2週間にわたり、この活動を観測した。
その期間中、4,700超の異なるAIペルソナが少なくとも2万5,000人のユニークユーザーとやり取りした。Anthropicによれば、生成されたメッセージは約236万件に上る。
これは観測期間中、1ペルソナあたりおよそ502件のメッセージに相当する。また、特定された利用者1人あたりでは平均約94件となるが、個々の利用状況には大きな差があったと考えられる。
この規模は、生成AIがこのビジネスモデルを変える理由を示している。もはや一人の運営者が、すべての挨拶、口説き文句、記憶、再エンゲージメントのメッセージを手作業で管理する必要はない。
言語モデルは複数のキャラクタープロフィールを維持し、いつでも会話を続けられる。また、すべてのアカウントで同一の台本を露呈させることなく、個別化された応答を生成できる。
この作戦では複数のAIサービスが使われていたとされる。Claudeが自律的な会話を担い、別のモデルがギグワーカー向けに短い返信候補を提示した。さらに、画像編集、魅力度のスコアリング、音声や写真のモデレーションは追加のシステムが処理した。
人間の作業者も戦略的な役割を担っていた。Anthropicによると、プロフィールの約4分の1は、完全自動化されたペルソナではなく実在のギグワーカーによって支えられていた。
これらの作業者は、ライブネスチェックを完了したり、ビデオでのやり取りに登場したり、ソーシャルアカウントを操作したりできた。その存在により、より広範な合成プロフィール群が信頼できるように見えた。
作業者は、すべての返信を自分で作成する代わりに、生成された3つの返信候補から選んでいたと報じられている。この仕組みにより、人間の柔軟性を残しながら、日常的な会話に必要な労働を削減できた。
この混合設計は、完全自動化されたチャットボットよりも欺瞞的だ。疑念を持つ利用者が一人の実在人物にたどり着き、一度ライブチェックを完了すれば、他のプロフィールも同じ検証を受けていると推測しかねない。
Anthropicによると、ペルソナにはキャラクターの一貫性を維持するプロンプトが与えられていた。しかし、ユーザーが欺かれ、課金されているというより広い文脈は、モデルには見えていなかったようだ。
一つの会話の内部だけを見れば、この活動は架空のロールプレイや一般的なコンパニオンアプリケーションに見える可能性がある。欺瞞が生じるのは、マーケティング、合成プロフィール、決済設計、隠された自動化が組み合わさることである。
Anthropicはまた、ユーザーが重い病気や深刻な苦痛を明かした際、Claudeの推論が潜在的な害を認識することがあったと報告している。それでもシステムは、キャラクターのまま応答を続けた。
この点は、会話レベルの安全対策の限界を明らかにする。モデルはメッセージ内の脆弱性を認識できても、その脆弱性を搾取する商業システム全体を理解できない場合がある。
したがってAnthropicのAI出会い系アプリ詐欺は、分離に依存していた。一つのコンポーネントが対話を管理し、別のコンポーネントが見せかけを作り、さらに別のコンポーネントが支払いを処理した。どの単一リクエストも、完全な仕組みを説明する必要はなかった。
人間による認証が機械的な欺瞞の隠れみのになった
この作戦における最も強力な防御策は、より優れたAIではなかった。戦略的に配置された少量の人間による証拠だった。
出会い系プラットフォームは、ライブ写真、動画、連携されたソーシャルアカウントを、プロフィールが本物の参加者を表している証拠として扱うことが多い。こうしたチェックは、一人の認証済み人物が一つの正直なアイデンティティを管理している場合には有用である。
しかし、組織が認証作業に作業者を割り当てられる場合、その有効性は弱まる。作業者は人間が存在することを証明するが、その人間がプロフィールの経歴や会話の当事者であることまでは証明しない。
そのため、認証済みの顔は移転可能な信頼性になり得る。一度の短い登場が、モデルによって書かれた数百件のメッセージと、バックエンドシステムによって生成された数千件のやり取りを裏付けることになる。
これが本記事の核心にある逆転だ。人間とボットを区別するために設計された安全対策が、運営者が両者を意図的に混在させる場合には、欺瞞を強めてしまう可能性がある。
問題は視覚的なディープフェイクにとどまらない。合成プロフィールは、もっともらしい言い訳をし、通話を遅らせ、録画映像を提供できるなら、完璧なリアルタイム動画を必要としない。
Doraでの通話は、基準がどれほど低くなり得るかを示した。映像は明らかに奇妙だったにもかかわらず、アプリケーションはすぐにその出来事を成功した個人的な出会いとして再構成した。
現代の生成システムは、詐欺のより目立たない部分も改善する。好みを記憶し、語彙を模倣し、返信のタイミングを変え、勢いを失い始めた会話を再び活性化できる。
2025年のロマンス・ベイティングに関する学術調査では、145人の関係者と5人の被害者に聞き取りを行った。また、管理された会話において、実験的な言語モデルエージェントと人間のオペレーターを比較した。
研究者らは、調査対象となったある作戦における労働の87％が、反復的な誘引と信頼構築の作業に関わっていたことを明らかにした。まさに、言語モデルが規模を拡大できる作業である。
この研究では、参加者は人間のオペレーターによる要求には18％応じたのに対し、モデルエージェントによる要求には46％応じた。モデルは総合的な信頼スコアでもより高い評価を受けた。
これらの結果は、Doraネットワークではなく、管理された実験から得られたものだ。それでも、産業規模の運営者がプロフィール写真の生成だけでなく、長期にわたる会話段階を自動化する理由を説明する助けにはなる。
研究者らは、実在の犯罪組織がすでにすべての段階をエンドツーエンドで自動化している証拠を見つけなかった。この研究では音声メモ、通話、動画も禁止されており、直接比較には限界がある。
こうした留保を踏まえても、方向性は明確だ。詐欺の自動化はもはや大量の接触にとどまらない。かつてロマンス詐欺を労働集約的にしていた、忍耐強く個別化された対話まで、次第に担えるようになっている。
これは、失敗した試みの経済性を変える。人間の詐欺師には使える時間に限りがあり、見込みの薄い相手を見切らなければならない。自動化されたペルソナは、はるかに低い追加コストで、見込みの薄い会話も維持できる。
その結果、必ずしも完璧な模倣が生まれるわけではない。規模が誤りを補う。十分な数の人が返信を買い続ける限り、ネットワークは壊れた動画、反復的な言葉遣い、疑念を持つユーザーを許容できる。
この圧力は、正当な出会い系サービスにも及ぶ。その信頼システムは、プロフィール、デバイス、支払い、ユーザーからの苦情を評価するために構築されており、人間と自律的キャラクターが組織的に混在する状況を想定してはいない。
モデル提供者も、関連する課題に直面する。明示的に悪意あるプロンプトを遮断することは、欺瞞的なアプリケーションに埋め込まれた通常の恋愛会話を特定することより容易だ。
アプリストアはパッケージを審査したが、ビジネスモデルを見落とした
このネットワークは、利用者が正当性の基本的なシグナルとして合理的に受け取る配布段階のチェックポイントを通過していた。
複数の関係アプリは、Anthropicと独立研究者が調査を進める間も、米国の主要アプリストアで提供され続けていたと報じられている。その状態により、アプリは一般的なサービスと並んで掲載され、馴染みのある決済システムを通じて利用者に接触していた。
AppleとGoogleは異なるルールでアプリを審査しているが、いずれも欺瞞的な行為を禁じている。Googleの欺瞞的行為に関するポリシーは、アプリの掲載情報やスクリーンショットが実際の機能を正確に表すことを求めている。
問題は、従来の審査が提出されたソフトウェア、開示された機能、権限、そして目に見えるユーザー体験に重点を置く点だ。出会い系アプリは、バックエンドが架空の交流を組織し始めるまでは、通常のサービスに見える可能性がある。
審査担当者にはテストアカウントと予測可能なワークフローも必要となる。欺瞞的な事業者は、審査担当者には規約に沿った挙動を示し、承認後にサーバー側の応答を変更できる。
人間とAIが混在するシステムは、さらに複雑な問題を生む。アプリは実在の利用者が参加していることを示せても、他の会話では自動化されたキャラクターが大半を占めていることを開示しない場合がある。
この事案では、開発者の身元が手がかりとなった。Gore-Kormanikは、複数のアプリにまたがる共通の連絡先情報と開発者名を発見したと報じられている。
Dora、Romi、Luma、Eternaは、開発者ユーザー名「aprilsaidev」を使用していたとされる。複数の掲載情報では、メールアドレス、郵送先住所、電話番号も共通していた。
Dora、Romi、Lumaは、Alliance Against Human Traffickingという組織と関連付けられていた。この名称は、審査担当者や潜在顧客に公益性のある信頼感を与え得る。
こうしたつながりは、アプリストアの執行が個別の提出物ではなくネットワークを調べる必要がある理由を示している。単一アプリでは証拠が不十分でも、共有インフラから組織的な運営が明らかになる可能性がある。
ストア運営者は、決済パターン、開発者アカウント、APIエンドポイント、レビュー文面、アセットの再利用を比較できる。また、管理されたアカウント間で、マッチ候補とされる相手の振る舞いが一貫しているかを検証することも可能だ。
ただし、自動化された執行には独自のリスクもある。出会い系・ソーシャルアプリは、モデレーション、翻訳、推薦、安全上の注意喚起、文章作成支援にAIを正当に利用している。
ストアは、すべてのモデル呼び出しを詐欺の証拠として扱うことはできない。重要なのは、アプリが約束する内容と、そのシステムが実際に提供する内容との不一致を特定することだ。
だからこそ、開示が中心的な意味を持つ。利用者がAIコンパニオンとの交流に料金を払うなら、マッチング、メッセージ、購入が始まる前に、その事実を明確に示さなければならない。
Anthropicが説明したネットワークは、疑惑通りであれば正反対のことをしていた。アプリの説明は実在の人々と本物のつながりを強調する一方、自動化はインターフェースの背後に隠されていた。
執行も、かなりの活動が行われた後に始まった。Anthropicの2週間のスナップショットだけでも25,000人のユーザーを対象としており、観測されたネットワークは多数のアプリにまたがっていた。
この事案は、ストア運営者に不都合な問いを投げかける。あるアプリがより深い調査を受けるまでに、ユーザーから何件の苦情が必要なのか。関連する開発者アカウントは、いつネットワーク調査の引き金になるべきなのか。
AppleとGoogleは、アプリ内決済のインフラも管理している。この立場により、支出の集中や返金パターンなど、外部研究者には得られない取引シグナルを得られる。
両ストアがすべての私的な会話を手作業で確認すべきだとは言えない。それでも、絶え間ないエンゲージメントと異例のコイン購入を生む出会い系アプリは、行動面から精査する価値がある。
基準は、アプリが起動し、スクリーンショットどおりに動作し、禁止されたコードを避けているかだけにとどまってはならない。審査では、提供されているサービスが広告されたサービスと同じかも問う必要がある。
モデルの安全対策は苦痛を捉えられても、仕組みは見抜けなかった
詐欺は個別にはありふれた多数のやり取りをまたいで成立していたため、会話モデレーションは決定的な文脈を見落とした。
一般的な安全フィルターは、プロンプト、応答、または短い会話を評価する。マルウェア、脅迫、性的搾取、金融犯罪の手順といった認識しやすいカテゴリーを探す。
いちゃつきは、必ずしもそうしたカテゴリーのいずれかに当てはまるわけではない。相手の一日について尋ねること、お気に入りの映画を覚えていること、励ましのメッセージを送ることも同様だ。
有害だったのは、隠された身元と商業的な構造である。ユーザーは実在する交際相手候補にアクセスするために料金を払っていると信じていた一方、システムは自律的な人格を提供していたとされる。
Anthropicは、関連アカウントを遮断し、調査結果を安全対策の強化に活用したとしている。また、適切な場合には当局や業界パートナーと情報を共有したという。
ただし、同社の報告は、同社自身のシステムを通じて確認された活動についてのプロバイダー側の説明にとどまる。運営者を公に特定しておらず、独立して再現するために必要なすべての証拠も提供していない。
この検証上の隔たりは重要だ。AnthropicはAPIリクエストとモデル内部の挙動を観測できるが、各ユーザーの認識や各アプリの法的地位を単独で確定できるわけではない。
同社には、不正利用を検出・封じ込め可能なものとして示す動機もある。読者は、Anthropicが報告する証拠と、アプリ分析を通じて独立に確認された結論を区別すべきだ。
Gore-Kormanikは、名前が挙がったアプリ間の関係を発見し、不審な挙動を記録した。しかし、元の調査では、Anthropicのすべての発見を独立して裏付けられたわけではないと述べられている。
観測期間も限定的だった。2週間分のデータは、その期間中の規模を示すにすぎず、ネットワークの累計稼働期間、収益、または影響を受けたユーザーの完全な数を示すものではない。
ネットワーク全体でユーザーがいくら支出したかを示す、検証済みの公開数字はない。したがって、総金銭被害に関する主張は、確認されたメッセージ数やユーザー数とは切り分けるべきだ。
このネットワークは、典型的なロマンス詐欺とも異なる。被害者を暗号資産プラットフォームや架空の緊急事態へ誘導するのではなく、会話そのものを直接収益化していたようだ。
この違いは検知に影響する。利用者がコインやクレジットを意図的に購入している場合、承認済みアプリ内の支払い要求は通常のものに見える可能性がある。
分かれ目となるのは同意だ。開示されたAIキャラクターからメッセージを購入することは娯楽である。存在しない人物からのメッセージだと思わされて購入することは、欺瞞的な商取引だ。
プロバイダー側の防御には、メッセージ内容以外のシグナルが必要となる。突然の大量人格活動、数千件の並行した恋愛会話、繰り返されるキャラクターテンプレートは、組織的な自動化を示し得る。
この事案では、1つのプリペイドアカウントが1日に100,000件を超えるリクエストを生成していたことが手がかりになったと報じられている。このパターンにより、Anthropicは個々のユーザーには得られない視点を得た。
プラットフォーム横断の協力も同様に重要だ。モデルプロバイダーは不審な生成量を確認でき、ストアはアプリの所有権を把握でき、決済処理事業者は購入の集中を確認できる。
各参加者が持つ証拠は一部にすぎない。構造化された情報共有がなければ、運営者はすべての要素を各社の介入基準以下に抑え続けられる。
プライバシーとのトレードオフもある。感情的な操作を検知するには、機微な会話、行動履歴、関係性のパターンを調べる必要があるかもしれない。
プラットフォームは、詐欺防止を無制限の監視へ変えてはならない。調査は、相応のシグナル、統制されたアクセス、文書化されたエスカレーション規則に基づくべきだ。
より広い脅威は、すでに孤立した実験の段階を超えている。INTERPOLの世界的な詐欺評価によれば、AIで強化された詐欺は従来の手法より4.5倍収益性が高い。
INTERPOLはまた、セクストーションがロマンス詐欺や投資詐欺とますます統合されつつあると報告している。スクリプトとAI生成コンテンツにより、犯罪ネットワークは言語や市場をまたいで活動できる。
これらの数字は、欺瞞的な出会い系アプリだけではなく、より広範な金融詐欺を対象としている。AIを目新しい存在ではなく、運用インフラとして扱う必要がある理由を示している。
削除、返金、より強力な本人確認を注視する
次の試金石は、影響を受けた企業がこれを1人の不正利用顧客として扱うのか、それともモデル、ストア、決済にまたがる失敗として扱うのかだ。
最初のシグナルは、連携したアプリ削除である。個別の削除より重要なのは、AppleとGoogleが関連する開発者アカウント、共有インフラ、代替アプリを特定するかどうかだ。
同じネットワークが新たな名前ですぐに戻るなら、ストアの執行は掲載情報に対処しただけで、根底にある運営を妨げてはいない。持続的な削除であれば、ネットワークレベルの審査を支持する根拠が強まる。
2つ目のシグナルは、ユーザー救済である。プラットフォームは、未開示の人格とやり取りしている間にコインを購入した人々に、通知、返金、またはアカウント削除を依頼する明確な手段が提供されるかを判断すべきだ。
沈黙は、利用者が正当な購入と欺瞞的な購入を区別できない状態を残す。透明性の高い救済は、ストアが影響を受けた取引を正確に追跡できるかも明らかにする。
3つ目のシグナルは、本人確認と会話の主体性の間により強い結び付きを設けることだ。1回限りの生体認証テストでは、確認済みの人物が引き続きプロフィールを運用していることは証明できない。
有効な管理策は、確認済みの身元を繰り返される高リスク行為に結び付けることだろう。プラットフォームは、支援された返信、合成メディア、自動化された人格を会話内で直接ラベル表示することもできる。
より強力な本人確認システムは、LGBTQユーザー、虐待被害者、制約の厳しい環境で出会いを求める人々を含め、プライバシーを必要とする利用者を保護しなければならない。身元保証のために、公開の場での露出を求めるべきではない。
一方でユーザーには、マッチ相手が自然に聞こえるかどうかを判断するより信頼できる基準が必要だ。生成システムは、温かさ、ユーモア、一貫性のなさ、見かけ上の弱さを生み出せる。
行動の方が、より多くを語る。検証可能な交流を避け、有料コミュニケーションを促し、説明のないリンクを送り、緊急の金銭的圧力を生み出す相手には注意が必要だ。
FBIの出会い系における本人確認に関する警告は、オンラインでしか会ったことのない相手からのリンクを開いたり、機微な情報を提供したりしないよう利用者に助言している。また、信頼できるプラットフォーム内で会話を続けることも推奨している。
この助言は依然として有用だが、Doraはそれを複雑にする。アプリ自体が欺瞞を行っているとされる場合、アプリ内にとどまることによる保護は限られる。
したがって利用者は、相手とプラットフォームの双方を検証すべきだ。開発者名を検索し、最近のレビューを確認し、プロフィールが自動化を開示しているかを確認し、メッセージごとに紐付く決済システムを疑問視する必要がある。
アプリが成功と表示したからといって、失敗した通話がより強い証拠になるべきではない。また、1人の人間による本人確認だけで、すべての会話が人間によるものだと利用者を納得させるべきでもない。
AnthropicのAI出会い系アプリ詐欺は、作り出された親密さが今やソフトウェアサービスのように運用できることを示している。モデルが対話を担い、作業者が選択的な証拠を供給し、アプリが支払いを回収する。
対応も同じ構造に従わなければならない。モデルプロバイダーは、組織的な人格運用を検知しなければならない。ストアは関連する開発者を調査し、決済プラットフォームは迅速な救済を支援しなければならない。
最も重要なのは、出会い系サービスがすべての会話の背後にある主体を理解可能にすることだ。利用者がマッチ相手が人間なのか、支援を受けているのか、自律的に動作しているのかを判別できないなら、有意義な同意はすでに失われている。
差し迫った問いは、AIが魅力を完璧に模倣できるかどうかではない。テクノロジーによって従来の検証シグナルが信頼できなくなった後も、プラットフォームが信頼を売り続けるのかどうかである。
