独裁政権はいかにAIを用いて監視と政治的統制を拡大するのか
Google Newsが浮き彫りにしたのは、人工知能が権威主義政府による、反対者と見なされた人々の特定、監視、沈黙の強要を、かつてない速度で支えているという深刻な対立である。
この変化は、単にカメラを増設したり、より多くのウェブサイトを遮断したりすることではない。政府はいま、これまで分断されていたデータベースをまたいで、顔、行動、メッセージ、人間関係、行動パターンを結び付けられる。
この統合は、支配者とそれに異議を唱える人々の間の力関係を変える。従来の弾圧は、抗議活動、出版、政治組織に反応するものだった。AIを活用した弾圧は、こうした活動をより早く検知し、その重要度を順位付けし、広がる前に妨害しようとする。
中国は、このモデルを最も広範に構築してきた。ロシア、イラン、その他の政府も、顔認識、自動検閲、データ統合、オンライン影響工作を重ね合わせた手法を導入している。
これらのシステムは依然として不完全だ。誤りを生み、政治的バイアスを受け継ぎ、なお人間の当局者に依存している。それでも、権威主義政府が優位に立つために完璧な予測は必要ない。
組織化、発言、移動、匿名性の維持に伴うコストを高めるのに十分な情報があればよい。この萎縮効果は、アルゴリズムが頻繁に誤作動していても、体制を強化し得る。
したがって、中心的な争点は独裁政権と単一のテクノロジー企業の対立ではない。自動化された政治的統制と、説明責任を伴うAIガバナンスの対立である。
この対立は国境を越えて広がる。監視システムの部品は多国籍のサプライチェーンから供給され、政府はインフラ、運用ノウハウ、規制モデルを交換している。
Google Newsが明らかにするAI主導の弾圧
重要なのは個別の導入事例ではなく、分断されていた統制手段が、ますます統合された政治システムへと転換していることだ。
権威主義政府は以前から、批判者に関する情報を収集してきた。秘密警察は会合を監視し、通信を傍受し、情報提供者を勧誘し、政治的に危険と見なした人々の記録を作成してきた。
こうした手法には多大な労力が必要だった。当局者は誰を追跡するか、どのメッセージを読むか、異なる部署に保管された断片的な情報をどう結び付けるかを判断しなければならなかった。
AIはその行政的負担を軽減する。コンピュータビジョンはカメラ映像を検索でき、自然言語処理はメッセージを分類し、禁止された話題を検出できる。
複数の情報源の記録を組み合わせるデータ統合は、顔を電話番号、車両、住所、勤務先、ソーシャルネットワークと結び付けられる。予測分析はその後、政府が定義したリスクスコアに従って人物や出来事を順位付けできる。
その結果、網羅的な監視網が広がる。当局は、既知の容疑者の短いリストではなく、住民全体から監視を始められる。
Freedom Houseは、デジタル弾圧に関する調査で、このより広範な変化を記録した。同団体の研究者は、世界のインターネット利用者の88％を占める70カ国の動向を調査した。
同団体によると、2023年の報告期間中、インターネットの自由は13年連続で低下した。調査対象70カ国のうち55カ国で、人々はオンラインでの表現を理由に法的な不利益を受けた。
少なくとも21カ国の政府は、プラットフォームに対し、不都合なコンテンツへの機械学習の利用を義務付ける、または促す法的規則も設けていた。こうした規則は、民間プラットフォームを国家検閲の延長線上に置き得る。
生成AIはさらに別の層を加える。記事、画像、音声、コメント、偽造された身元を、従来のプロパガンダ部隊よりも速く生み出せる。
Freedom Houseは、報告期間中、政府または政治的主体が少なくとも16カ国で生成ツールを利用し、公共の議論を歪めていたとした。少なくとも47の政府が、オンライン上の議論を操作するためにコメント投稿者を動員していた。
こうした活動は、通常の政治的メッセージ発信とは異なる。組織的なキャンペーンは、見かけ上の合意を作り出し、独立報道を圧倒し、本物の証拠を捏造物と見分けがつかないものにすることができる。
体制にとって、混乱は説得と同じくらい有用になり得る。あらゆる動画、アカウント、文書を信用できない市民は、共有された出来事の理解を軸に組織化することがより難しくなる。
だからこそ、Google Newsの見出しは、直接の掲載元を超えた重要性を持つ。それは、政治的統制のあり方における構造的な変化を示している。
AIは検閲、逮捕、インターネット遮断、威嚇に取って代わるものではない。政府がそれらをどこに適用するか、またその規模をいかに隠すかを判断する助けとなる。
このシステムは、執行からも学習する。逮捕は、新たな端末記録、連絡先、移動履歴、取り調べ資料を生み出し、それが後の捜査に利用され得る。
このフィードバックループは、一つひとつの介入を追加の学習データへと変える。また、決定的な関連付けがアクセスできない政府データベースの内部で行われる可能性があるため、弾圧を検証しにくくする。
この変化は深刻な説明責任の空白を生む。影響を受けた本人は、どのデータが当局の関心を引いたのか、アルゴリズムがどう評価したのか、誰かが結果を検証したのかを知ることさえできないかもしれない。
治安機関がそのプロセスを機密扱いすれば、有意義な不服申立てはほぼ不可能になる。不透明性は単なる技術的な問題ではない。システムを利用する組織の政治的利益に資するものだ。
権威主義体制の優位性は、完全な精度ではなく規模にある
独裁政権がAIから影響力を得るのは、説明責任を伴う法制度なら拒むべき誤りを許容できるからだ。
世間の議論では、監視システムの中心的な評価基準として精度が扱われがちだ。しかし、その枠組みでは政治的な問題を見落としてしまう。
顔認識モデルは、抗議参加者、ジャーナリスト、通行人を誤って照合する可能性がある。言語モデルは皮肉を反体制的発言と取り違える可能性がある。リスクシステムは、無実のつながりを不忠の証拠として扱う可能性がある。
権利を尊重する制度では、こうした失敗は開示、審査、訂正、補償につながるべきだ。裁判所、規制当局、ジャーナリスト、選挙で選ばれた公職者は、責任を負う機関に異議を申し立てられる。
権威主義体制には制約が少ない。威嚇そのものが体制を支える場合、指導者は多数の誤検知を受け入れられる。
誤って事情聴取された人でも、参加にはリスクが伴うことを学ぶ。その家族や同僚も同じメッセージを受け取る。当局が接触する前に、他の人々が身を引くかもしれない。
これにより、人々が監視や処罰を予期して合法的な行動を変える「萎縮効果」が生じる。政府は全員を訴追する必要はない。
市民に、匿名性が失われつつあると信じさせればよい。
AIは、監視が包括的に見えることでその認識を強める。ネットワーク化されたカメラは、実際には監視範囲に穴があっても、当局が都市全体の移動を再構築できるかのような印象を与える。
自動監視もオンライン上で同様の印象を生む。利用者には、削除された表現がアルゴリズム、人間のモデレーター、政府指令のどれによって検知されたのか分からない。
その不確実性が自己検閲を促す。また、人々が自らの行動を監視し始めるため、執行コストを政府から住民へ移転させる。
Carnegieの監視指数は、基盤技術が2019年までにどれほど広く拡散していたかを示した。
同調査は、176カ国中少なくとも75カ国でAI監視が積極的に利用されていることを確認した。スマートシティまたはセーフシティのプラットフォームは56カ国、顔認識は64カ国、スマートポリシングは52カ国で確認された。
これらの数値は、乱用を証明するものではない。Carnegieは、正当な導入と違法な導入を、この指数だけで区別することはできないと明確に指摘している。
この区別は不可欠だ。民主主義国の政府も、警察活動、国境管理、公共安全のために顔認識、予測システム、映像分析を利用している。
法的保護措置がこうした能力を制約するかどうかは、政治環境によって決まる。独立した裁判所、自由なメディア、調達の透明性、実効的な不服申立ては、誤用を減らし得る。
閉鎖的な体制には、こうした保護がない。治安機関は、政治的批判を過激主義、公共秩序の攪乱、分離主義、虚偽情報と定義できる。
その分類が監視リストに入れば、AIはその結果を自動化できる。追加の検査、渡航制限、アカウント制限、雇用上の圧力、繰り返される警察からの接触に直面するかもしれない。
コンピュータが政治的な分類を作り出すわけではない。それを数百万件の記録に適用しやすくするのだ。
これは、中立的なアルゴリズムに関する主張が不十分である理由を説明する。技術的に正確なモデルであっても、虐待的な政策を支え得る。
政府が平和的な抗議者を特定するようシステムに命じた場合、精度を向上させても人権上の問題は解決しない。侵害をより効率的にするだけだ。
同じ懸念は自動検閲にも当てはまる。分類器は、禁止された出来事、少数派、反対派の人物への言及をすべて正確に認識するかもしれない。
エンジニアリングの観点では、そのモデルは高い性能を示す。政治的観点では、市民が発言し、情報を得る能力を狭める。
したがってAIは、権威主義政府に、規模、速度、もっともらしい距離という三つの相互に結び付いた利点をもたらす。
規模は監視対象となる人数を増やす。速度は表現から執行までの時間を短縮する。もっともらしい距離により、当局者は判断をプラットフォーム、ベンダー、自動化プロセスに帰属させられる。
これらはいずれも人工汎用知能を必要としない。既存のコンピュータビジョン、データベース照合、レコメンデーションシステム、言語モデルが、すでに必要な構成要素を提供している。
中国はAI統制スタックを構築している
中国のモデルは、商業的イノベーション、法的義務、国家調達を組み合わせ、政治的統制のための再利用可能なインフラを形成している。
中国は、オンラインコンテンツ、物理的監視、警察活動、裁判所、刑務所にまでシステムが及んでいるため、最も発展した事例であり続ける。
Australian Strategic Policy Instituteは、中国のAIシステムに関する2025年の報告書で、この統合を検証した。
研究者らは、調達記録、企業提出書類、求人情報、モデルの挙動を分析した。また、政治的に敏感な画像200点のデータセットを用いて、中国の大規模言語モデルをテストした。
その調査結果は、単一の監視製品ではなく、統制スタックを描き出している。異なるシステムが情報を分類し、人を特定し、警告を生成し、当局者を支援し、コンテンツ規則を執行する。
中国の大規模言語モデルは、テキストをフィルタリングするだけではない。ASPIは、政治的に敏感な画像にも影響する検閲メカニズムを確認した。
これは、マルチモーダルモデルがテキスト、画像、音声、動画を含む複数の形式を処理するため重要である。したがって、検閲システムは異なるメディアにまたがって同じ政治的規則を適用できる。
この能力は、回避をより困難にする。利用者は歴史的に、直接的なテキストが遮断された際、画像、同音異義語、スクリーンショット、暗号化された言葉に頼ってきた。
複数の形式を解釈するよう訓練されたモデルは、そうした置き換えをより多く特定できる。人間の審査者は依然として文化的・政治的判断を担うが、自動化によってその到達範囲は広がる。
ASPIは、オンライン検閲の求人を100件以上調査した。レビュアーへの継続的な需要は、中国のシステムが人間をプロセスから排除していないことを示している。
むしろ、人間の労働者が変化する政治的境界を解釈し、その判断を自動化プロセスに組み込んでいる。機械が規模を担い、人々が許容されない発言の定義を更新する。
中国の規制は、商業的な需要も生み出している。大手テクノロジー企業は、小規模事業者がコンテンツを審査するために利用できるコンプライアンス・プラットフォームを開発してきた。
この仕組みは、デジタル経済全体に執行を分散させる。新しいサービスは、検閲業務全体をゼロから構築する必要がない。
既存の国家要件によって形作られたシステムを購入または統合できる。コンプライアンスは、例外的な介入ではなく、通常のインフラ費用となる。
刑事司法制度では、より大きな利害が関わる。ASPIは、中国が警察活動、起訴、裁判所、刑務所にわたってAIを導入していることを確認した。
報道によれば、これらのツールは文書、証拠処理、量刑の勧告、組織運営を支援しているという。それぞれの利用は、透明性と不服申立てに関して異なる問題を提起する。
訓練データが選択的な警察活動を反映している場合でも、自動化された勧告は客観的に見えることがある。政治的に方向付けられた制度において、過去の逮捕や有罪判決は中立的な記録を構成しない。
当局が過去に特定のコミュニティを重点的に標的にしていた場合、その履歴で訓練されたアルゴリズムは同じパターンを再生産し得る。そして、その反復を統計的証拠として提示できてしまう。
少数言語向けのシステムは、この懸念をさらに深める。ASPIは、ウイグル語、チベット語、モンゴル語、韓国語の処理に関する政府支援の取り組みを確認した。
商業開発者には、比較的小規模な言語グループ向けに高コストのモデルを開発する動機が限られている。監視と情報統制が投資を正当化する場合、国家が資金を供給できる。
こうしたモデルは、従来は希少な人間の専門家を必要とした発言を監視できる。また、テキスト、音声、動画にまたがって分析を拡張することも可能だ。
そのため統制のスタックは、複数の隙間を同時に埋める。言語の対象範囲を広げ、オンラインとオフラインの身元情報を結び付け、自動化された勧告を政府の意思決定のより深い部分へ持ち込む。
中国のシステムは、完全に中央集権化されているわけでも、一様に高い能力を持つわけでもない。機関ごとに予算は異なり、ベンダーが提供する製品にもばらつきがあり、地方当局者はいまなお重大な判断を下している。
その不均一性によって、誤った安心感を抱くべきではない。政治体制が恐怖を植え付けたり、選別した集団を処罰したりするために、技術的一貫性は必要ない。
Google Newsの読者も、この問題を中国に固有の展開へと還元しないよう注意すべきだ。中国は最も明確な大規模モデルを示しているが、その構成要素と運用慣行は他国にも広がっている。
その一部は商業輸出として移転する。ほかにも、研修関係、会議、標準化団体、警察間の交流、模倣を通じて広がる。
したがって中国の事例は、国内の人権問題であると同時に、他の地域でも利用可能な能力の先取りでもある。
世界のテクノロジー・サプライチェーンがシステムを動かし続ける
権威主義的な監視は、閉ざされた国家システムの内部だけで生み出されるものではない。国際的なハードウェア、ソフトウェア、専門知識、資金調達に依存している。
カメラ網には、センサー、ストレージ、プロセッサー、通信機器、データベース、分析ソフトウェアが必要だ。各層には、複数の法域で事業を展開する企業が関与し得る。
この複雑さは、責任を否認する余地を生む。チップメーカーは、汎用ハードウェアを販売しているだけだと言える。ソフトウェア企業は、導入を管理したのは現地パートナーだと主張できる。
流通業者は、最終的な政府顧客に会ったことがないと主張できる。当局は、調達を請負業者や無害に聞こえる名称の公共安全プロジェクトの背後に置くことができる。
それでも、完成したシステムは政治的監視を支援し得る。
Associated Pressの調査は、外国の技術が中国のデジタル警察国家にどのように寄与したかを検証した。
この調査は、数万件の流出メールとデータベース、機密記録、調達文書、100人以上へのインタビューに基づいている。
APは、米国、欧州、アジアの企業と関係する技術が、中国の警察・監視インフラに存在していたと報じた。
事例には、データベースソフトウェア、クラウドシステム、ストレージ、地図製品、チップ、カメラ、生体認証ツール、分析アプリケーションが含まれていた。
複数の企業はAPに対し、過去の関係は終了している、輸出規制を順守している、あるいは主張される不正利用は自社の認識や管理の範囲外で起きたと述べた。
こうした回答は、執行上の問題を示している。部品は販売後何年にもわたって利用可能であり続ける一方、ソフトウェアは他社によって複製、改変、統合され得る。
輸出規則は多くの場合、特定の組織、仕向地、製品に焦点を当てる。監視システムはそれらのリストより速く進化し、一般的な商用技術を頻繁に組み込む。
したがって、サプライチェーン上の責任は、限定的な制裁チェックだけでは終わらない。ベンダーは、想定利用者、現地パートナー、導入環境、予見可能な二次利用を検討する必要がある。
また、契約上の統制、技術的制限、監査、信頼できる撤退手順も必要となる。特に政府がその活動を隠す場合、いずれも完全な解決策ではない。
西側の関与の歴史は、権威主義的AIが単一の国家モデルに従うという主張を複雑にする。Carnegieは、2019年の指数において米国企業の技術が32カ国で確認されたとした。
中国企業は主要な供給者だったが、フランス、ドイツ、イスラエル、日本、米国に拠点を置く企業も、世界的な拡散に寄与していた。
これは、すべてのベンダーが抑圧を意図していたことの証拠ではない。単純な民主主義対独裁国家という供給地図が成り立たない理由を示している。
商業的インセンティブは、開かれた社会の企業と、開かれた監督なしに活動する機関を結び付け得る。投資家や経営陣は、政治的リスクより先に公共安全契約を目にするかもしれない。
同じインフラでも、目的を変え得る。都市が交通管理のためにカメラを購入し、抗議活動が始まると顔認識に接続することがある。
国境データベースは国内の監視リストになり得る。コンテンツ安全性の分類器は政治的タブーを強制できる。不正検知プラットフォームは反体制派の金融ネットワークを露出させ得る。
この転用の問題は、当初の販売説明だけに基づく保証を弱める。ガバナンスは、その技術が有用である期間を通じて追随しなければならない。
企業は保守も考慮する必要がある。更新、クラウドサービス、交換部品、技術サポートは、虐待的なシステムを稼働させ続ける可能性がある。
新規販売を停止しても、導入済みの機器が直ちに無効になるわけではない。政府はハードウェアを備蓄し、仲介者を利用し、現地製の代替品を開発できる。
その結果、世界市場は独裁体制に回復力を与える。異なる供給者の技術を組み合わせ、規制対象となった部品を時間をかけて置き換えられるからだ。
この回復力は、協調したルールへの圧力を生む。ある国の厳格な輸出規制は、同等の製品が他所で入手可能なままであれば、効果が限られる。
共通基準は、禁止される顧客だけでなく、禁止される利用法も定義しなければならない。政府は、プロジェクトを省庁、地方機関、関連請負業者の間で移すことができる。
Google Newsの報道は個別の取引を明らかにできるが、世間の注目がサプライチェーン全体を追うことはまれだ。調達記録、企業開示、技術調査がその空白を埋めなければならない。
決定的な問いは、部品がAIとして販売されたかどうかではない。完成したシステムが、政府による合法的な活動の特定、分類、処罰能力を拡大するかどうかである。
真のトレードオフは、説明責任を伴う安全保障にある
最も難しい政策課題は、正当な公共安全と、政治権力への異議申し立てを困難にするシステムを切り分けることだ。
政府は、顔認識、データ分析、自動監視を、犯罪者の発見、攻撃の防止、行方不明者の捜索のための手段として提示する。
こうした目的自体が本質的に不当なわけではない。同じ技術でも、法律や制度が異なれば異なる結果をもたらし得る。
既知の容疑者を対象とする厳格に限定された捜索は、あらゆる公共カメラを通じた継続的な個人識別とは異なる。両者は類似したソフトウェアを使う可能性がある。
違いは必要性、比例性、保存、アクセス、監督にある。また、影響を受ける人々が不正利用を知り、それに異議を唱えられるかにも左右される。
権威主義政府は、こうした区別を消し去る。広範な国家安全保障法は、平和的な反対意見を犯罪的危険と同一視し得る。
社会全体を潜在的な不安定要因として定義することもできる。その場合、大規模な収集は例外的措置ではなく標準となる。
国連人権高等弁務官事務所は、遠隔生体認証監視がプライバシー、表現、移動、平和的集会に影響を及ぼし得ると警告している。
同機関の指針は、群衆や抗議活動を走査するシステムに厳格な制限を設けることを支持している。また、保護される特性に基づく個別の犯罪予測や生体認証分類にも反対している。
これらの立場は、根本的な問題を反映している。デモにいる全員を走査するカメラは、疑われる不正行為だけを観察するわけではない。
合法的な参加を記録し、主催者、ジャーナリスト、弁護士、傍観者、支援者のネットワークを特定できる。その知識は、人々が次のイベントに安全に参加できると感じるかどうかを変える。
複数のシステムが接続されると、リスクは高まる。顔認識が個人を特定し、携帯電話データが接触先を地図化し、言語分析がその通信を分類する。
当局者は、統合された出力を個別の記録より強力なものとして扱うかもしれない。しかし、不確かな推論を結び付けても、自動的に信頼できる証拠になるわけではない。
誤りは複合する可能性がある。弱い顔照合が誤った人物を住所に結び付け、誤訳されたメッセージが虚偽の動機を与えることがある。
不透明なベンダーと機密扱いの機関は、こうした失敗を発見しにくくする。影響を受ける人物は、最終的な制限や告発だけを見ることになるかもしれない。
そのため国連は、導入前の透明性、独立した監督、人権影響評価を強調している。
こうした保護措置は、政治的リスクが最も高い場所でこそ最も弱い。権威主義的な立法府が、支配秩序を維持する治安機関を確実に制約することはない。
技術的な保護措置だけでは、その制度的失敗を修復できない。人間による審査が役立つのは、審査者に機械の出力を退ける権限、独立性、インセンティブがある場合に限られる。
脅威を見逃したことで処罰されると予想する当局者は、より多くの誤警報を受け入れるだろう。自動化は、その警報に数値スコアを与えることで、この偏りを強め得る。
システムは政府内部の行動も形作る。機関が高価なインフラを購入すると、管理者には成果を示す圧力がかかる。
監視リスト、警報、介入が増えれば、投資を正当化しているように見える。活動が少ないことは、代わりにシステムの性能不良と解釈されるかもしれない。
このインセンティブは、任務の拡大を促す。テロ対策として導入されたプラットフォームが、一般犯罪、抗議活動、移民、政治的発言、職場監視へと拡大し得る。
ロシアにおける顔認識の経験は、公共安全インフラが政治的集会にまで及び得ることを示している。Human Rights Watchは、ロシア当局者がモスクワの抗議活動で大規模監視のために顔認識を使用したことを認めたと報告した。
イランは別の経路を示している。当局は、大規模な反政府運動の時期に、インターネット規制、プラットフォームの遮断、カメラ網、デジタル監視を組み合わせた。
Freedom Houseは、2022年9月に拘束中のJina Mahsa Amini氏が死亡したことをきっかけに発生した抗議活動を受け、イランのインターネットの自由が大幅に後退したと記録している。
これらの事例は、モデルの精度だけに注目していては不十分である理由を示している。最大の不確実性は、誰が標的を定義するのか、そして特定後に何が起こるのかにある。
システムは設計どおりに機能しながら、権利を侵害し得る。設計目的そのものが政治的統制である可能性もある。
民主主義国の政府は、自国の制度がこの危険を排除していると考えるべきではない。Carnegieは、独裁国家だけでなく自由民主主義国にもAI監視が広がっていることを確認した。
開かれた社会にはより強力な是正メカニズムがあるが、それらが機能するには情報へのアクセスが必要だ。秘密裏の調達や広範な安全保障上の例外は、その力を弱めかねない。
したがって、適切な線引きは国家によるブランド付けではなく、説明責任ある利用にある。政府は法的権限、許容される目的、保存期間、誤りの検証、ベンダー名、監査結果を公表すべきだ。
また、実効的な救済手段も提供しなければならない。システムが秘密のままで行使できない権利は、実務上ほとんど保護にならない。
デジタル統制の次の段階はどのようなものか
次の争点は、予測的な標的化、生成AIによるプロパガンダ、そして政府が両方を供給する企業を制約できるかどうかに集約される。
最初に注視すべき兆候は、本人特定から予測への移行だ。
従来の顔認識は、観測された顔が保存済みの画像と一致するかを問う。予測システムは、ある人物が何をする可能性があるかについて、より踏み込んだ主張を行う。
移動、購買、接触相手、言語、位置情報のパターンを分析し、リスク評価を生成できる。政府はその結果を最終判断ではなく捜査の手掛かりと呼ぶかもしれない。
しかし、その呼称によって影響力がなくなるわけではない。捜査官はそうした手掛かりに基づいて注意を配分し、監視の強化は、元のスコアを裏付けるように見える記録をさらに生み出す。
この循環は、政治的な前提を統計的パターンへと変え得る。最も厳重に監視されるコミュニティほど、最も多くの警告を生み出すことになる。
調達文書に、世論分析、社会安定、早期警戒、リスクプロファイル、予防的ガバナンスといった表現がないか注視すべきだ。こうした表現は、AIというラベルよりも、求められている機能を明確に示すことが多い。
独立監査では、予測が実際の行為を特定しているのか、それとも当局の疑念を再現しているだけなのかを検証すべきだ。データと結果へのアクセスがなければ、精度に関する主張は検証されないままである。
二つ目の兆候は、自動化された説得工作だ。
生成モデルにより、多数の説得力あるアカウントの運用、異なる集団に合わせたメッセージの作成、政治危機の際の迅速な対応が低コストで可能になる。
政府は、すべてのプロパガンダ要員に独自の投稿を書かせる必要がなくなる。モデルは投稿のバリエーション、翻訳、コメント、合成メディアを大規模に生成できる。
生成コンテンツには常に安定した技術的シグネチャーが含まれるとは限らないため、検出は依然として難しい。運用者は人間と機械の作業を混在させることもできる。
目的は、全員の考えを変えるほど野心的ではないかもしれない。議論を氾濫させれば、モデレーターを疲弊させ、記者の注意をそらし、本物の証言を埋もれさせることができる。
合成メディアは「嘘つきの配当」を後押しすることもある。説得力のある偽造物が存在するため、当局者は本物の録音や映像を捏造だとして退けられる。
プラットフォームが協調的な影響工作をどのように報告するかを注視すべきだ。有用な開示では、アカウント作成、拡散、標的化、支払い、国家機関との関係を説明する必要がある。
削除された投稿数だけを数えても、到達範囲や影響についてはほとんど分からない。プラットフォームが証拠を削除する前に、研究者は保存済みデータセットへアクセスできる必要がある。
三つ目の兆候は、輸出規制と企業のデューデリジェンスが、約束から強制可能な実務へ移行するかどうかだ。
政府は、特定の監視企業や先端部品に制限を課してきた。こうした措置は摩擦を生むが、広範な商業経路は残している。
将来の規則は、仲介業者、再販業者、クラウド支援、ソフトウェア更新、技術サービスを対象にすべきだ。また、表面上は正当な販売の後に転用されるケースも扱わなければならない。
企業報告は早期の試金石となる。ベンダーは高リスクの政府契約を特定し、審査プロセスを説明し、サービスを停止した場合にはそれを開示すべきだ。
投資家は、監査を妨げたり最終利用者を隠したりする顧客に収益が依存していないかを問うことができる。従業員は、社内のエスカレーション経路に導入を止める権限があるかを確認できる。
市民社会団体には、調達を調査し、導入済みシステムを検証するための資源が必要になる。独裁政権は、説明責任に必要な証拠を意図的に制限している。
こうしたネットワークを追跡するジャーナリストや研究者も、個人的なリスクに直面する。内部告発者の保護と記録への安全なアクセスが、何を公に知り得るかを左右する。
これら三つの兆候は互いに強化し合う。予測的監視が標的を生み、生成AIによるプロパガンダが物語を形作り、世界的な供給企業がインフラを提供する。
三つすべてを統制する体制は、より早く行動し、自らの行為を隠し、その結果を記録する人々の信頼性に疑義を投げかけることができる。
対抗手段もまた、システムとして機能しなければならない。規制、技術的検証、調査報道、企業の説明責任、法的救済は、孤立した形では機能しない。
Google Newsはこの問題を世間の目に触れさせることができるが、注目は第一歩にすぎない。読者は、各主張の根拠となる証拠は何か、そしてどの機関が結果をもたらせるのかを問うべきだ。
もはや問題は、独裁政権がAIを利用するかどうかではない。記録された導入事例は、すでに利用していることを示している。
緊急の課題は、統合された統制システムが通常の公共インフラとなる前に、企業と民主主義国の政府が制限を確立できるかどうかである。
今後数か月にわたり、調達記録、生体認証に関する法律、プラットフォームの影響工作報告、ベンダーの開示を追うべきだ。そうした兆候によって、説明責任が追いつきつつあるのか、さらに遅れを取っているのかが分かる。
