TikTok AIカメラハックが示す、無料モデルがサイバーセキュリティを書き換える方法

研究者らは無料のAIを使い、テスト用スマートフォンのカメラと写真ライブラリへ到達する経路を見つけた後、TikTokは脆弱性を修正した。TikTokのAIカメラハックは、無関係なユーザーを狙った攻撃ではなく、管理された実証実験だった。それでも、この出来事はセキュリティチームがもはや軽視できない対立を浮き彫りにした。

サンフランシスコのサイバーセキュリティ企業DepthFirstの研究者らは、中国のAI開発企業Z.aiによるオープンウェイトモデルを改変した。その結果生まれたシステムは、TikTokが使用するソフトウェアを調査し、悪用可能な脆弱性の連鎖を特定した。DepthFirstの従業員はその後、端末でTikTokを閲覧中に、スマートフォンの機密性の高い機能へリモートアクセスする様子を実演した。

TikTokは研究者らの報告を受け、脆弱性を確認して修正した。同社は、攻撃者がこの問題をユーザーに対して悪用した証拠は見つかっていないと述べた。この区別は重要だが、この問題を発見した手法も同様に重要である。

オープンウェイトモデルでは、ユーザーは自ら管理するインフラ上でモデルのパラメータをダウンロード、改変、運用できる。開発者は、安全制御が固定されたホスト型チャットボットよりも大きな自由を得る。セキュリティ研究者もその自由を手にするが、攻撃者も同じく入手できる。

したがって、中心的な問いは修正済みの単一の欠陥を超える。AIシステムは有能な脆弱性研究者になりつつある一方で、その能力へのアクセスは既存のセキュリティ組織の外へ広がっている。

TikTok AIカメラハックが実際に示したこと

この実証は、AIが個別のソフトウェア上の弱点を組み合わせ、機密性の高い端末アクセスへ至る経路を構築するのに役立ち得ることを示した。

元のカメラハック報道によると、DepthFirstはZ.aiが開発した無料のGLMモデルを適応させた。同社はこのモデルを、ソフトウェアを解析しセキュリティ上の弱点を探すために設計された他のツールと組み合わせた。

このシステムは、TikTokが使用するオープンソースソフトウェア内の欠陥を発見した。オープンソースソフトウェアは、定められたライセンス条件の下で、ソースコードの調査、改変、再配布を可能にする。すべての機能を社内で再構築することは現実的ではないため、何千ものアプリケーションが共有コンポーネントに依存している。

DepthFirstの実証では、複数のバグを連鎖させたと報じられている。バグチェーンとは、単一の欠陥よりも全体として大きな影響をもたらす複数の弱点を組み合わせる手法である。この技術によって、軽微な不具合が重大な侵害へつながることがある。

記録されたテストでは、従業員がTikTokを閲覧しているスマートフォンのカメラと写真ロールへリモートアクセスした。この実証はテスト環境で実施され、一般のTikTokユーザーを標的にはしていない。犯罪者が同じ経路を利用したという公的な証拠はない。

DepthFirstは、TikTokのバグバウンティプロセスを通じて調査結果を提出した。バグバウンティプログラムは、対象となるセキュリティ問題を責任を持って報告した研究者に報酬または評価を提供する。TikTokは研究者をHackerOneへ案内し、協調的開示ポリシーを公開している。

TikTokは、この問題は数か月前に報告され、速やかに修正したと述べた。また、ユーザーに対する悪用の証拠は見つかっていないとも述べている。これらの説明は、当面の消費者リスクを大幅に限定するものだ。

この出来事を、既知の大規模侵害、現在進行中の監視キャンペーン、あるいはすべてのTikTokインストール環境が侵害された証拠として説明すべきではない。これは、TikTokが修正済みだとする脆弱性に対する、成功した概念実証だった。

ただし、概念実証であっても重要な証拠を提供する。アクセス可能なモデルを脆弱性調査向けに適応させることで、認可されたチームが何を実現できるかを示している。

注目すべき変化は、ソフトウェアにバグが含まれていたことではない。大規模なアプリケーションには、外部コンポーネント経由で引き継がれた欠陥を含め、常に不具合が存在してきた。変化したのは、AI支援システムがそれらの弱点の特定と接続に役立ったことである。

このプロセスはかつて、コード、オペレーティングシステム、アプリケーションの動作、悪用技術を理解できる希少な専門家に大きく依存していた。AIはそうした専門家の必要性をなくすものではない。しかし、彼らが調査できるコードの量を増やし、有望な手掛かりを検証する速度を高めることはできる。

したがって、TikTokのAIカメラハックは、AI支援による攻撃的セキュリティの実用例を示している。ソフトウェアは保護されたリソースへの経路を見つける手助けをし、人間は標的を選び、認可された実証を実施した。

AIが自律的に行動したかどうかをめぐる議論よりも、この組み合わせの方が重要である。セキュリティ上の結果は、モデル、ツール、データ、人間の判断、標的へのアクセスを含む、完全なワークフローに左右される。

システムがハッキングの経済性を変えるために、完全な自律性は必要ない。1人の研究者がより多くのコードを調査し、より多くの仮説を検証し、より多くの手掛かりを結び付けられるよう支援するだけでよい。

無料AIが脆弱性調査のコストを下げている

オープンウェイトAIは、専門的なサイバーシステムを構築できる主体と、モデル提供者がその利用をどこまで厳密に制御できるかを変える。

米国のAI企業は一般に、最も高性能なモデルをホスト型サービスの背後に置いている。要求を監視し、特定の行動を制限し、アカウントを停止し、高度なサイバーセキュリティ機能へのアクセスを制限できる。

こうした制御は完全ではない。ユーザーは悪意を隠したり、有害なタスクを無害に見える段階へ分割したり、提供者を移り変わったりできる。それでもホスト型の提供者には、不正利用を検知し中断する機会が複数残されている。

オープンウェイトモデルは異なる配布モデルに従う。そのパラメータはダウンロードされ、開発者のインフラ外で運用できる。ユーザーは周辺ソフトウェアを改変し、挙動を調整し、モデルをセキュリティツールに接続できる。

これは、制御、プライバシー、再現可能な実験を必要とする正当な研究者にとって、オープンモデルを有用にする。セキュリティ企業は、独自コードを外部サービスへ送信せずにモデルを実行できる。研究者はまた、限定的な技術タスクに合わせてワークフローを調整できる。

DepthFirstは、この柔軟性を利用してGLMモデルをバグ探索用に適応させた。Z.aiは、同社のセキュリティパートナーがGLMシステムを使い、実際のコードベースで数千件の弱点を発見したと述べている。この主張は、同社のGLM開発作業に関する説明に記載されている。

この主張だけでは、発見のうちどれだけが深刻で、固有で、独立して確認されたものかは分からない。脆弱性スキャナーは日常的に、誤検知、重複、影響の小さい報告を生み出す。不審なパターンを見つけることは、実行可能なエクスプロイトを作り出すことと同じではない。

TikTokの実証は具体的な結果を生んだため、このより広い主張に説得力を与えている。The Washington Postが確認したメッセージによると、TikTokは報告された問題を確認し、修正した。

基盤となるモデルが世界最高性能でなくても、経済的な影響は重要である。ダウンロード可能なモデルは、元の開発者による継続的なアクセス判断を不要にする。ユーザーはモデルを繰り返し運用し、専門ツールと組み合わせられる。

このため、無料AIは小規模なセキュリティチームにとって魅力的である。制限された最先端モデルへのアクセスに必要な予算、人脈、適格性を欠く場合がある。適応可能なモデルは、以前は能力を超えていた大規模コードベースの調査を支援できる。

同じアクセスしやすさは、犯罪グループにも役立ち得る。中程度のスキルを持つ攻撃者は、AIを使って未知のコードを読み、クラッシュを説明し、テストケースを下書きし、偵察活動を整理できる。経験豊富な実行者は、モデルをより大規模な自動化システムに統合できる。

これは、初心者がボタンを一度押すだけであらゆるアプリケーションを侵害できるという意味ではない。実際の攻撃には、依然として認証、プラットフォーム保護、不整合な環境、監視システム、不完全な情報といった障壁がある。

AIはむしろ、学習と調査のプロセスの一部を圧縮する。専門家の生産性を高める一方で、経験の浅いユーザーが以前なら手の届かなかった作業を試みることも助ける。

この区別は、リスクが劇的になる前に徐々に高まる理由を説明する。改善の一つひとつは小さな摩擦を取り除く。それらが重なることで、公開されたソフトウェアを試験できる主体の数が増える。

最も重大な競争は、Z.ai対OpenAIやAnthropicではない。アクセス可能な能力と、執行可能な制御との競争である。

ホスト型提供者は利用ポリシーを課せるが、攻撃者はダウンロード可能なモデルへ移行できる。オープンモデルの開発者は評価結果や責任ある利用に関する指針を公開できるが、ダウンロードされたウェイトを確実に無効化することはできない。

有能なモデルが一度配布されると、セキュリティは下流側の制御により強く依存する。それには、サンドボックス化、ネットワーク制限、アクセス管理、ログ記録、発見された脆弱性の迅速な修正が含まれる。

本当の競争は能力と制御の間にある

AIのサイバー作業能力が高まるほど、防御的な研究と攻撃準備を切り分けることは難しくなる。

セキュリティ研究は本質的にデュアルユースである。同じ知識が、開発者による弱点の修正にも、攻撃者による悪用にも役立ち得る。違いは多くの場合、認可、意図、標的の選定、開示行動にある。

安全でないメモリ処理を特定するよう求められたモデルは、コード監査を支援する可能性がある。同じ出力が、未修正のサービスに対するエクスプロイトの構築に役立つこともある。技術的な内容だけでは、ユーザーがどちらの結果を意図しているかを常に明らかにできるわけではない。

ホスト型AI企業は、特定の要求を制限し、審査済み研究者に高度なアクセスを提供することで対応している。このアプローチは監督を可能にするが、正当な作業にコストと遅延も生じさせる。

オープンウェイトシステムは、そうした障壁を下げる。研究者は提供者の許可を求めずにカスタマイズできる。また、テストを再現し、変更が性能に与える影響を調査できる。

モデルが質問への回答からツールの操作へ移行するにつれ、このトレードオフはより鮮明になる。AIエージェントは、リポジトリを検索し、コードを実行し、失敗を調査し、複数の段階にわたってアプローチを修正できる。

サイバーセキュリティ業務は、特にこのパターンによく適合する。多くのタスクは、反復的な探索の後に、集中的な専門家の判断を要する。モデルは、人間が最も有望な結果を調査する前に、不審な関数の優先順位付けを支援できる。

DepthFirstの実証は、このワークフローが意味のある発見を生み得ることを示唆している。ただし、モデルが侵入の全体を独力で設計したことや、あらゆる結果を理解していたことを立証するものではない。

この境界は明確に保つべきである。ツール支援によるすべての発見を自律的ハッキングと表現することは、証拠を誇張し、測定可能な変化から注意をそらす。人間主導のシステムは、すでに十分に重大な影響を持つ。

Anthropic自身の脅威研究は、提供者による制御がどれほど複雑になり得るかを示している。同社の9月の報告書は、悪意ある主体がClaudeをサイバー作戦、監視、不正行為、その他の有害活動に利用したと述べた。

同社は、一部の主体が一見無害に見える小規模な要求へプロジェクトを分割していたと報告した。直接的な悪意ある要求は、断片化されたワークフローよりも一貫して拒否を引き起こした。Anthropicはこれらの事例をAI不正利用レポートで説明している。

報告書はまた、Anthropicが特定した作戦を妨害し、安全対策を強化したと述べている。これはホスト型アクセスの利点を示す。提供者は活動を調査し、アカウントをブロックし、監視システムを更新できる。

しかし、ホスト型の制御は根底にある能力そのものを取り除くわけではない。管理するのはその能力へのアクセスである。TikTokの事例は、ユーザーがローカルで改変できるモデルを通じて同等のスキルが利用可能になったときに何が起こるかを示している。

どちらのアプローチも完全な答えを提供するものではない。サイバー能力を過度に制限すれば、攻撃者より先に弱点を見つけるために役立つツールを防御側から奪う恐れがある。無制限の公開は、開示規範を無視する主体にも同じ支援を与えかねない。

実務的な政策は、運用上の連鎖全体を考慮しなければならない。モデルの重みは一つの要素にすぎない。ツールの権限、計算資源、標的へのアクセス、ネットワーク接続性によって、そのシステムが実際に何をできるかが決まる。

ネットワークに接続されていないローカル運用モデルのリスクは、エクスプロイト・フレームワークや実際に稼働中の標的に接続されたモデルとは異なる。隔離されたテスト環境内で動作するセキュリティエージェントは、企業ネットワーク上で動作する同じエージェントとは別物である。

したがって、制御の課題は外側へ広がる。組織はAIエージェントを一般的なチャットボットではなく、特権を持つソフトウェア運用者として扱う必要がある。

つまり、明確に定義されたタスクに必要なアクセスだけを与えるということだ。また、テスト環境と本番環境を分離し、監査ログを保持し、機微な操作には人による承認を求めることも意味する。

モデルの安全策は、特にホスト型サービスにとって依然として重要である。気軽な悪用を抑制し、組織的なキャンペーンをプロバイダーが特定する助けにもなる。しかし、それだけでセキュリティ上の責任全体を担うことはできない。

オープンウェイトのシステムが主要なホスト型モデルのサイバー性能に近づくにつれ、能力と制御のせめぎ合いは激化する。重要なベンチマークは会話品質ではない。実際のセキュリティワークフロー全体での、信頼できる性能である。

AIバグハンターがソフトウェアベンダーに圧力をかける

ベンダーは今、脆弱性が発見可能になってから誰かが悪用を試みるまでの期間が短縮する状況に直面している。

ソフトウェア企業は長年、不快な前提のもとで事業を続けてきた。バグは防御側や攻撃側に発見される前から存在しており、その発見プロセスには多くの場合、相当な時間がかかる。

AI支援による監査は、その時間の一部を短縮する。モデルはより多くのコードをレビューし、未知のコンポーネントを要約し、候補となる入力を生成し、研究者が予期しない挙動を解釈するのを支援できる。

直接的な圧力を受けるのは、大規模なアプリケーションと広範な依存関係ツリーを持つ企業だ。依存関係ツリーとは、アプリケーションが必要とする外部パッケージや入れ子になったコンポーネントを示すものである。

一つのアプリケーションが、間接的に何千ものソフトウェア要素に依存することもある。その連鎖の深部にある欠陥は、開発者が脆弱なコードに一度も触れていなくても、多くの製品に影響を及ぼし得る。

報道によれば、TikTokのAIカメラハックは、同プラットフォームが使用していたオープンソースソフトウェアから始まった。この点は重要である。リスクは必ずしもTikTokで最も目立つ機能に起因したわけではないからだ。

現代のソフトウェアセキュリティは、企業が自ら書いたコードの範囲を超えている。チームには、依存関係、バージョン、権限、露出経路を正確に把握したインベントリが必要だ。

AIバグハンターは、共有コンポーネントを大規模に探索できる。一つのパッケージで見つかった問題が、それを組み込むすべての製品で修正作業を発生させる可能性がある。攻撃者も同様の探索を行い、広く再利用できる機会を特定できる。

そのためベンダーは、検知とパッチ適用のサイクルを短縮する必要がある。責任ある報告を受け取ることは始まりにすぎない。エンジニアは問題を再現し、影響を測定し、安全な修正を作成し、回帰をテストし、更新を配布しなければならない。

モバイルアプリケーションには別の遅延要因がある。企業は修正版を公開できても、ユーザーがインストールを先延ばしにする場合がある。OSやアプリストアも、更新が端末に届く速度を左右する。

TikTokは、報告された問題に迅速にパッチを適用し、悪用の証拠は確認されていないと述べた。これは協調的な開示における望ましい結果だが、今後のすべての報告が非公開のままになる保証にはならない。

複数のチームが同じ弱点を独立して発見することもある。AIは探索できるチームの数を増やすため、発見が重複する可能性も高まる。

この力学は、従来の防御上の優位性を弱める。歴史的には、発見に必要な時間と専門性を持つ人が少なかったため、一部の困難な脆弱性は見過ごされたままになっていた。

不明瞭さは、もともと信頼できるセキュリティ制御ではなかった。AIはこの限界をさらに無視しにくいものにする。

国防総省は、異なる規模で同様の圧力に直面している。同省のサイバー防衛上級指導部は、AI能力の拡大を背景に、ゼロデイ攻撃を受けやすい脆弱性が10倍に増加したと報告した。

ゼロデイとは、既存のパッチや確立された対応期間なしに防御側が対処しなければならない脆弱性である。この報告された増加は、AIがすべての根本的なバグを引き起こしたことを意味するものではない。

これは、すでに技術的負債を抱えるシステムにおいて、攻撃者や研究者がより多くの弱点を特定できることを示している。AIは、保守の遅れによる影響を増幅する。

消費者向けプラットフォームも同じ構造的な問題を抱えている。機能は蓄積し、依存関係は増え、古いコンポーネントは置き換えると重要な機能を壊しかねないため残り続ける。

セキュリティチームは、自動化を増やす前に可視性を高めることで対応すべきだ。何千件もの未検証の警告を出すAIスキャナーは、実務上のリスクを減らさないままエンジニアを圧倒しかねない。

効果的なシステムには優先順位付けが必要である。欠陥に到達可能か、セキュリティ境界を越えるか、攻撃者が別の弱点と組み合わせられるかを特定すべきだ。

その段階では人間の専門知識が不可欠である。研究者は理論上の懸念と信頼できる攻撃経路を区別しなければならない。製品チームは、新たな欠陥を導入せずにリスクを低減する修正を判断する必要がある。

AIは調査を高速化できるが、速度が役立つのは組織が結果を吸収できる場合に限られる。発見を検証して修復できないベンダーは、既知のリスクの待ち行列をより大きく抱え込むことになる。

このため、この出来事は開発者だけでなくソフトウェア購入者にも圧力をかける。企業顧客は、サプライヤーに対して、依存関係をどう棚卸しし、外部からの報告をどう処理し、緊急更新をどう配布するかを尋ねるべきだ。

製品がセキュリティにAIを使用しているという約束よりも、その答えのほうが重要である。防御能力は、パッチ適用の速さ、再現可能なテスト、そして重大な発見が責任を負う担当者に確実に届くことを示す証拠によって測定されるべきだ。

この実証はAIハッキングの無法状態を証明するものではない

パッチが適用されたTikTokの一つの欠陥は、無料モデルが任意のアプリケーションを確実に侵害できることや、経験豊富なハッカーに取って代われることを示すものではない。

TikTokの結果が注目に値するのは、まさに具体的だったからである。利用可能な事実を超える主張の根拠にしてはならない。

公開報道は、脆弱性チェーンの技術的詳細をすべて提供しているわけではない。ユーザーが影響を受けるソフトウェアバージョンや関連コンポーネントをまだ使用している可能性がある間は、その省略は適切である。

同時に、それは外部からの評価も制限する。独立した研究者は、プロセスのどの部分にモデルが必要だったのか、どの部分にDepthFirstのツールが必要だったのか、どの部分が人間の専門知識に依存していたのかを、まだ判断できない。

学習データの寄与も不明確である。セキュリティモデルは、公表済みの脆弱性から学習した既知のパターンを再現できる。真に新しい欠陥を見つけるには、より強い推論能力と、テスト環境との効果的な相互作用が必要になる。

確認済みの脆弱性であっても、再現可能な性能を証明するものではない。あるシステムは、広範な調整の末に一つの標的で成功しても、ほかの数十の標的では失敗するかもしれない。

セキュリティテストには選択バイアスも生じる。企業は当然ながら成功した発見を強調し、失敗した探索はあまり注目されない。読者が総計算時間、破棄された試行、人による修正の全体像を見ることはめったにない。

数千件の脆弱性に関するZ.aiの声明にも、同様の文脈が必要である。その総数だけでは、深刻度、独自性、検証率、修復結果は分からない。

影響の小さいコーディング上の欠陥と、リモートから悪用可能な脆弱性を同じ重みで扱うべきではない。独立したベンチマークは、生の発見件数ではなく、エンドツーエンドの結果を測定しなければならない。

「無料」という言葉も誤解を招く可能性がある。モデルの重みのダウンロードに料金がかからなくても、専門システムの運用にはハードウェア、電力、エンジニアリング作業、ストレージ、セキュリティインフラが必要だ。

DepthFirstは、モデルを大幅に改変し、ほかのツールと組み合わせたと報じられている。これは、公開チャットボットに動作するカメラエクスプロイトを尋ねることと同じではない。

こうした制約がリスクを消し去るわけではない。リスクの所在をより正確に位置付けるのである。

短期的な脅威は、有能な人々がより大きなレバレッジを得ることにある。犯罪チームは反復作業を自動化し、より多くの標的を調査できる。国家支援を受けるグループは、既存の偵察やマルウェア運用にAIを組み込める。

経験の浅い攻撃者も能力を高める可能性があるが、依然として運用上の障壁に直面する。到達可能な標的、信頼できる実行、持続性、検知を回避する方法が必要になる。

防御側も同様のレバレッジを得る。内部コードの監査、パッチの評価、インシデントデータの整理、関連する挙動を探すログの検索が可能になる。

結果は、導入の速度と運用規律によって決まる。攻撃者は失敗を受け入れ、被害を外部に転嫁するため、迅速に動ける。防御側は可用性、プライバシー、法令順守を維持しなければならない。

この非対称性は攻撃者に優位性を与えるが、絶対的なものではない。防御側は多くの標的環境を管理しており、不要な権限を削除し、システムを隔離し、異常な挙動を監視できる。

消費者は、この実証をTikTokが現在リモートでカメラを起動している証拠として受け取るべきではない。TikTokは、修正済みの欠陥がユーザーに対して悪用された証拠はないと述べた。

それでもユーザーは、TikTokとモバイルOSを最新の状態に保つべきである。また、特に継続的なアクセスを必要としないアプリケーションについては、カメラと写真への権限を見直すべきだ。

権限管理は、重大なソフトウェアエクスプロイトに対する完全な防御ではない。アプリケーションや統合機能がユーザーの想定を超えた挙動を示した場合に、露出を減らす。

責任ある結論は、パニックより限定的で、軽視より強い。AI支援による脆弱性発見は、ベンチマーク上の議論から、検証済みの製品セキュリティ業務へと移行した。

なお不確かなのは、こうした成功がどの程度の頻度で起こるかである。セキュリティ業界には、発見、悪用可能性、偽陽性、人間の作業量、修復結果を測定する透明性の高い評価が必要だ。

AIハッキングが新たな段階に入ったかを示す三つのシグナル

次の段階は、再現性、現実世界での悪用、そしてAIが脆弱性を露出させる速度よりも速くベンダーがソフトウェアを修復できるかによって定義される。

第一のシグナルは、AI支援による脆弱性チェーンが独立して再現されることである。研究者は、異なるアプリケーション、プログラミング言語、運用環境にわたる結果を実証する必要がある。

一度の成功は、慎重な標的選定や広範な人間の指導を反映している可能性がある。繰り返し成功すれば、その能力が一つの好条件のケースを超えて一般化することが示される。

評価では、各結果にどれほどの人間の介入が必要だったかを開示すべきである。また、コードレビュー、脆弱性の発見、エクスプロイト開発、アクセスの成功を分けて扱う必要がある。

この区別によって、AIが専門家のアシスタントにとどまるのか、より独立したオペレーターになるのかが決まる。また、組織がどこで人による承認を引き続き必須とすべきかを判断する助けにもなる。

第二のシグナルは、同等のオープンウェイト・ワークフローを用いた悪意ある悪用の証拠である。セキュリティ企業はすでに、偵察、フィッシング、マルウェア開発、運用計画の各領域で広範なAI支援を報告している。

より強い主張は、オープンモデルが未知の脆弱性を発見し、実在する被害者に対するその悪用を可能にしたというものだ。攻撃者が完全なツールチェーンを記録することはほとんどないため、公的な帰属は困難になる。

そのため、インシデント対応者は、モデルファイル、エージェントフレームワーク、生成されたスクリプト、自動化されたコマンド履歴に関する証拠を保全すべきだ。これらの成果物から、AIが侵入にどのように関与したかが明らかになる可能性がある。

公的な証拠がないことを、悪用が起きていないことの証明と取り違えてはならない。また、それを憶測で補うべきでもない。確認済みの事例は、もっともらしいシナリオとは明確に区別しなければならない。

3つ目の指標は、責任ある報告から、機能するパッチが広く展開されるまでの時間だ。この間隔は、防御側がより迅速な発見に追随できているかを測るものとなる。

TikTokの対応は有用な例を示している。同社によると、報告はバグ報奨金プログラムを通じて受け取り、問題は速やかに修正され、悪用の証拠は見つからなかったという。

今後の事例では、セキュリティエンジニアが少ない小規模ベンダーでも、このプロセスが機能するかが問われることになる。1つの脆弱性が多くの製品に影響し得るため、共有されるオープンソースコンポーネントは特に重要だ。

政府機関や大規模な購買者は、調達要件を通じてより望ましい行動を促すことができる。依存関係の一覧、協調的な開示チャネル、監査記録、重大な問題の修正期限を要求できる。

モデル開発者にも、今後の判断が待ち受けている。ホステッド型の提供者は、監視や研究者アクセスのプログラムを改善していくだろう。オープン開発者には、より強力なモデルを公開する前にサイバーセキュリティ評価を公表するよう求める圧力が高まる。

リリース前の評価では、モデルが明白に悪意あるプロンプトへ応答するかどうかだけを検証すべきではない。ツール利用、断片化されたワークフロー、持続性、そして現実的な環境での振る舞いも調べる必要がある。

AIエージェントを導入する組織は、モデル選定と同じくらい封じ込めに重点を置くべきだ。目の前のタスクが防御的に見えるというだけで、エージェントに広範なネットワークアクセスを継承させてはならない。

セキュリティチームは、隔離環境、読み取り専用アクセス、短期間で失効する認証情報、包括的なログ記録から始められる。機微な操作には、責任を負う人間のオペレーターによる承認を求めるべきだ。

消費者にとって実用的な対応は、従来と変わらないが、より緊急性が高い。アプリケーションとOSの更新を速やかに適用する。使用していないアプリケーションを削除し、明確な目的がなくなった権限を取り消す。

TikTokのAIカメラハックは、大規模な侵害を明らかにしたわけではない。利用しやすいAIが、熟練した研究者による現代ソフトウェアの重大な突破経路の発見を支援できることを示した。

発見が協調的な開示と迅速なパッチ適用を経て処理されるなら、その能力は防御側を強化できる。同じプロセスが準備不足のシステムを標的にするなら、攻撃者を強化し得る。

決定的な要因は、無料のAIが消えるかどうかではない。ダウンロード可能なモデルは、すでにセキュリティ環境の一部となっている。決定的なのは、ソフトウェアベンダーが発見から修復までの距離を縮められるかどうかだ。

セキュリティ責任者は今、率直な問いを投げかけるべきだ。明日、AIシステムが自社の依存関係の1つに重大な脆弱性を見つけた場合、誰がそれを検証し、修正し、最優先でユーザーを守るのか。