George WashingtonのAI転換点公式、チャットボットが有害化する前に警告
George Washington Universityの物理学者らは、チャットボットが有害な出力へ移行しつつあることを警告する、パラメータ不要の公式を提案した。George WashingtonのAI転換点モデルは、一部の失敗を、生成後にしか捕捉できないランダムな逸脱ではなく、transformer内部で予測可能な変化として捉え直す。
Neil F. Johnson氏とFrank Yingjie Huo氏は、1億2400万から120億のパラメータを持つ7つのオープンウェイトモデルでこの枠組みを検証した。中心的な主張は印象的だが、適用範囲は限定的である。会話履歴によって、望ましくない応答が想定される応答よりも起こりやすくなる内部閾値へ、モデルが近づく可能性があるという。
これは、ChatGPT、Claude、あるいは別の商用アシスタントがいつ「暴走」するかを予測することとは異なる。実験で使われたのは、GPT-2、Pythia、OPTの各種バリアントを含む小規模な研究用モデルだった。現代のアシスタントには、instruction tuning、reinforcement learning、拒否ポリシー、分類器、サーバー側監視が加わっており、単純化された理論ではそれらを完全には表現できない。
したがって本当の競争は、物理学対AI安全性ではない。早期の内部警告と、主にプロンプトおよび完成した出力を評価する安全策との競争である。この公式が現行システムにも適用できるなら、開発者は最初の有害トークンが現れる前に危険な軌道を検知できる可能性がある。適用できなければ、この結果は実運用可能な警報ではなく、1つの故障メカニズムを示す有益なモデルにとどまる。
この公式は有害な出力を転換イベントとして扱う
この研究の重要な変化は時間軸にある。完成した応答が安全でないかを問うだけでなく、出力がいつ望ましくない領域へ移行するかを問う。
Johnson氏とHuo氏は、2026年10月8日にPatternsで研究論文「Competition for attention」をオンライン公開した。論文では、望ましくない出力パターンが望ましいものを上回る転移点を、n*として閉形式で記述している。
閉形式とは、繰り返しシミュレーションによる予測ではなく、直接的な数式を指す。著者らによれば、この方程式にはフィッティングされた自由パラメータがない。プロンプト、望ましい出力、望ましくない出力を表すベクトル間の関係から転移を導出する。
モデルは、次のトークンを生成する際に先行トークンの重みを付けるtransformerの仕組みであるattentionから始まる。各attention headは、内積を用いてベクトル表現を比較する。内積が大きいほど、その文脈要素がモデルの次のステップに及ぼす影響は強い。
研究者らは、関連する出力群をbasinとして説明する。望ましいbasinは、正確で安全、あるいは関連性の高い継続を表し得る。望ましくないbasinには、誤解を招く、有害、または話題から外れた継続が含まれ得る。これらのラベルは用途に依存しており、普遍的な道徳的分類ではない。
生成が進むにつれて、モデルは自身の出力を会話文脈に加える。そのため新たなトークンはすべて、競合するbasin間の均衡を変え得る。一見安全に見える連続出力でも、望ましくないbasinが次トークンの競争に勝つまで、内部変化が蓄積する可能性がある。
この公式は、その水準交差がいつ起きるかを推定する。論文の単純化された設定では、即時の転換と遅延した転換も区別する。プロンプトと出力の構成によっては、最初から閾値の誤った側に位置し、安全な導入なしに望ましくない応答を生成する。
この枠組みが重要なのは、多くの安全ツールが最初の要求を検査し、完成した回答を分類し、既知の攻撃に対してモデルを試験するためだ。こうした方法は有害な内容を見つけられる。しかし、応答が生成されている最中に縮小している内部マージンを必ずしも明らかにするわけではない。
著者らは、競合する出力状態間の隔たりを物理学的に表すenergy-gap safety marginの監視を提案している。ギャップが小さくなりすぎた際に、システムは介入できる。対応策としては、生成の停止、decoding設定の変更、追加説明の要求、より強力な安全層への制御移譲などが考えられる。
George Washington Universityの研究概要は、テストした7モデルすべてで予測された挙動の証拠が得られたと報告している。この広がりは、decoder-only transformerに繰り返し現れるメカニズムの存在を支持する。ただし、モデルファミリー、用途、現代の安全スタックをまたぐ普遍的な信頼性を確立するものではない。
したがって、最も有用な解釈は具体的なものとなる。この公式は、望ましいテキストから望ましくないテキストへの、数学的に扱える1つの経路を特定する。応答がすでに失敗した後に別のラベルを付けるのではなく、被害が生じる前に研究者が検証できる仮説を提供する。
会話の順序が警告を変える理由
George WashingtonのAI転換点は蓄積された文脈に依存するため、同じ質問でも並べ替えることで、モデルが予測された閾値を越えるタイミングは変わり得る。
チャットボットは、各ユーザーメッセージを孤立して処理するわけではない。過去の質問や自身が生成した言葉を含む、利用可能な会話全体に繰り返し条件付けられる。そのため、プロンプトの順序はシステムの実効的な状態の一部となる。
Johnson氏とHuo氏は、ワクチン、自傷、他者への危害に関するプロンプトで、この感度を例示した。報じられた実験によれば、ワクチンに関する質問を最初に置くと、GPT-2は望ましい応答を生成した。その質問を最後に移すと、その後の出力には懸念される内容が現れた。
この例を臨床的な安全性評価として扱うべきではない。GPT-2は、今日のinstruction-tunedアシスタントより前に公開されたベース言語モデルである。現在の消費者向けチャットボットに期待される、完全なalignmentおよびmoderationシステムを備えていない。
ただし、この例は提案されたメカニズムを示している。プロンプトは文脈にベクトルを加え、それらのベクトルは後続の生成で割り当てられるattentionに影響する。会話に似た単語が含まれていても、順序を変えれば内部軌道は変化する。
この効果は、従来のベンチマーク設計も複雑にする。安全性テストでは、多くの場合、クリーンなモデルセッションに1つのプロンプトを提示する。実際の会話には、修正、フォローアップの質問、コピーされた文書、アシスタントによる要約、部分的に受け入れられた提案が含まれる。こうした要素は、単一ターンのベンチマークでは測定されない方向へ内部表現を押しやり得る。
この懸念は、長期間にわたるagentワークフローでより重要になる。AI agentはメールを読み、計画を作成し、文書を確認し、ツールを呼び出し、以前の結論を取り込むことがある。後続の判断は元のユーザー指示だけでなく生成済みの文脈にも依存するため、微妙なずれが複合的に積み重なる可能性がある。
同じ力学は、悪意のあるプロンプトがなくても現れ得る。臨床医は難しい症例について次第に具体的な質問をするかもしれない。弁護士は数ターンにわたって争いのある解釈を精緻化する可能性がある。アナリストは財務上の仮定に繰り返し異議を唱えるかもしれない。各やり取りが、後続の出力を導く文脈を変える。
これは、長い会話が必ず安全でなくなることを意味しない。この論文が提案するのは、すべてのチャットに付随するカウントダウンではなく、条件付きのメカニズムである。閾値は、プロンプトと競合する応答basinの間の幾何学的関係に依存する。
プロンプトの構成によっては、閾値をより安全な方向へ動かすこともできる。明確な制約、関連する証拠、安全でない前提の明示的な否定は、望ましくないbasinからの隔たりを広げる可能性がある。ただし、ユーザーはモデルの内部マージンを観測できないため、プロンプト設計だけに頼る防御は脆弱である。
より広い教訓は、安全性が相互作用全体の状態に属するという点だ。開発者には、会話履歴を維持し、プロンプト順序を変え、初期の安全な回答が誤った安心感を生まないかを検証する評価が必要である。孤立したプロンプトを通過するシステムでも、蓄積した文脈によって内部の均衡が変われば失敗し得る。
ここは、個人知識のワークフローに慎重な境界設定が求められる場面でもある。アシスタントをpersonal knowledge baseに接続すれば、関連する証拠へのアクセスを改善できる。ただし、それによって長い対話全体を通じ、生成されるあらゆる結論がその証拠に忠実であることが保証されるわけではない。
研究者らの提案の最も強力な形では、この動きを直接監視する。ユーザーにどの順序が安全かを推測させるのではなく、モデル自身が次トークンの競争がデプロイメントで定義された危険境界に近づいていることを明らかにする。
AI安全性は出力フィルターから内部シグナルへ移行している
内部警告システムは、開発者に対し、周辺のフィルターだけに頼るのではなく、生成プロセスそのものを防御するよう求めることになる。
現在のAI安全システムは複数の層を用いる。訓練では有益な拒否を報酬化し、有害な行動を減らせる。入力分類器は禁じられた要求を遮断できる。出力フィルターは生成されたテキストを検査できる。system promptは行動規則を定め、人によるレビューは高リスクの事例に対応できる。
こうした制御には実用的な価値があり、新しい研究もそれらが無効だとは示していない。むしろ著者らは、それらがモデルの周辺で症状に対処することは多いものの、その症状を生む内部転移を説明していない場合があると論じる。
George WashingtonのAI転換点フレームワークは、mechanistic interpretabilityと呼ばれるより広い分野に加わる。この研究は、内部activation、feature、circuitを、認識可能なモデル行動と結び付けようとする。その目的は、モデルに自然言語で自己説明させることより具体的である。
この公式は、非常に圧縮されたアプローチを取る。巨大なtransformerを1つの実効的なattention head内の競争へと縮約し、その競争をmultispin thermal systemに対応付ける。物理学では、このような単純化されたモデルによって、各要素を個別に表現せずとも集団的な挙動を明らかにできる。
同じ研究者らによる以前の論文「Simple picture」では、良好な出力から悪い出力への移行について、密接に関連する説明が展開されている。その研究では、独立して訓練された3つのファミリーに属する、6つのオープンウェイトdecoder-onlyモデルでのテストが報告された。
以前の分析では、競合する内積間の差が、第1層から最後から2番目の層までで最大617倍に拡大した。著者らはこれを、多層処理がsingle-headのメカニズムを打ち消すのではなく、増幅し得る証拠と解釈した。
新しいPatternsの研究では、Pythia-12Bを含むモデル範囲へと拡張し、予測、制御、edge deploymentを強調している。両論文を合わせると、単独の実証ではなく研究プログラムが提示されている。
このアプローチは、学習済み安全分類器とは異なる。分類器には事例が必要であり、訓練データの欠落を引き継ぐ可能性がある。一方、転換公式は、モデルの内部表現にすでに存在する関係に依存する。
この違いは、これまでに見られなかったリスクで重要になる可能性がある。コンテンツフィルターは、自傷の手順や武器製造といった既知のカテゴリを認識できるかもしれない。内部マージンは、開発者が競合する望ましいbasinと望ましくないbasinを定義すれば、原理上は新たな領域についても警告できる。
しかし、そうしたベイスンを定義する主体はなお必要だ。正確か不正確か、安全か危険か、関連性があるかないかは、互いに置き換え可能な概念ではない。医療分野での導入では、創作支援ツールや軍事計画システムとは異なる境界設定が求められる可能性がある。
文化的・法的な違いも課題を増やす。ある規制対象アプリケーションで許容されない回答が、別の用途では認められることもある。数学的手法は用途固有の定義を受け入れられるが、監視対象ベクトルが何を表すかは、依然としてガバナンスが決める。
商用開発者には、内部状態へ効率的にアクセスする手段も必要になる。クローズドなシステムは通常、注意ヘッドや残差ストリームの活性化を顧客に公開しない。提供事業者が自らモニターを実装するか、信頼できる監査を認めるか、制御されたインターフェースを通じて安全性テレメトリーを提供する必要がある。
こうした段階が実現すれば、内部警告は既存の制御を補完できる。プロンプト分類器が要求を選別し、アライメントが起こりやすい振る舞いを形作り、転換点モニターがその軌跡を追跡する。出力分類器は、唯一目に見える警報ではなく、最後の確認として残る。
エッジAIがリスクを高め、最も弱いリンクを露呈させる
オフラインモデルでは、不確実なモデル挙動を補う中央集権的な制御が失われ得るため、提案された警告システムの重要性が高まる。
エッジAIとは、すべてのリクエストをクラウドサービスへ送信する代わりに、スマートフォン、ノートPC、車両、家電、ローカルサーバー上で推論を実行することを指す。低レイテンシー、オフラインでの利用可能性、機微なデータに対するより大きな制御を実現する。
こうした利点は、医療、法律、金融、防衛、企業業務での導入を後押しする。一方で、中央集権型サービスで利用できる保護の一部も失われる。ローカルモデルは、更新済みのフィルター、脅威インテリジェンス、ポリシー変更、提供事業者による継続的な監視を受けられない可能性がある。
研究者らは、言語モデルを実行できるハードウェアがすでに広く普及していると強調する。ただし、彼らの実験は特定のスマートフォンをベンチマークしたものではなく、GPT-2が現在のオンデバイスアシスタントを代表するとも主張していない。エッジに関する議論は安全性上の必要性を示す一方、モデル試験はより限定的なメカニズムを扱っている。
ローカル導入は責任の所在も変える。クラウド提供事業者はサービス全体でモデレーション規則を更新できる。ダウンロードした重みを運用する組織は、自ら評価プロセス、モデルバージョン、ログ方針、インシデント対応を維持しなければならない。
軽量な数学的モニターは、その環境で魅力的だろう。すべての回答を判断するために第2の大規模モデルを必要とせず、比較的小規模なモデルと並行して動作できる可能性がある。また、私的な会話を外部のモデレーションエンドポイントへ送信せずに機能できる。
コストは考慮事項の一つにすぎない。プライバシーを重視する利用者は、保護のためにオンデバイスへ移したまさにその情報を送信するクラウド安全レイヤーを拒む可能性がある。ローカルの隠れ状態に基づく内部計算であれば、オフラインの境界を維持できる。
実務上の課題はキャリブレーションにある。常に発報する警告は無視されるか無効化される。発動が遅すぎる警告は、出力フィルターに比べてほとんど利点がない。開発者には、現実的な温度設定、会話長、タスクの下で、マージンが実際の失敗に対応するという証拠が必要だ。
アラート後の対応にも設計が必要となる。説明なく医療や法的な回答を停止すれば、利用者を苛立たせる可能性がある。黙って書き換えれば、不確実性を隠してしまう。より安全なインターフェースは、不安定な箇所を特定し、裏付けとなる証拠を取得し、担当者に推奨内容の確認を求めるかもしれない。
ナレッジワーカーも、内部シグナルにアクセスできない場合であっても同じ原則を適用すべきだ。重要度の高い主張は、ソース資料とのつながりを保つ必要がある。チームは、searchable knowledge baseを通じてローカルの証拠を保存し、生成された回答をそれらの記録と照合できる。
このワークフローは、数学的な転換点を検出するものではない。だが、主張を監査可能にし、流暢な文章を盲目的に受け入れることを抑えることで、被害を限定する。
エッジ市場には、第三者が改変したオープンウェイトモデルも含まれる。量子化、ファインチューニング、アダプター、変更されたシステムプロンプトは、内部ジオメトリを変え得る。元のチェックポイントで調整されたモニターは、こうした変更後も有効とは限らない。
そのため、この式は各導入パイプラインの一部として試験する必要がある。組織は、実際に使用するモデル、圧縮形式、プロンプト、デコーディング設定を評価すべきだ。ベースモデルだけに付随する安全性の結果では、すべての派生システムをカバーできない。
この証拠はまだ最先端アシスタントを対象としていない
最大の不確実性は転移可能性にある。この式は制御されたオープンモデル群で良好に機能するが、それは現在の商用アシスタントでも同等に機能する証拠ではない。
試験対象システムは、GPT-2およびGPT-2-mediumからPythia、MetaのOPTファミリーまでに及ぶ。これらのデコーダー専用モデルは、より新しいシステムとトランスフォーマーの中核的な仕組みを共有している。それでも、先進的なアシスタントと比べると、はるかに小規模で、アライメントも十分には施されていない。
研究に関与していないシェフィールド大学のAI講師Wei Xingは、この単純化を「1本のスパークプラグで自動車を説明するようなもの」と比較した。彼の批判は、示唆に富む構成要素モデルと、完全な機械の振る舞いとの隔たりを対象としている。
現代のアシスタントには、この単純化した説明にはない多くのメカニズムが組み合わされている。人間のフィードバックからの強化学習は出力の選好を変える。直接選好最適化は、選ばれた回答と拒否された回答を通じてモデルの振る舞いを再構成する。一部のシステムでは、別個のポリシーモデル、外部分類器、または隠れた推論プロセスが使われている。
論文は、アライメントがベイスン間のジオメトリを変え得ることを認めている。転換を遅らせたり、特定のプロンプト・ベイスン対が閾値を越えるのを防いだりする可能性がある。著者らは、アライメントによって注意機構そのものにおける内積競争が取り除かれるわけではないと主張する。
両方の主張は成り立ち得る。メカニズムが存在し続けても、その実用的な予測価値は大きく変わる可能性がある。健康な人には誰にでも心拍があるが、1回の脈拍測定であらゆる医学的リスクが分かるわけではない。
評価設計も別の問題を提起する。研究者らは埋め込み空間内に望ましいベイスンと望ましくないベイスンを構築し、予測された出力シフトのレジームと観測結果を比較した。これは、既知の定義の下で理論を検証するには有用である。導入時には、新たな失敗に遭遇する前にそれらのベイスンを定義する必要がある。
公開された要約では、異なる分析、除外条件、論文バージョンを説明しているため、性能カウントも異なって報告されている。したがって読者は、分母から切り離された単純化された割合ではなく、査読済みの手法と補足資料に依拠すべきだ。
最も強い公表済みの証拠は、曖昧でないケースにおけるレジーム分類を支持している。未知のプロンプト全体にわたる厳密なトークン単位のキャリブレーションは、まだ確立されていない。論文自体も、固定されたベイスンと過去に見ていない入力を用いる、より大規模な前向きベンチマークを求めている。
前向き試験が重要なのは、出力を見た後で研究者が定義を調整することを防げるためだ。説得力のある安全性評価では、まず危険なベイスン、閾値、介入規則を定める。その後、新たな会話で性能を測定する。
偽陽性と偽陰性は別々に報告すべきだ。偽陽性は安全な回答を中断する。偽陰性は、有害な遷移を警告なしに発生させる。異なる環境では、これらの誤りに大きく異なるコストが割り当てられる。
既存ベースラインとの比較も同様に重要である。研究者は、この式が活性化プローブ、出力分類器、不確実性推定、拒否応答の可能性を単純に監視する手法を上回るかを検証すべきだ。コンパクトな理論には価値があるが、導入は相対的な性能に左右される。
「go rogue」という表現も、結果を誇張するおそれがある。この研究は、定義された出力パターン間のシフトを扱うものだ。AIが独立した目標を形成すること、人間の制御から逃れること、悪意を発達させることを示したものではない。
事実として正しい回答であっても、危険な行動を促すなら、望ましくないベイスンに属し得る。逆に、不正確な記述が常に安全性違反となるわけではない。このフレームワークは柔軟だが、報告されるすべての結果は、研究者が「良い」と「悪い」をどのように操作的に定義するかに依存する。
責任ある結論は、有望だが限定的である。この研究は、さらなる検証に値する測定可能な内部競争を特定した。しかし、すべての大規模言語モデルにおけるあらゆる有害な振る舞いを検出する、万能の検出器を生み出したわけではない。
警告システムの意義を決める3つの試験
次の段階では、George Washington AIの転換点が未知の失敗を予測し、現代のアライメント下でも持続し、実際の介入を改善することを示さなければならない。
最初に注目すべきシグナルは、現在の指示チューニング済みモデルにおける独立した再現である。研究者には、チャットテンプレートと安全性トレーニングが文書化された、最近のオープンウェイトアシスタントへのアクセスが必要だ。試験には通常の会話、敵対的な連続入力、長いコンテキスト、多言語プロンプトを含めるべきである。
再現に成功すれば、この式が一般的なトランスフォーマーの振る舞いを捉えているという主張が強まる。指示チューニング後に失敗すれば、その価値はベースモデルまたは特定の実験条件に限定される。
2つ目のシグナルは前向き予測である。チームは会話を実行する前に望ましいベイスンと望ましくないベイスンを定義し、予測された閾値が観測されたシフトとどの程度一致したかを公表すべきだ。都合のよい一部だけを報告するのではなく、曖昧なケースも残す必要がある。
前向きな結果には、キャリブレーション距離も含めなければならない。失敗が即時レジームか遅延レジームに属すると予測することは有用である。運用上の安全性には、システムが介入に十分な猶予を提供するかを知ることが必要だ。
3つ目のシグナルは、エッジ環境への導入内で機能するモニターである。信頼できるプロトタイプでは、生成中にマージンを計算し、指定された応答を発動させ、許容可能な回答を阻害せずに有害性をどの程度防げるかを測定すべきだ。
その介入は、より単純な代替策と比較する必要がある。出力分類器が同じ失敗をより低い計算コストと少ない誤警報で捉えられるなら、数学的な優美さの運用上の価値は限られる。内部シグナルがより早く警告できるなら、実際の不足を埋めることになる。
開発者は、量子化やファインチューニング後にもモニターを試験すべきだ。モデルの全般的な能力が似て見えても、こうした変更はベクトルジオメトリを変え得る。信頼できる再キャリブレーションが可能であれば、この手法はローカル導入でより実用的になる。
独立した安全性研究者には、隠れ状態と評価コードへの十分なアクセスが必要になる。論文がオープンウェイトに焦点を当てていることは助けになるが、再現試験は有害コンテンツに異なる前提を持つ研究機関にまたがるべきだ。共有ベンチマークは、仮説の中核にある会話順序を維持しなければならない。
規制当局や企業の購入者は、この式を認証への近道として扱うことを避けるべきだ。単一の内部指標で、モデルが安全だと確立することはできない。これは、試験、プロベナンス、アクセス制御、人間による監督を含む多層的な保証プロセスの一つの観測値となり得る。
AI利用者にとって、直ちに取るべき行動はもっと単純である。流暢な導入部分を、継続的な信頼性ではなく読みやすさの証拠として扱うこと。重要な主張の背後にあるソースを保持し、長い会話でのずれを確認し、アシスタントが裏付けのない前提を強化し始めたら、コンテキストを再開するか絞り込むこと。
この研究は、一般的なワークフローに有益な問いを投げかけている。内部的な警告がより早い段階で現れるなら、なぜ有害な文が生成されるまで待つ必要があるのか。答えは今後の検証にかかっている。フロンティアモデルでの再現、前向きなベンチマーク、そして測定可能な失敗を防ぐエッジプロトタイプに注目したい。この3つの成果によって、この物理モデルが実用的な安全レイヤーとなるのか、それとも示唆に富む実験室レベルのアナロジーにとどまるのかが明らかになる。
