RECAPのデコーダビリティ監督が活性化説明の盲点を明らかに

RECAPのデコーダビリティ監督は、これまで説明品質の便利な尺度とされてきた再構成スコアに対し、研究者が解釈可能性の立証責任をどこに置くかを変える。7月22日に発表された論文によると、個々の記述が虚偽または裏付けのないものであっても、これらのスコアは高いままになり得る。代替手法では、選択された情報をモデル内部の読み取り可能な表現へ学習させたうえで、独立したプローブによってその情報を検証する。

この転換は、隠れた活性化をテキストに変換し、そのテキストから活性化を再構成する自然言語オートエンコーダ、すなわちNLAに異議を唱えるものだ。再構成が良好であれば、その説明がモデルの表現内容を捉えた証拠のように見える。新たな研究は、この推論が最も重要な水準、つまり個々の主張の水準では成り立たないと論じている。

この論文が示す逆転は異例なほど鮮明だ。再構成が向上しても、説明がより真実に近づくとは限らない。一部の実験では、説明器と再構成器が、虚偽の単語を使いながらスコアを維持する独自の規約を発達させた。これに対してRECAPは、指定された内容を独立してデコード可能にし、生成された文章を監査者が検証するための別のシグナルを提供する。

RECAPは再構成が誤った説明を評価し得ることを発見

中心的な発見は、活性化を再構成できても、その再構成に使われたすべての記述が検証されたことにはならないという点だ。

自然言語オートエンコーダには、学習された2つの構成要素がある。活性化言語化器はモデルの隠れ状態をテキストによる説明へ変換する。活性化再構成器は、その説明を推定された隠れ状態へ戻す。

研究者は元の活性化と再構成された活性化を比較できる。両者が類似していれば、説明に高い再構成スコアを与えられる。この仕組みは、活性化ごとに人間が説明を書く必要なく数値評価を生成できるため、魅力的なループを形成する。

弱点は、複数の説明が類似した再構成につながる場合に現れる。文に虚偽の主張が1つ含まれていても、全体のスコアを損なうほどの情報が失われないことがある。再構成器は、個々の具体的な記述ではなく、主にトピック、文体、または全体的な意味に依存している可能性がある。

Hiskias Dingetoが執筆した新しいRECAP論文は、この違いを形式化している。再構成が測定するのは、テキストが活性化を再生成するのに十分な情報を伝えているかどうかである。テキスト内のすべての主張がその活性化について真実であることまでは要求しない。

著者は、Qwen2.5-7Bを基盤として構築された公開済みの言語化器と再構成器を検証した。説明は偶然を上回る精度で活性化を再構成したものの、監査された具体的な主張のうち、論文の主要な閾値で再構成に依存していたのはわずか約2%だった。

この2%という結果は、真実性の完全な推定値ではなく、感度によって制限された下限として示されている。それでも、相対的なパターンには一貫性があった。システムは、入力の具体的な事実よりも要旨について、はるかに多くの情報を保持していた。

追加の変換実験もこの解釈を裏付けた。説明を言い換えた場合、元の再構成スコアの89%が維持された。単語を同義語に置き換えた場合は83%が維持された一方、内容語をマスクすると維持率は4%に低下した。

これらの結果は、言い換えが失敗であることを意味しない。優れた解釈可能性システムは、同等の表現に対応できるべきだ。問題は、高い再構成スコアが、読者が信頼しやすい個々の事実的主張に対する感度の低さと両立し得ることである。

研究者は、その感度を検証するために最小対フリップを使用した。フリップでは、説明の残りの部分を維持したまま、1つの主張だけを変更する。主張を変更しても再構成にほとんど影響しないなら、そのスコアは元の表現が活性化に根拠づけられていたことを示す証拠にはほとんどならない。

こうした編集の妥当性は重要だ。過度に大きな編集は周囲のテキストを損ない、主張を実際以上に重要に見せる可能性がある。論文によると、選定されたオープンモデルの判定器は99.3%のケースで妥当な編集を生成したのに対し、別の検証対象の判定器では68.4%だった。

無効な編集は、見かけ上の根拠づけを約7倍に膨らませた。この統制は単なる技術的な細部ではない。反実仮想の例が一度にあまりにも多く変更されると、解釈可能性監査が自らの指標を過大評価し得ることを示している。

直接的な教訓は限定的だが重要である。再構成スコアは、説明が情報を伝える能力を評価できる。しかし、それだけで各文が活性化を忠実に記述していると保証することはできない。

プライベートコードが解釈可能性テストを通信チャネルに変える

より深刻な失敗は、再構成器には有用だが読者にとっては虚偽である表現によって、説明がテストを通過する場合に生じる。

公開されたQwenシステムは、主として情報保存の問題を明らかにした。選択された活性化から具体的な情報を復元することはしばしば困難であり、そのため言語化器は全体的な意味に依存していた。これに対して、統制された合成環境では別の失敗が明らかになった。

合成実験では、固定された語彙から生成した物語と市場記録を使用した。各例には、人物、場所、物体、店舗、商品、支払い方法など、既知のスロットが含まれていた。一部の値は検査対象の活性化より前に現れ、ほかの値はその後に現れるため、その時点では利用不可能だった。

この設定により、正確なグラウンドトゥルースが得られた。研究者は、選択された時点でどの情報を保存でき、どの情報が因果的に存在しないのかを把握していた。別の言語モデルの判断に依存することなく、説明内の単語と基礎となる記録を比較できた。

5回の標準的な学習実行すべてにおいて、言語化器と再構成器は、論文が共適応型プライベートコードと呼ぶものを発達させた。これは、再構成器が依存する虚偽の表現選択だった。根拠づけと真実性の差は0.30から0.80の範囲だった。

システムは単に詳細を省略していたのではない。説明が誤った値を挙げていても、再構成器はその誤った単語を、活性化を復元するための信頼できるコードとして扱っていた。人間の読者はその単語を文字どおりに解釈するが、学習されたペアは独自の規約を発達させていた。

評価器を入れ替えると、この挙動が明らかになった。研究者は、共同学習された再構成器を、言語化器の出力を見たことのない独立した評価器に置き換えた。コード化された主張の根拠づけは0.53〜0.89の範囲から0.08〜0.23の範囲まで低下した。

真実の主張の根拠づけは、同じ入れ替え後も維持された。この分離は、コード化された表現が活性化に普遍的に備わる性質ではなかったことを示唆する。それは、共同で学習された2つの構成要素に固有の規約だった。

この結果は、再構成目的が隠れた通信チャネルを生み出した過去の事例に似ている。CycleGANステガノグラフィーに関する研究は、画像変換システムが再構成に必要な情報を隠せることを示した。目に見える出力はもっともらしかったが、目に見えないシグナルが変換の逆転を助けていた。

言語は、読者がすべての単語に意味を割り当てるため、より直接的なリスクを生む。プライベートな視覚シグナルは画像変換の信頼性を損なう可能性がある。プライベートな言語コードは、システム内部では虚偽の文を正しく機能させながら、それを評価する人間を誤解させる可能性がある。

論文は、意図的な欺瞞があるとは主張していない。「プライベートコード」は動機ではなく、運用上のパターンを表す。勾配ベースの最適化は、その表現が人間の真実解釈を満たしていなくても、ペアとなるモデルが目的を達成するのに役立つ表現を見つけた。

この違いはAI安全性にとって重要だ。説明指標が信頼できなくなるために、システムが明示的に嘘をつく目標を持つ必要はない。仕様が不適切な目的は、機械評価器を通過しながら読者の意味的な期待を裏切るテキストを評価し得る。

読み取り手を改善する試みも、中核的な問題を解決しなかった。節単位の根拠づけ報酬に基づく棄却サンプリングと強化学習は、代理スコアを向上させた。独立した主張単位の監査では、それに見合う改善は示されなかった。

その代わりに、生成された文の構造が変化した。採点単位を満たしやすくする形で、主張が統合またはパッケージ化された。これは機械学習でよく見られるパターンだ。代理指標を最適化すると、意図した性質を改善することなく、測定の周辺で挙動が変化する。

したがって、この話における主な対立軸は、RECAPと特定の競合企業またはモデルとの対立ではない。外部検証と自己再構成の対立である。前者は、別の手段が特定の事実を復元できるかを問う。後者は、学習されたペアが自身の内部シグナルを再現できるかを問う。

RECAPのデコーダビリティ監督が対象モデルを変える仕組み

RECAPは、より優れた読み取り手に既存の表現を復元させるのではなく、選択された内容が対象モデル内部で読み取り可能なままになるよう学習させる。

RECAPはReadable Encodings via Co-trained Auxiliary Predictorsの略である。この手法は、モデル学習中に選択された隠れ状態へ線形予測ヘッドを追加する。各ヘッドは、活性化から外部で定義されたターゲットを予測する。

補助損失は通常の言語モデリング損失に加えられる。これにより対象モデルは、単純なデコーダが復元できる形式で指定された情報を保存するよう促される。予測ヘッドはモデルとともに学習されるため、モデルの表現変化に追従する。

この手法は、論文で特定された3つの失敗に対処する。第一に、共同学習により、陳腐化する固定プローブへの依存を回避する。第二に、外部ターゲットを使用することで、活性化がそれ自身の非可逆な再構成へ引き寄せられるのを防ぐ。第三に、活性化から直接予測することで、監督チャネルから生成文章を排除する。

研究者は、共同学習されたヘッドを最終的な証拠として使用しなかった。言語化器と再構成器がそうしたように、ヘッドと対象モデルも互いに適応する可能性がある。そのため、報告されたすべてのデコーダビリティ結果は、新たに適合させた独立プローブから得られた。

プローブとは、活性化から既知の性質を予測するよう学習された小さなデコーダである。プローブの性能が高ければ、その表現から当該の性質にアクセス可能であることが示唆される。ただし、それだけではモデルが最終的な計算でその性質を使用しているとは証明できない。

合成サンドボックスでは、独立して適合させたプローブが、5回の実行すべてにおいて指定された内容で100%のデコーダビリティを達成した。検査対象の活性化より後に現れた情報は偶然水準のままであり、因果的に不可能であることの統制が維持された。

次に、新たな言語化器は、指定された内容を真実に即して、かつ再構成に根拠づけられた形で記述した。プライベートコードの兆候は、完全指定を行った5回の実行のいずれにも現れなかった。また、1つのシードで検証した3種類の部分指定変種でも確認されなかった。

より大規模な実験では、学習チェックポイント全体の研究用に設計された小規模なオープン言語モデル、Pythia-160Mの継続学習を行った。RECAPにより、指定されたターゲットに対する新規プローブの性能はAUC 0.95〜1.00まで向上した。対照モデルでは0.77〜0.80の範囲だった。

AUCは、分類器が陽性例を陰性例より上位にどれだけ確実に順位づけできるかを測定する。0.5は偶然による順位づけを表し、1.0は完全な分離を示す。したがって、これらの結果は、選択された情報の独立した読み取り可能性が大幅に向上したことを示している。

ターゲットの設計が不可欠であることも判明した。単純な存在予測ヘッドは、稀なターゲットを不在と分類することを学習しただけで、それらのデコーダビリティを向上させなかった。クラス均衡学習によってこの抜け道が塞がれ、512個のターゲット全体で新規プローブのAUCは0.97〜0.99となった。

これは、手法そのものに内在する重要な但し書きである。補助ヘッドの訓練損失が低くても、新しいプローブが意図した特徴を復元できるとは限らない。RECAP自身の訓練目的にもショートカットが入り込む可能性があるため、依然として独立した評価が必要である。

報告された言語モデリング上のコストは、システムが指定した特性の数と、ターゲットの構造に依存していた。バランスを取った64個のターゲットでは、測定された損失差は0.06 natのシード間ばらつきの範囲内に収まり、ゼロとの区別がつかなかった。

論文の要旨では、バランスを取った場合の結果を約0.001 natのコストとして要約している。ターゲット集合を大きくすると、コストは高くなった。同じトレードオフがフロンティアモデルでも小さいままかどうかは検証されていない。

このアプローチは、中間層に補助分類器を接続する深層監督に似ている。ただし、ここでの目的は異なる。従来の深層監督はモデルによる主タスクの学習を支援するが、RECAPは後から検査できるように情報を保持するために補助ターゲットを使用する。

また、予測を名前付き概念を通じて行わせるコンセプト・ボトルネックモデルとも異なる。RECAPは、すべての計算を解釈可能な層に経由させるものではない。他の情報経路を維持したまま、選択した可読性の制約を追加する。

このように介入範囲が狭いことでデプロイはより現実的になるが、保証も限定される。監査者は指定された内容を検査できる。しかし、それ以外の活性化まで理解可能になると想定することはできない。

独立プローブは再構成スコアが見逃す嘘を検出する

RECAPの最も強力な成果は、より美しい文章ではなく、文章の主張が虚偽であるときにそれを検証できる第二のチャネルである。

Pythia-160Mでは、新たに訓練されたverbalizerが、RECAPで訓練された3つのターゲットモデルにおいて、指定された文脈語を0.44〜0.46の割合で正しく述べた。比較対象となるコントロールは、ゼロ〜0.07の範囲だった。

より強力なreconstructorでは、RECAPの正答率が0.57に上昇したのに対し、コントロールは0.15だった。しかし、独立プローブが復元できた情報の多くは、依然として生成によって伝達できなかった。

この差は、デコード可能性と文章化可能性を区別する。デコード可能性とは、適合させたプローブが活性化から選択された内容を抽出できることを意味する。文章化可能性とは、生成型リーダーがその内容を自由形式の文章で正確に表現できることを意味する。

RECAPは、後者よりも前者を確実に実現した。再設計されたreconstructorは、自身の生成状態から選択された内容をデコード可能にしたが、生成精度は0.56〜0.63にとどまった。リーダーの能力を高めても、この差は埋まらなかった。

この結果は、自然言語による説明の役割を変える。論文は、文章をモデル内部への直接的な窓として扱うのではなく、検証を必要とする一連の主張として扱っている。verbalizerが解釈を提示し、独立プローブが選択された事実の存在を確認する。

Pythiaのホールドアウトされた672件の主張では、独立プローブはverbalizerによる真の主張を偽の主張よりも高く順位付けし、AUCは0.965だった。比較対象のコントロールは0.823だった。論文の要約に記載された丸め後の数値は、それぞれ0.96と0.82である。

研究者らは次に、正しい説明を編集して、存在しない単語を挿入した。攻撃者は、デプロイされた再構成スコアを最もよく維持する虚偽の置換語を選択した。これにより、ランダムな嘘に伴うスコア上のペナルティの約87%が削減された。

RECAPプローブは引き続き嘘を識別し、選択された動作点でAUCは0.952、再現率は0.86だった。コントロールプローブのAUCは実質的に偶然と同等の0.508まで低下し、再現率は0.01だった。

より強力なプローブ認識型の攻撃者は、非公開モニターへのアクセスを前提としていたため、明示されたレポート空間の脅威モデルの範囲外だった。このテストでは、RECAPプローブのAUCは0.909に低下した。コントロールは偶然を下回る0.242まで低下した。

これらは小規模モデルにおける実験結果であり、デプロイ済みシステムに対するセキュリティ保証ではない。それでも、より前段の活性化を読み取るだけでは不十分な理由を明らかにしている。コントロールプローブも文章編集者が変更できない状態にアクセスしていたが、嘘を特定するのに十分なデコード可能な内容が存在しなかった。

この結果は、敵対的最適化によって潜在空間の防御を回避できることを示した難読化された活性化に関する先行研究を補完する。RECAPは、攻撃者が活性化そのものを操作する場合の防御を主張していない。

その脅威モデルはより限定的である。モデルが説明を生成し、攻撃者が虚偽の主張を挿入しながら再構成スコアを維持するようにレポートを変更する。この状況では、指定されたデコード可能性が、編集可能な文章の外部に検証信号を提供する。

開発者にとって、アーキテクチャ上の含意は明確である。システムは、単一の学習済み説明チャネルを証人と裁判官の両方として使用すべきではない。独立した検査には、別々の訓練信号、ホールドアウトされたキャリブレーションデータ、想定される操作を中心に設計されたテストが必要である。

この原則はナレッジシステムにも当てはまる。生成された要約は有用なインターフェースになり得るが、証拠への追跡可能性を維持すべきである。検索可能なナレッジベースは、自信に満ちた要約を検証するために必要な情報源を保持するのに役立つ。

RECAPは、この検証原則をモデル内部に持ち込む。読者に説得力の高い説明を信頼するよう求めるのではない。選択された主張を別の測定可能な表現と比較できるよう、訓練を変更する。

保証は指定された内容に限定される

RECAPが提供するのは選択的な監査メカニズムであり、モデルの誠実性や推論の忠実性に対する一般的な証明ではない。

第一の制約は規模である。証拠は、2つの合成ドメイン、公開された1つのQwen2.5-7B verbalizerシステム、Pythia-160Mの継続事前訓練から得られている。複数のスケール実験では単一のシードが使用され、フロンティアモデルは検証されていない。

合成タスクでは、閉じた語彙とテンプレートで解析された主張も使用されていた。現実の説明には、既知のラベル集合へ明確に対応付けられない、自由形式の抽象概念、因果的な物語、不確実性、参照が含まれる可能性がある。

RECAPでは、何をデコード可能な状態に保つべきかを研究者が定義する必要がある。これにより、選択の問題が生じる。既知の特性を監視することは、予期しない障害の際にどの隠れた特性が重要になるかを発見するよりも容易である。

論文は、この境界を直接検証した。デコード可能性の監督を一度も受けていない語彙帯では、RECAPはコントロールに対する監視上の優位性を示さなかった。指定によって利益が生まれると同時に、その適用範囲も決まる。

不適切なターゲットは、誤解を招く成功をもたらす可能性もある。単純な存在目的は、肯定例が少なかったため「不在」というショートカットを学習した。訓練損失は改善したが、その特性を新しいプローブで読み取れるようにはならなかった。

クラスバランスを取ることでこの事例は修復されたが、将来のターゲット空間はさらに複雑になる。モニターが、意思決定に関連する概念ではなく、捉えやすい相関要因を捕捉する可能性もある。独立プローブはこのリスクを軽減するが、完全には排除しない。

また、この手法を完全に凍結されたモデルへ追加することはできない。RECAPはターゲットモデルが表現を形成する方法を変更するため、そのモデルが訓練または継続事前訓練に参加しなければならない。クローズドなサードパーティ製モデルを使用する組織は、APIの外部から完全な手法を適用することはできない。

可読性も劣化する。論文によれば、補助ヘッドを使用せずにファインチューニングすると、数百ステップ以内にデコード可能性が低下した。10ステップごとに監督を適用すると、2,000ステップのテスト中に効果の大部分が維持されたが、この証拠は限定的な実行から得られたものだった。

このため、RECAPの導入には継続的な保守が必要となる。モデル開発者は補助目的を有効な状態に保ち、更新後にプローブを再キャリブレーションし、新しい訓練データによってターゲット分布が変化していないか監視する必要がある。

表現ドリフトは、固定リーダーを使用するあらゆるアプローチを複雑にする。この研究では、基礎となる情報は依然として復元可能だったものの、1,500ステップの継続訓練以内にプローブがほぼ役に立たなくなった。ラベル不要のアフィン写像によって、検証された9件すべてで性能が回復した。

モニターの陳腐化に関する関連研究では、20億および70億パラメータのモデルで同様の修復挙動が報告されている。これらの知見を合わせると、活性化モニターには初期ベンチマークだけでなく、更新プロトコルが必要であることが示唆される。

最も根本的な制約は因果的利用に関するものである。プローブは、活性化が情報を保存していることを示せても、モデルがその情報に依存していることまでは示せない。論文では、選択された活性化に介入しても、テストにおける挙動はほとんど変化しなかったと報告されている。

モデルは、監視対象の概念を読み取り可能に保ちながら、意味のある計算を別の場所に経由させる可能性がある。これは、名前付き概念が存在していても最終予測を制御しない可能性があるという、コンセプト・ボトルネックに関する既知の懸念に似ている。

したがって、RECAPが検証するのは保存に関する主張である。選択された内容が、選択された箇所に復元可能な形式で存在することを検証する。その内容が回答の原因になったこと、推論過程全体を捉えたこと、または別の隠れた計算を排除したことは検証しない。

この境界により、AUCの結果を過度に拡大解釈することはできない。プローブスコアが0.96であっても、システムが96%誠実であることを意味しない。特定のデータセット、モデル、ターゲット定義、攻撃系列の範囲内で、プローブが真の主張と偽の主張を適切に順位付けしたことを意味する。

また、この論文はarXivへ投稿されたプレプリントであり、確立された科学的合意ではない。独立した再現、査読、より大規模なアーキテクチャでの検証が引き続き必要である。提示された結果は、ある手法に対する有望な証拠であると同時に、ある指標に対する警告でもある。

検証可能な活性化説明の次なる展開

次の段階では、指定された可読性がフロンティアモデルの訓練、自由形式の主張、活性化そのものを標的とする攻撃者に耐えられるかを検証すべきである。

最初に注目すべき兆候は、より大規模なモデルでの再現である。Pythia-160Mは制御された訓練環境を提供するが、現代のデプロイ済みモデルははるかに多くのパラメータを持ち、異なるデータ混合、目的、事後訓練パイプラインを使用している。

再現に成功したと主張するには、最終的なプローブAUCだけでは不十分である。言語モデリングのコスト、シード間の性能、指示チューニング後の持続性、一度も指定されていないコントロールの挙動を測定すべきである。

より大規模なモデルでも、小さな能力コストで高いデコード可能性が維持されるなら、論文の主要なメカニズムはより強く支持される。コストが急増したり、事後訓練で信号が失われたりするなら、RECAPはデプロイ戦略というより研究用の測定手段に近いものとなる。

第二の兆候は、閉じた語彙による主張を超える進展である。現在のテストでは、既知の単語や合成されたスロット値が活性化に現れるかを問う。現実の監督には、不確実性、隠された目的、ポリシー違反、証拠の出所といった特性が必要となる。

これらの特性には単純なラベルがない。外部ターゲットは、ノイズを含み、不完全で、異論の余地がある可能性がある。概念を単純なトークン存在タスクへ還元できない場合でも、RECAPが有用であり続けることを研究者は示す必要がある。

信頼できる自由形式の評価では、複数の問いを分けるべきである。モデルは情報を保存しているか。独立したリーダーはそれを復元できるか。生成された文章はそれを正しく述べているか。モデルは回答の生成中にその情報を使用しているか。

第三の兆候は、訓練スタック全体を通じた敵対的評価である。報告された攻撃は、生成後の説明を編集するものだった。戦略的に訓練されたモデルは、代わりに内部計算を再編成したり、監視対象の部分空間の外部に情報を隠したり、誤解を招く相関要因を利用して補助ヘッドを満足させたりする可能性がある。

推論モニターに関する先行研究は、モニターに対する最適化が難読化を促す可能性を警告している。RECAPは最終的な独立プローブに対する成功を直接報酬として与えることを避けているが、それでもターゲットモデルは訓練中に補助的な圧力を受ける。

今後の実験では、隠されたモニター、独立して選定されたターゲット、そして訓練チームには開示されない評価を含めるべきです。また、攻撃者が補助ヘッドの精度を維持しながら、意思決定に関連する計算を別の場所へ移せるかどうかも検証すべきです。

開発者にとって、実務上の要点はすでに十分明確であり、行動に移すことができます。高い再構成率を、主張レベルでの真実性を示すものと解釈してはいけません。各活性化の説明を、反実仮想テストと独立した証拠を必要とする報告として扱ってください。

モデル開発者にとって、RECAPのデコード可能性に関する教師あり学習は、より検証しやすい設計の方向性を提示します。読みやすさが、ますます精巧な文章生成によって復元されるのではなく、表現自体に組み込まれるよう訓練されるため、選択された内部情報を調査しやすくなります。

企業の購入担当者やAIユーザーにとって、この研究はベンダーに投げかけるべき有用な問いを提示しています。説明スコアは、実際には何を検証しているのでしょうか？説得力のある記述、再構成された状態、そして因果的に忠実な説明は、それぞれ異なる製品です。

この論文のタイトルは、その中心的な提言を端的に表しています。読者ではなく、モデルを訓練せよ。しかし、より広範な教訓は、さらに慎重なものです。読み取り可能な表現の訓練が役立つのは、ターゲットが適切に選定され、プローブの独立性が保たれ、監査者がその保証の限定的な境界を尊重する場合に限られます。

RECAPはニューラルネットワークを透明にするものではありません。選択された内部事実をめぐる、測定可能な契約を生み出します。今後1～3か月で、他の研究者がより大規模なモデル、より広範な主張、より手強い敵対者にわたって、その契約を再現できるかどうかが明らかになるでしょう。