ニューラルシステムは保留も改訂もできる。それでも両立には苦戦している
8月6日に投稿されたHorizon MachineLearningの議論は、各テスト単体には数十年にわたる研究があるにもかかわらず、4つすべてを通過する単一のシステムを求めている。システムは未解決の命題を保持し、その情報源と判断保留の理由を維持し、関連する証拠が到着した際に再検討し、無関係な変更を避けなければならない。
この組み合わせは、通常の不確実性推定よりも鋭い課題を生む。モデルは単に「分かりません」と答えるだけでは足りない。何が未解決のままなのかを正確に記憶し、なぜ判断を保留したのかを説明し、その状態を変え得る証拠を認識する必要がある。
元の議論は、新しいモデルや実験結果を提示しているわけではない。複数の成熟した分野を組み合わせて構成された研究課題を提示している。注目すべき発見は、それらを結び付ける受け入れられたエンドツーエンド評価が見当たらないことだ。
選択的予測は回答拒否を扱う。アトリビューションは出力を証拠に結び付ける。継続学習は後から得られる情報を処理する。モデル編集は選択した振る舞いを変更する。真実維持システムは正当化を追跡し、それに依存する信念を撤回する。
各分野は仕組みの一部を提供している。しかし、投稿で説明された完全なライフサイクル全体を明確に担う分野はない。
この隔たりは重要である。導入済みのニューラルシステムは、変化する証拠の上で動作する機会が増えている。医療記録には新しい検査結果が追加される。コンプライアンスチームは古くなった方針を差し替える。調査担当者は新たな文書が出てくると主張を再評価する。個人向けナレッジシステムは、時間とともに信頼性が変化するノートを組み合わせる。
したがって中心的な争点は、あるアーキテクチャと別のアーキテクチャの対決ではない。モジュール単位の成功と、ライフサイクル全体の整合性との対決である。同じ命題が時間、情報源、改訂、そして隣接する知識をまたいで存続しなければならなくなるまで、個々の構成要素は有能に見える。
Horizon MachineLearningの問いが実際に求めているもの
提案されたテストが対象とするのは、モデルが一つの回答を拒否できるかどうかだけではなく、未解決の主張のライフサイクルである。
あるシステムが、情報源Sから命題Pを受け取るとする。システムには、特定の理由Rにより、Pを真または偽に分類するだけの十分な証拠がない。
従来の分類器なら、低い信頼度スコアを返すかもしれない。選択的予測器なら判断を保留するかもしれない。言語モデルなら、利用可能な証拠は不十分だと応答するかもしれない。
こうした応答は、目の前の出力に対処している。しかし、やり取りが終わった後も、システムがPを独立した未解決の対象として保持する保証にはならない。
求められる振る舞いには、永続性が加わる。システムは、不確実性を弱く保持された事実的な関連へと変換せず、P、S、Rをそれぞれ別個に保持すべきである。
さらに条件付きの改訂も求められる。新しい証拠Eは、Eが記録された保留理由に対処するか、あるいは関連する証拠状態を別の形で変化させる場合にのみ、Pを再検討すべきである。
同じ根拠のない主張を繰り返す情報源は、条件を満たすべきではない。隣接する対象に関する無関係な情報が改訂を引き起こすべきでもない。後から生じた矛盾が、元の来歴を黙って上書きしてはならない。
これらの要件は、観測可能な4つの特性に分けられる。
第一に、持続的な認識論的保留とは、システムが時間の経過や後続の問い合わせをまたいで、非断定的な状態を保持することを意味する。モデルが後にPを決着済みとして提示するなら、即時の回答拒否では不十分である。
第二に、来歴の保持とは、Pがどこから来たのか、またなぜ受け入れられなかったのかをシステムが維持することである。生成テキストに付された引用は、その要件の一部しか満たさない。
第三に、証拠によって引き起こされる改訂とは、関連する証拠の変化が制御された状態遷移を生むことを意味する。より多くのテキストに触れたというだけでは不十分だ。
第四に、副次的変更の限定とは、更新が適切な下流の振る舞いを修正しつつ、無関係な能力を損なわないことを意味する。これはモデル編集における局所性に似ているが、時間的・証拠的な条件も含む。
評価では、4つの特性を共同でテストする必要がある。4つの個別ベンチマークに合格しても、一つのシステムがそれらの関係を保持している証明にはならない。
この区別は重要である。パイプラインは引用をデータベースに保存できても、生成時には失ってしまう可能性がある。取り込み時に不確実性を正確に推定できても、その後に保留状態を捨ててしまうかもしれない。
また、改訂が新しい証拠に従って行われたことを示さないまま、編集を成功させることもできる。同じ仕組みが、検証済みの訂正と同じくらい容易に、根拠のない指示を受け入れてしまう可能性がある。
したがってこの問いは、機能の寄せ集め以上のものを求めている。最初の接触から後の改訂に至るまで、システムが首尾一貫した認識論的記録を維持できるかを問うている。
選択的予測が解決するのは最初の判断であり、待機期間ではない
選択的予測はニューラルシステムに原理的な回答拒否の選択肢を与えるが、標準的な評価は持続的な保留を扱うには早く終わりすぎる。
選択的分類は、予測器と選択関数を組み合わせる。モデルはカバーされる事例に回答し、リスクが高すぎると判断した事例では判断を保留する。
研究者は一般に、この振る舞いをリスク・カバレッジのトレードオフで評価する。カバレッジは予測が返された例の割合を測る。選択的リスクは、受け入れられた例の中での誤りを測る。
この枠組みは、通常の分類にある高コストな弱点を直接扱う。すべての入力に回答を強いられるモデルは、難しい事例と、信頼して処理できる事例を区別できない。
SelectiveNetは、回答拒否の選択肢をエンドツーエンド学習の一部にした。その著者らは、事前学習済みネットワークに信頼度のしきい値だけを設けるのではなく、予測と拒否を同時に最適化した。
SelectiveNet論文は、複数の分類および回帰データセットで、リスク・カバレッジ性能の改善を報告した。この結果は、学習された判断保留の有用な先例を確立した。
その後の研究では、較正済み信頼度推定器、コンフォーマル手法、タスク固有の拒否目的を通じて、選択的予測が拡張された。これらのアプローチは、回答が推定上の過大なリスクを伴う場合を判断できる。
しかし、拒否判断は通常、ある評価時点における一つの入力に結び付いている。ベンチマークが問うのは、システムが正しく保留したかであり、その後に未解決項目がどうなったかではない。
そこにはいくつかの未解決の問いが残る。システムは命題を未解決として保存したのか。理由を保持したのか。他の学習や対話の後にも、同じ状態を取り出せるのか。
不確実性推定にも関連する境界がある。認識論的不確実性は知識の限界に伴う不確実性を表す一方、偶然的不確実性は観測における削減不能なばらつきに関わる。
アンサンブル、ベイズ近似、較正手法、分布外検出器は、不確実性の異なる側面を推定する。しかし、不確実性スコアは構造化された正当化ではない。
確率が2分の1に近いことは、システムが証拠を欠いているのか、矛盾する情報源に直面しているのか、情報源を信頼していないのか、あるいは主張を解釈できないのかを説明しない。これらの理由は、それぞれ異なる改訂トリガーを示唆する。
較正は、もう一つの部分的な先例を生む。較正されたモデルは、明示された条件下で、報告された信頼度を観測された正答頻度に整合させる。
これは行動すべきかを判断する上で価値がある。しかし、なぜ特定の命題が未解決のままだったのかについて、持続的な記録を作るわけではない。
コンフォーマル予測でさえ、完全な提案より狭い保証しか提供しない。指定された仮定の下で、カバレッジ特性を持つ予測集合を生成できる。しかし、情報源ごとの信念履歴を本質的に維持するものではない。
ここに文献における最初の大きな境界がある。選択的予測は、今回答すべきかをモデル化する。提案されるライフサイクルは、待機中に何を保持すべきかもモデル化する。
この待機状態を空の出力として扱うことはできない。そこには、後の行動に必要な情報、すなわち命題、その来歴、未解決の理由、そして適格な証拠条件が含まれている。
導入済みシステムにとって、この区別は製品の振る舞いを変える。臨床支援システムは、「検査結果が存在しない」ことと「2つの検証済み検査が矛盾している」ことを区別すべきである。
ポリシー支援システムは、「規則が沈黙している」ことと「提供された文書の権威性が不確かである」ことを区別すべきである。どちらの状況も保留を正当化するが、必要となる追加証拠は異なる。
選択的予測は、初期判断を表す用語として依然最も強力である。持続的な認識論的保留は、より長く存続する状態の妥当な名称だが、まだ標準化されたベンチマーク区分ではない。
来歴は回答を根拠付けられても、信念の履歴を保持できるとは限らない
アトリビューション研究は出力を情報源に結び付けるが、情報源による根拠付けが、主張が未解決のまま残った理由を自動的に保持するわけではない。
自然言語生成の研究では、出力が特定の証拠によって裏付けられるかを評価する取り組みが増えている。これは来歴と密接に関係するが、分析単位は生成テキストであることが多い。
Attributable to Identified Sourcesフレームワークは、外界に関する主張を、提供された情報源に照らして検証可能なものとして扱う。その評価プロセスでは、引用された情報源が出力を裏付けているか、その情報源が特定可能かを問う。
AISフレームワークは、このアプローチを対話型質問応答、要約、表からテキストへの生成にわたって検証した。情報源に根拠付けられた出力を評価するための具体的な言葉を提供している。
検索拡張生成も、別の関連する仕組みを加える。リトリーバーが外部の文章を選択し、ジェネレーターがそれらの文章を条件として回答を生成する。
一部のシステムは文書IDや引用スパンを保持する。別のシステムは、生成された主張が取得コンテキストから導かれるかを確認するために自然言語推論を利用する。
あるEMNLPの産業論文は、Provenanceという軽量の事実性チェッカーを導入した。これはコンパクトな推論モデルを使い、疑わしい非事実的な出力を特定のコンテキスト断片まで追跡する。
Provenanceチェッカーは、局所的な情報源追跡が後続の修正を支援できることを示している。これは、出力の失敗をその証拠へ結び付けるための意味ある先例である。
しかし、出力のアトリビューションと信念の来歴は異なる問いに答える。アトリビューションは、この生成文をどの情報源が裏付けるかを問う。信念の来歴は、システムが現在なぜ特定の認識論的状態を割り当てているのかを問う。
システムはSを引用できても、Sが信頼できないと判断されたことを記録できていない場合がある。取得したテキストを保持しても、受け入れを妨げた正確な矛盾を保持できない場合がある。
また、システムは回答をまったく生成しないこともある。その場合、従来の引用評価には採点対象がないかもしれないが、未解決の記録は依然として重要である。
したがって来歴の保持には、引用リストよりも豊かな状態が必要となる。各命題には、情報源の識別子、取り込み時刻、抽出コンテキスト、信頼性評価、依存関係リンクが必要になる可能性がある。
さらに、否定的・手続き的な情報も必要となる。証拠が不十分だった、矛盾していた、古かった、情報源の専門範囲外だった、または別の条件によって妨げられたことを、システムは記録すべきである。
このメタデータは改訂に影響する。新しい文書は情報の古さを解消する場合があるが、権威性を確立するわけではない。権威ある情報源は信頼性の問題を解消できる一方で、直接的な矛盾をそのまま残すことがある。
データリネージに関する研究は、有用なインフラストラクチャの概念を提供している。データリネージは、成果物がシステム全体でどのように作成され、変換され、利用されたかを記録する。
ただし、リネージが扱うのは通常、データセット、特徴量、学習実行、または生成された成果物である。命題の保留された真偽状態を必ずしもモデル化するわけではない。
ナレッジグラフは、もう一つの部分的な構造を提供する。主張、情報源、タイムスタンプ、関係性を、明示的なノードとエッジとして表現できる。
名前付きグラフと再ificationは、個々の文に来歴情報を付与できる。ルールシステムは、その注釈に基づいて結論を伝播または撤回できる。
課題は、ニューラルコンポーネントがこれらの構造を圧縮する際に生じる。ニューラル表現は流暢な検索を支援できる一方、どの情報源がどの関連付けを引き起こしたのかを不明瞭にする可能性がある。
そのため、新たなニューラルアーキテクチャが不要であっても、外部メモリは重要になる可能性が高い。システムは認識論的記録をモデルの重みの外部に保存し、ニューラルモデルを検索、比較、生成に利用できる。
この設計は、永続的な状態と確率的推論を分離する。また、来歴の検査と改訂をより実用的にする。
代償は統合の複雑さである。特にモデルのパラメータに矛盾する学習済みの関連付けが含まれる場合、開発者は生成される回答が外部記録に従うよう保証しなければならない。
適切に設計されたナレッジベースは、人間によるレビューのために情報源の文脈を保持できる。それ自体が、証拠に敏感なニューラルの振る舞いを保証するわけではない。
研究上の空白はその境界にある。来歴情報は最終回答の横に表示されるだけでなく、回答の保留や後の改訂を形作らなければならない。
真理維持は意味論を備え、ニューラル学習はスケールを備える
古典的な信念改訂システムは、必要な状態遷移を大半のニューラルベンチマークより直接的に記述している。
真理維持システムは、信念、その正当化、および前提が変化した際の帰結を追跡するために設計された。要求全体に最も近い概念的先例を提供しているといえる。
仮定ベースの真理維持システムは、代替的な文脈を表現し、ある結論を支持する仮定の組み合わせを特定できる。正当化ベースのシステムは、信念間の依存関係を記録する。
前提が無効になった場合、依存する結論は撤回できる。支持する正当化が依然として有効なら、無関係な結論はそのまま維持される。
この振る舞いは、付随的な変更を限定した証拠トリガー型の改訂に似ている。違いは、古典的なシステムが通常、明示的な記号表現上で動作する点にある。
信念改訂は追加の用語も提供する。拡張は信念を追加し、縮約は信念を削除し、改訂は整合性を回復しながら信念を取り込む。
非単調推論も重要である。非単調システムでは、純粋に単調な論理とは異なり、新しい情報が到着したときに結論を撤回できる。
Redditの提案は、改訂に先立つ明確な要件を追加している。システムは、命題もその否定も受け入れることなく、その命題を保持しなければならない。
これは、多値論理における明示的な「未確定」状態に似ている。また、受容、棄却、未決の主張を区別する論証フレームワークにも似ている。
これらの伝統はすでに、保留を意味のある状態として扱っている。また、理由、対立する論拠、依存構造を保持することもできる。
ニューラルシステムには二つの複雑さがある。第一に、その内部知識は通常、明示的な命題として保存されるのではなく、多数のパラメータに分散している。
第二に、その出力はプロンプト、文脈、デコーディング、そして学習済みパターン間の相互作用に依存する。一つの関連付けを更新すると、可視的な依存グラフを超えて振る舞いに影響を与える可能性がある。
ニューロシンボリックシステムは、統計的学習と明示的推論の結合を試みる。記号メモリは命題レベルの状態を保持できるため、自然なアーキテクチャ上の方向性を提供する。
しかし、解決策をニューロシンボリックと呼んでも、評価の問題は解決しない。システムは記号的な記録を公開しながら、生成器がそれらと矛盾することを許してしまう可能性がある。
ベンチマークは、言い換え、文脈、時点、関連証拠をまたいだ観測可能な振る舞いをテストしなければならない。また、システムが公開している場合は、保存された来歴情報も検査すべきである。
現実的なテストシーケンスは、権威性の低い情報源からの曖昧な主張で始められる。システムは回答を保留し、情報源に固有の理由を記録すべきである。
次に、研究者は無関係な問い合わせを行い、注意をそらす文書を追加し、隣接する事実を変更する。保留状態は安定して維持されるべきである。
続いて、複数の証拠タイプを提示する。一部は関連性があるものの不十分であるべきだ。別の一部は、命題を支持することなく記録済みの理由を解消するものであるべきだ。
適格な証拠だけが改訂を引き起こすべきである。新たな状態は、直接的な質問、言い換え、有効な下流の含意にわたって一貫して現れるべきである。
最後に、研究者は無関係な振る舞いにドリフトがないかをテストする。また、新しい証拠を削除または無効化した場合に適切な状態が回復するかも確認する。
この最後のステップは、通常の継続学習とのもう一つの違いを示す。新しいデータを学ぶことは、反証可能な正当化を維持することと同じではない。
継続学習は、逐次更新後の広範な性能低下である破滅的忘却を抑えつつ、新しいタスクやデータを獲得することに焦点を当てる。
リプレイバッファ、パラメータ分離、正則化は、以前の能力を維持できる。これらの手法は一般に、特定の証拠が特定の命題を改訂する根拠となるかを判断しない。
これらは時間をまたぐ学習を保護する。変更のための認識論的条件を必ずしも提供するわけではない。
したがって、最も近いエンドツーエンドのシステムは複数の伝統を組み合わせることになる可能性がある。選択的予測は棄却の判断を提供する。明示的メモリは命題と来歴情報を保持する。
真理維持論理は依存関係と改訂トリガーを管理する。継続学習またはモデル編集は、その後のニューラルの振る舞いの変化を制御する。
統合の目標は明確である。未解決の問題は、これらの部分が一つの整合的で測定可能な契約を生み出せるかどうかだ。
ローカルモデル編集は付随的変更の問題を明らかにする
モデル編集は標的を絞った改訂を直接測定するが、現在の証拠は、見かけ上の局所性がより広い損害を隠し得ることを示している。
知識編集は、モデル全体を再学習することなく、選択したモデルの振る舞いを変更しようとする。典型的なベンチマークでは、編集の成功、言い換えへの一般化、無関係な出力の維持をテストする。
信頼性は、編集済みモデルが対象クエリに対して意図した回答を返すかを問う。一般化は、同等の表現や関連する文脈を確認する。
局所性は、意図された編集の外部にある振る舞いが安定しているかを測定する。移植性は、新しい事実が関連状況で適切な推論を支援するかをテストする場合がある。
これらの次元は、提案されたライフサイクルの後半と密接に一致する。命題が変化し、関連する振る舞いがそれに続き、無関係な知識はそのまま保たれるべきである。
しかし、モデル編集は通常、指定された目標回答から始まる。その目標が証拠によって正当化されたか、あるいは以前の保留理由を解消したかを必ずしも評価しない。
エディタは、ある事実的関連付けを別のものへ置き換えるといった指示を受け取る。認識論的な判断は、すでに手法の外部で行われている。
このため編集は、改訂をいつ行うべきかの完全な説明ではなく、改訂を実装するためのメカニズムである。
ROME、MEMIT、MEND、および関連手法は、モデルの振る舞いを変える異なる方法を提供する。一部は選択した重みを変更し、別の手法は学習済みのエディタや外部メモリを用いる。
それらのベンチマークは、特に有効性、一般化、局所性、移植性という有用な語彙を生み出してきた。これらの用語は、将来の評価における限定的な変更の部分を支える基準となり得る。
それでも、最近の評価は楽観的な局所性の結果に疑問を投げかけている。NeurIPS 2024の研究は、標準的な対象および近傍テストを超えて、編集後のより広範な能力を検証した。
編集評価は、編集が蓄積するにつれて一般ベンチマークでの性能が低下したと報告した。また、編集済みモデルで安全性に関する振る舞いが弱まることも確認した。
これらの結果は、すべての編集手法があらゆる導入で失敗することを示すものではない。狭く定義された局所性指標では、より広い行動変化を見逃し得ることを示している。
2026年のプレプリントは、一般的な特異性プロトコルが知識保持を十分な感度で測定しているかを問い、こうした懸念を強めた。特異性は編集の局所性を表す別の用語である。
局所性への批判は、確立されたプロトコルには概念的・測定上の弱点が含まれると論じている。その著者らは、より感度の高い評価手法を提案している。
この証拠は、Redditの議論が示す最も厳しい要件を裏付けている。限定的な付随変更は、少数の無関係なクエリ集合での成功から推論できない。
より強力なテストには、対象からの複数の距離が必要である。直接的な言い換え、正当な帰結、近いが独立した事実、遠い能力、安全性の振る舞いを対象にすべきである。
期待される結果も距離に応じて異なる。直接的な言い換えは一貫して変化すべきである。論理的帰結は、その前提がPに真に依存する場合に変化すべきである。
近い独立事実は安定して維持されるべきである。広範な能力と安全性の制約には、実質的な劣化が見られるべきではない。
ベンチマークは、伝播と付随的損害を区別しなければならない。関連する帰結に決して影響しない改訂は狭すぎる一方、緩く関連する情報を変更する改訂は広すぎる。
情報源の来歴情報は、別の難しいケースを加える。二つの情報源が対立する場合、システムには一つのグローバルな重み編集ではなく、文脈依存の回答が必要になる可能性がある。
外部メモリ層は、競合する主張をより自然に保持できる。その後、検索は時間、権威性、管轄、またはユーザー文脈に基づいて証拠を選択できる。
ただし、外部メモリはモデルの振る舞いに関するリスクをなくさない。生成器が検索された証拠を無視したり、情報源を誤って統合したり、記録が支持する以上の確信を表明したりする可能性がある。
これは、単一の局所性指標では問題を解決できないことを示唆している。評価には、保存状態、検索の振る舞い、生成された主張、下流の意思決定を含めなければならない。
同じ原則は知識ブレンディングにも当てはまる。情報源の境界と対立が検査可能な形で維持される場合にのみ、情報の統合は有用となる。
したがって、モデル編集から得られる最も強い先例は方法論的なものである。標的を絞った変更をどうテストするか、そして狭い評価がいかに容易に制御能力を過大評価し得るかを示している。
三つのシグナルが研究上の空白が埋まりつつあることを示す
この分野に最も急がれるのは、個別の回答保留や編集スコアをもう一つ増やすことではなく、共有可能な長期的ベンチマークである。
第一のシグナルは、独立した事例ではなく命題の履歴を中心に構築されたベンチマークである。各ケースには、情報源、保留理由、攪乱要因、後から得られる証拠、依存構造を含めるべきである。
ベンチマークは、時間をまたぐ反復的な相互作用をテストすべきである。一回限りの応答では、持続的な認識論的保留を確立できない。
また、不確実性に関する競合する理由も含めるべきである。証拠不足、証拠の対立、情報源の権威性の低さ、時間的曖昧さ、エンティティの曖昧さには、それぞれ異なる解消条件が必要となる。
ベンチマークに合格するには、適格な証拠が到着する前に未解決状態を安定して維持する必要がある。その後には、正当化された状態変化も求められる。
第二のシグナルは、明示的なトリガーテストを備えた来歴認識型の改訂ポリシーである。研究者は、どの証拠の特性が各遷移を許容するのかを示すべきだ。
関連性だけでは不十分である。ある文章がPに言及していても、保留の理由に対応しているとは限らない。
このポリシーでは、情報源の識別、証拠の独立性、時期、矛盾、そして用途で必要とされる場合には権威性を考慮すべきである。これらの条件は検証可能な状態に保たれなければならない。
反事実テストにより、このポリシーは操作されにくくなる。研究者はテキストを保持したまま情報源ラベルを変更したり、情報源を保持したままテキストを変更したりできる。
また、同一の主張を繰り返し複製して提示することもできる。適切に振る舞うシステムは、重複を独立した裏付けとして解釈すべきではない。
第三のシグナルは、より広範な付随変更監査である。改訂後の伝播不足と過剰な伝播の両方を測定すべきだ。
研究者には、対象クエリ、言い換え、依存する主張、隣接する事実、遠隔のタスク、安全性チェックが必要である。改訂を連続して行った後にも、これらのテストを繰り返すべきだ。
この監査には、用途が対応している場合、可逆性も含めるべきである。証拠が撤回されたり信頼を失ったりした場合、システムはそれに依存していた主張を再評価しなければならない。
古い振る舞いを上書きするだけのモデルでは、その依存関係を完全には表現できない。パラメータの外部に明示的な記録が必要になる可能性がある。
これらのシグナルがあれば、各分野が収束しつつあるという主張は強まる。その不在は、問題が依然として断片化しているという現時点の結論を裏付けることになる。
開発者は、システムだけでなく用語にも注意を払うべきだ。関連研究は、選択的予測、帰属付き生成、時間的知識編集、非単調推論、可敗的推論、信念改訂といった名称で現れる可能性がある。
研究者は、来歴、系譜、真理維持、認識論的ステータス、依存性指向バックトラッキングといった語も用いるかもしれない。「AI abstention」だけを検索していては、基盤となる研究の多くを見落とすことになる。
エンタープライズの購入担当者にとって、実務上の問いは明快である。ベンダーは、システムが何を信じることを見送ったのか、なぜ見送ったのか、そして後に何がその判断を変えたのかを示せるだろうか。
一般的な信頼度スコアでは、それに答えられない。過去の矛盾を忘れてしまう引用インターフェースも同様である。
開発者にとって、この問題はアーキテクチャに影響する。ニューラルモデルが抽出と推論を担う場合であっても、永続的な認識論的状態はおそらく検証可能なメモリ層に置くべきだ。
ナレッジワーカーにとって、来歴を保持した改訂は、プロジェクトの進展に伴ってアシスタントが信頼できる存在であり続けられるかを左右する。過去の判断は、後に変化する証拠に依存していることが多い。
現在の文献は、主要な要素をすべて支持している。選択的予測は棄権を支え、帰属は情報源への根拠付けを支え、真理維持は正当化された撤回を支える。
継続学習は時間的適応を支える。モデル編集は対象を絞った振る舞いの変更を支え、局所性に関する注意すべき証拠ももたらす。
依然として不明なのは、これらの要素を単一のプロトコルの下で統合している既存の評価手法があるかどうかである。8月6日の議論は、存在しないことの証明ではなく、研究上の問いとして扱うべきだ。
説得力のある答えには、近接領域の論文リスト以上のものが必要となる。初期の保留から、証拠によって引き起こされる改訂、付随的影響のテストまでを通じて評価されたシステムを特定すべきだ。
それが現れるまでは、最も適切な説明は統合のギャップである。構成要素は存在するが、その保証が自動的に組み合わさるわけではない。
研究者は、命題の履歴、トリガー条件、依存関係を意識した局所性テストを公開することで、このギャップを具体化できる。実務家は、導入済みシステムに同じ証拠を求めることができる。
次にアシスタントが証拠不足だと言ったときは、何を保持しているのかを尋ねよう。次に、どの正確な証拠がその状態を変えるのか、そしてそれに伴ってどの結論が動くのかを尋ねよう。
こうした問いは、horizon machinelearningの議論を運用上のテストへと変える。また、「わかりません」が永続的な認識論的規律を表すのか、それとも慎重な一文にすぎないのかも明らかにする。
