Databricks LLMマルウェアトリアージ、バイナリの盲点を解消するも最終判断は依然としてコンテキスト次第
Databricksは、70件の低コストモデルテストにおいて検出失敗率を50%から4%へ低減したLLMマルウェアトリアージの研究を公開した。この改善は、モデルの再学習や高価な代替モデルへの置き換えによるものではない。各モデルが判断を下す前に、構造化されたバイナリセキュリティ知識を注入したことによるものだ。
この結果は、AI支援パッケージスキャンにおける一般的な前提に疑問を投げかける。弱いセキュリティ判断への最も直接的な答えは、必ずしもモデルの知能を高めることではない。静的解析が適切な証拠と解釈の枠組みを与えれば、小型モデルでも差の大部分を埋められる。
この知見が重要なのは、悪意あるnpmパッケージが必ずしも読み取り可能なJavaScriptを通じて挙動を露呈するわけではないためだ。中には、クリーンなソースファイル、信頼できそうなメタデータ、一般的なインストールスクリプトの裏に、コンパイル済み実行ファイルを組み込むものがある。周辺の文脈により、支援なしのモデルが自信を持って危険な判定へ導かれる可能性がある。
10月16日に公開された完全な実験は、この失敗を直接検証した。Databricksは、細工されたネイティブNode.jsペイロードを用い、7つのプロバイダーにまたがる9モデルを評価した。その後、静的証拠から構築された構造化プレイブックである能力プロファイルの有無による判断を比較した。
したがって、主な競争はモデル同士の比較ではない。支援なしのLLM推論と、ドメイン固有の証拠に基づくLLM推論の比較である。Databricksは、この違いが、隠された認証情報窃取ツールをブロックするか、許可リストへの追加を推奨するかを左右し得るとした。
Databricks LLMマルウェアトリアージが判断の文脈を変える
Databricksはモデルにバイナリのリバースエンジニアリングを教えたのではない。判断前に把握している情報を変えた。
同社のパイプラインは、決定論的なセキュリティツールから始まる。YARAは既知のパターンを対象にパッケージアーカイブをスキャンする。SemgrepはJavaScriptソースを調べ、npmメタデータはパッケージとその宣言された目的に関する情報を提供する。
別のバイナリ解析モジュールが、コンパイル済みアーティファクトから証拠を抽出する。システムはこれらの知見を構造化プロンプトに統合する。LLMはその後、裏付けとなる推論とともに判定を返し、追加ファイルを要求する機会は最大3回与えられる。
Databricksは、証拠抽出とモデル判断の間に能力プロファイルを追加した。各プロファイルは、認証情報収集、永続化、バイナリ偽装、ネットワーク流出といった悪意ある手法を表す。観測可能な条件を、不審・悪意あり・重大のしきい値に照らしてスコア化する。
プロファイルがしきい値に達すると、システムは約1,800トークンの構造化サマリーをモデルのコンテキストへ追加する。最終判定は依然としてモデルが管理し、プロファイルの解釈を退けることもできる。注入される情報は固定的な分類ではなく、専門家によるブリーフィングとして機能する。
このアーキテクチャは、LLMセキュリティ製品がしばしば混同する2つの仕事を分離する。静的ツールはインポート、ファイル特性、メタデータ、コードパターンを特定する。言語モデルは、それらのシグナルをより広いパッケージ文脈の中で評価する。
実験では、ネイティブNode.jsアドオンとしてパッケージ化した5種類の悪意あるペイロードを使用した。認証情報窃取ツール、ドロッパー、リバースシェル、暗号資産マイナースタブ、永続化メカニズムを表現した。認証情報窃取ツールは、6段階の難読化レベルでも用意された。
各パッケージには、プロフェッショナルに見えるメタデータ、もっともらしいREADME、JavaScriptバインディング、標準的なビルド設定が含まれていた。これらの要素は、通常のネイティブモジュールという外観を作り出した。悪意ある挙動は、コンパイル済みの.nodeファイル内に残されていた。
研究者らは各モデルに対して10個のペイロードを2回実行した。一方には能力プロファイルを含め、もう一方には含めなかった。プロンプト、バイナリ証拠、推論設定、ペイロードのバイト列は、それ以外では変更されなかった。
低コスト層は7モデルで構成された。Claude Haiku 4.5、Gemini 3.5 Flash、Gemma 3 12B、GPT-5.4-nano、Qwen3-Next 80B、GLM 5.3 Flash、Llama 3.1 8Bである。Claude Sonnet 4.6とKimi K3は、より高能力な挙動ベースラインを提供した。
能力プロファイルなしでは、低コストグループは70件中35件のテストで研究の検出しきい値に到達できなかった。そのうち20件では、既知の悪意あるペイロードを無害と判定した。より厳格な悪意ありのしきい値では、70件中51件のテストが基準未達だった。
プロファイル注入後、その35件の失敗のうち32件が検出へ転じた。テスト対象のどのモデルも、細工されたペイロードに対して無害との判定を返さなかった。エスカレーションしきい値を下回ったのはGPT-5.4-nanoの3件だけで、いずれも不審と判定された。
これがDatabricks LLMマルウェアトリアージにおける中心的な変化だ。モデルに新たな重み、より広範な訓練、一般的なセキュリティ講義が与えられたわけではない。パッケージからすでに抽出された証拠に結び付く、簡潔な解釈を受け取ったのである。
クリーンなnpmパッケージが危険なバイナリを隠せる理由
無害に見えるパッケージ文脈が、モデルが自信を持って解釈できない証拠を上回るとき、バイナリの盲点が生じる。
Databricksは2025年11月にnpmマルウェアサンプルの収集を開始した。同社の研究コーパスには、OSVのnpmマルウェアアドバイザリで裏付けられた11,413のパッケージバージョンが含まれていた。大半は悪意あるソースコードを含むか、外部サーバーからペイロードを取得していた。
裏付けられたパッケージバージョンのうち、バイナリを同梱していたのは432件、すなわち3.8%に過ぎなかった。この小さな比率が、不釣り合いに大きなトリアージ問題を生んだ。バイナリを含むパッケージは、ソースコードのみのパッケージに比べ、決定的な悪意あり判定を得られない割合が2倍を超えた。
報告された割合は、バイナリを含むパッケージで14.4%、ソースコードのみのパッケージで6.2%だった。この差は重要だ。コンパイル済みファイルは、読み取り可能なソースに存在する多くのシグナルを取り除く。ストリップされたバイナリでは、アナリストが関数やデータを解釈する助けとなるシンボル名も省かれる。
npmパッケージがネイティブコードを正当に含むことはあり得る。パフォーマンスライブラリ、データベースバインディング、画像ツール、ターミナル、システムユーティリティでは、コンパイル済みコンポーネントが日常的に使われる。そのため、node-gyp-buildを呼び出すインストールスクリプトが自動的に不審というわけではない。
攻撃者はこの正常性を悪用できる。クリーンなJavaScriptバインディングと信頼できそうなパッケージ説明の背後に、悪意あるネイティブ動作を配置できる。パッケージレベルの整合性に注目するモデルは、こうした無害なシグナルを、曖昧なバイナリインポートより強い証拠として扱う可能性がある。
Databricksは、この挙動を最初の35件の検出失敗すべてで観測した。各失敗は、少なくとも2つの無害な文脈シグナルに依存していた。24件では、そのようなシグナルを4つまとめて引用していた。
35件すべてがインストールスクリプトを標準的なものとして扱った。また35件すべてが、ネイティブアドオンのパッケージ化を通常のものと扱った。32件はメタデータが表明された目的と整合すると判断し、21件はクリーンなJavaScriptに依拠した。
14件では、モデルはバイナリのインポートを通常のシステムコールとして再解釈した。fopen、connect、gethostnameといった関数は、正当なソフトウェアでも使用され得る。それらが認証情報窃取を示すのか、通常のネットワーク処理を示すのかは、その組み合わせと周辺の挙動によって決まる。
難読化はこの判断をさらに悪化させた。Databricksは、認証情報窃取ペイロードが検査しにくくなるにつれ、一部のモデルがより低い深刻度を割り当てたことを確認した。クリーンなラッパーは読み取り可能なままである一方、犯罪性を示すバイナリ証拠にはアクセスしにくくなった。
このパターンは、ChatGPT-4o、Gemini Flash 2.5、Claude Sonnet 4を対象とした、より広範な難読化研究とも一致する。基礎となるプログラム動作が変わらなかったにもかかわらず、コンパイラ変換は繰り返し分類失敗を引き起こした。
ストリップされたバイナリの文脈に関する研究は、関連する課題を説明している。シンボルを除去すると、安全でない挙動を特定し検証するために使われる文脈シグナルが失われる。解析パイプラインが露出させなかった証拠を、より流暢な推論で再構築することはできない。
ソフトウェア依存関係は開発・本番環境へ直接導入されるため、パッケージレジストリは影響を増幅する。MITREは、サプライチェーン侵害を、受信者が受け取る前にソフトウェア、製品、または配信メカニズムを操作することと定義している。
したがって悪意あるパッケージは、レジストリ、依存関係グラフ、侵害されたメンテナーアカウントから信頼を継承し得る。インストール後、そのバイナリはアプリケーションの権限で実行される可能性がある。クリーンな見せかけは攻撃対象領域の一部となる。
能力プロファイルが静的な手掛かりをセキュリティ文脈へ変える
能力プロファイルが機能するのは、散在する技術的手掛かりを、モデルが評価できる明示的な主張へ変換するからだ。
生のインポート一覧は意図を説明しない。connectはネットワーク処理を示し、fopenはファイルアクセスを示す。どちらの関数も単独では、ネイティブアドオンが認証情報を読み取り、別の場所へ送信していることをモデルに伝えない。
能力プロファイルは、そのような観測結果を手法固有のパターンへ組み合わせる。パッケージ種別、バイナリ形式、インポート、エントロピー、文字列、メタデータ、ソースの挙動を考慮できる。重み付けされたしきい値は、組み合わされた証拠がセキュリティ仮説をどれほど強く裏付けるかを示す。
このプロセスは検索拡張推論に似ているが、取得する情報はレビュー対象のパッケージから生成される。脅威レポートからの一般的な抜粋ではない。各サマリーは、手法の定義を、そのスキャンで見つかった証拠と結び付ける。
認証情報窃取ペイロードでは、プロファイルはバイナリ偽装、認証情報収集、ネットワーク流出、環境偵察を対象とした。リバースシェルは、バイナリ偽装とリバースシェル挙動のプロファイルを発火させた。ドロッパーは4つの重大プロファイルを有効化した。
この具体性がモデルの仕事を変える。プロファイルなしでは、モデルは各バイナリアーティファクトの意味とパッケージレベルの判定を、どちらも推論しなければならない。プロファイルがあれば、静的ロジックが最初の解釈ステップを担う。
その後、モデルは組み立てられた証拠がプロファイルの結論を支持するかを問う。反証を検討し、パッケージラッパーを評価し、対処を選択できる。この分担により、モデルの重みに期待される専門知識の量を制限できる。
Qwen3-Nextの認証情報窃取ツールの結果は、この効果を示している。プロファイルなしでは、モデルは難読化されたサンプルを0.98の信頼度で無害と判定した。パッケージの許可リスト追加も推奨した。
4つのプロファイルを注入すると、同じモデルはバイト単位で同一のサンプルを0.98の信頼度で悪意ありと判定した。パッケージのブロックを推奨した。変わったのは構造化されたドメイン文脈だけである。
この反転は、平均的なベンチマーク改善より重要だ。高信頼度の許可リスト追加推奨は、その後のレビューを抑制し得る。不確実な検出器を、誤った信頼を生む運用上の情報源へ変えてしまう。
実験では、合理化、却下、曖昧化、作話という4つの繰り返し現れる失敗モードも特定された。これらの分類は、単により多くのモデル意見を集めても問題が確実に解決しない理由を説明する。
合理化は、9つの主要モデル全体で実施された90件のスキャンの約37%に発生した。モデルは通常のパッケージングの詳細を使い、不審な証拠を説明して退けた。却下は22%に見られ、バイナリのインポートを完全に無視することが多かった。
曖昧な判断はスキャンの16%に影響した。これらのモデルは危険性を認識していたものの、不審という判定で止まり、自動ブロックの閾値を下回った可能性がある。より高性能なモデルの応答を含め、事実の捏造は約23%で見られた。
事実の捏造は別種の運用リスクを生んだ。モデルが正しい判定に到達しても、存在しないアドレス、関数、暗号化ルーチンを作り出す可能性がある。そうした誤った詳細は監査記録を汚染し、人間の調査担当者を誤った方向へ導きかねない。
Gemini 3.5 Flashは、能力プロファイルなしで10件すべてのペイロードを検出した。しかしDatabricksは、複数の説明で技術的詳細が捏造されていたと報告した。正確な分類が、信頼できるフォレンジック推論を保証するわけではない。
この結果は、証拠を最優先する設計を支持している。セキュリティパイプラインは、すべての主張の出所を保持し、抽出された観測結果とモデルによる解釈を区別すべきだ。分析担当者は、判定を実際のインポート、セクション、文字列、またはソースの挙動まで追跡できなければならない。
適切に維持管理された技術ナレッジベースは、このプロセスの人的側面も支えられる。チームには、プロファイルのロジック、例外、レビュー判断、進化する攻撃者の手法について、アクセスしやすい記録が必要だ。
低価格モデルが差を縮める一方、指標には限界がある
実験内ではコスト面の主張に説得力があるが、本番環境の結果は完全な二値検出を立証するものではない。
Claude Sonnet 4.6とKimi K3は、プロファイルなしで作成されたすべてのペイロードを検出した。Databricksは、これらのベースラインモデルのスキャンあたりのコストが、低予算グループの約3倍になると見積もった。プロファイル注入により、より安価なモデルの大半は同等の検出率を達成した。
ただし、追加の証拠にはコストがかかった。低予算モデルは、プロファイル注入後に入力トークンが9%から34%増加した。多くの場合、出力トークンの使用量も増えた。
より高性能なモデルでは、プロファイルによって探索が減るため、消費リソースが少なくなる場合もあった。Claude Opus 4.6は、プロファイルなしでは平均約10,551入力トークン、プロファイルありでは7,214トークンだった。Kimi K3は、プロファイルの証拠を受け取った後、出力トークンを13%削減した。
これらの数値は、より良いコンテキストが、繰り返しのファイル要求や長い推論の代替になり得ることを示唆する。この利点は静的解析段階の品質に依存する。弱い証拠を洗練された文章に変換しても、誤った結論を受け入れやすくするだけだ。
統制されたベンチマークも、依然として小規模である。5種類の挙動タイプから選んだ10件の作成済みペイロードを使用した。各モデルは、temperatureをゼロに固定し、一貫したプロンプトで、各条件につき1回の統制された実行を受けた。
ホスト型モデルの挙動は、プロバイダーがエンドポイントを更新するにつれて変動する可能性がある。Databricksは、絶対的な判定結果が単一の提供期間を表すものだと認めている。最も強い証拠は、同一期間内における同一入力間の差異である。
本番環境での検証は、より広範かつ複雑な視点を提供する。Databricksは、604個のネイティブバイナリを含む、OSVで悪意ありと確認されたnpmパッケージの470バージョンを特定した。このセットには、273個のPEファイル、215個のELFファイル、113個のMach-Oファイル、および3件の未識別形式が含まれていた。
すべてのELFバイナリはストリップ済みだった。バイナリの40%はGoまたはRustでコンパイルされ、50個のELFファイルはUPXでパックされていた。これらの詳細は、単一の普遍的なネイティブコード規則では弱い結果しか生まれない理由を示している。
本番評価では、スキャナーの判定がある425件の悪意あるパッケージバージョンを対象とした。また、見かけ上良性の287パッケージから、2,449件のパッケージバージョンも使用した。良性候補は月間ダウンロード数が100万件を超え、OSVに一度も掲載されたことがなかった。
エスカレーション閾値において、スキャナーは適合率0.77、再現率0.81、F1スコア0.79を報告した。425件の悪意あるパッケージバージョンのうち345件を検出し、80件は閾値を下回った。
良性セットでは104件のエスカレーションが発生し、パッケージバージョンの4.25%を占めた。これらのアラートは6つのパッケージ、すなわち異なる良性パッケージセットの約2%に集中していた。
4.25%のレビュー率は、フィルタリングされたトリアージキューでは管理可能かもしれない。しかし大規模な依存関係エコシステム内のすべてのパッケージバージョンに無差別に適用すれば、高コストになる。運用上のボリュームは、ベンチマーク精度と同じくらい重要だ。
ラベルも不確実性をもたらす。OSVのアドバイザリは、どのアーティファクトがペイロードを含むかを常に特定せずに、パッケージバージョンを悪意あるものとしてマークする。一部のパッケージには無害なサードパーティ製バイナリが含まれる一方、悪意あるJavaScriptが実際の攻撃を実行している可能性がある。
Databricksは、良性と判定された本番環境の20パッケージの約半数に、認識可能なサードパーティ製ツールが含まれていたことを発見した。例にはripgrep、node-pty、NSIS installer pluginsが含まれる。アドバイザリは、それでもパッケージレベルでは正しい可能性がある。
したがって、報告された再現率はバイナリ分類の純粋な尺度ではない。パッケージレベルのOSVラベルに対する判断を測定している。Databricksは、実際のバイナリ性能がより高い場合も低い場合もあると明示している。
OpenSSFのmalicious-package databaseは、OSV形式のオープンな報告を提供するため、依然として価値がある。しかし、レジストリ規模のラベルは、バイナリ検出器を評価するためのアーティファクトレベルの検証を置き換えることはできない。
支援なしのモデル推論が、いま圧力を受ける戦略である
この研究は、LLMを最終的な推論層ではなく主要な分析者として扱うセキュリティ製品に圧力をかける。
モデル優先の設計は、統合作業を減らせるため魅力的だ。チームはパッケージの内容をプロンプトに入れ、判定を求め、自然言語の説明を表示できる。この単純さは、モデルが可視化された証拠に依存していることを隠している。
コンパイル済みペイロードは、その弱点を露呈させる。言語モデルは、逆アセンブル結果や抽出済みの特徴が利用可能であれば解釈できる。しかし、クリーンなJavaScriptと専門的なメタデータだけから、隠された挙動を信頼性高く推測することはできない。
より大規模なモデルを導入すれば、ベースラインの検出性能を改善できる可能性がある。Databricksは、SonnetとKimiがプロファイルなしですべての作成済みペイロードを検出したと観測した。しかし、これらのより高性能なベースラインでさえ、一部のスキャンで捏造された推論を生成した。
これにより、2つの別々の要件が生まれる。検出器は正しいエスカレーション判断に到達しなければならない。同時に、分析担当者が検証できる証拠も提示しなければならない。
能力プロファイルは、意味のある組み合わせに注意を向けることで、最初の要件に対応する。構造化された静的検出結果は、説明を観測可能なアーティファクトに結び付けることで、2つ目を支える。LLMは、統合、矛盾の解決、優先順位付けにおいて引き続き有用だ。
多数決は同じ保護を提供しない。難読化された認証情報窃取サンプルの1件では、9つのモデルの判定が、良性、不審、非常に不審、悪意ありに分かれた。多数派は検出閾値を下回ったままだった。
複数のモデルが同じ良性コンテキストを信頼したため、これらの誤りには相関があった。同じように混乱した判定者を増やしても、独立した証拠は加わらない。投票は単に盲点を繰り返しただけだった。
戦略的な含意はnpmを超えて広がる。セキュリティチームは、アラート、ソースコード、ログ、クラウド設定、アイデンティティイベントをLLMに解釈させるケースを増やしている。どのタスクにも、汎用モデルが一貫して適用しない可能性のあるドメイン前提が含まれている。
最も防御可能なアーキテクチャは、抽出、解釈、判断を分離する。決定論的なツールが事実を抽出する。バージョン管理されたプロファイルが関連する組み合わせを解釈する。モデルはコンテキストを解決し、分析担当者向けの判断を作成する。
これはプロファイルを中立にするものではない。作成者は閾値、重み、定義、例外を選択する。攻撃者も一般的なルールを研究し、それらを発火させないようバイナリを適応させることができる。
ビルドシステムやマルウェア技術が変化するにつれ、プロファイルは古くなる可能性がある。今日では不審なインポートの組み合わせが、明日には人気の正規フレームワークに現れるかもしれない。逆に、新たなデータ流出手法が、古いシステムコールを中心に作成されたプロファイルから逃れる可能性もある。
したがってこのアプローチは、リスクの一部をモデル選定から知識の保守へと移す。セキュリティチームには、プロファイル品質、回帰テスト、誤検知レビューの責任者が必要だ。また、各ルールが存在する理由を説明するバージョン管理済みの証拠も必要である。
レジストリ防御は別の層として残る。npmのprovenance guidanceは、サポート対象パッケージがどこでどのように公開されたかをユーザーが検証する方法を説明している。来歴情報は、アーティファクトをそのソースコミットやビルドワークフローに結び付けられる。
この検証は、未承認または改ざんされたリリースを特定する助けになる。ただし、承認済みのソースやコンパイル済みの挙動が安全であることを証明するものではない。マルウェアのトリアージ、来歴、メンテナーのセキュリティ、ランタイム制御は、同じサプライチェーン問題の異なる部分に対処する。
購入者にとって重要な問いは、もはや一般的なセキュリティベンチマークでどのモデルが首位かではない。どの証拠がモデルに届くのか、主張の追跡可能性をどう維持するのか、不確実なバイナリをシステムがどう扱うのかを問うべきだ。
エスカレーション方針も精査すべきである。自動ワークフローが悪意ありの分類だけをブロックするなら、不審という判定には保護上の価値がほとんどない。Databricksは、複数のモデルがリスクを認識しながらも、運用上の閾値を超えられなかったことを示した。
このアプローチの一般化を試す3つのシグナル
次の試金石は、ドメイン知識の注入が未知のマルウェア、レジストリ規模、敵対的な適応に耐えられるかどうかだ。
第1のシグナルは、実際のアーティファクトラベル付きマルウェアによる独立した再現である。研究者には、悪意あるコンポーネントがJavaScript、メタデータ、インストールスクリプト、あるいはバンドルされたバイナリのいずれなのかを特定するデータセットが必要だ。
このようなラベルは、適合率と再現率の推定をより明確にする。また、プロファイルが実際のペイロードを検出しているのか、単に悪意あるパッケージラベルと相関しているだけなのかも明らかにする。より強力なアーティファクトレベルの結果は、Databricksの中心的な主張を補強するだろう。
第2のシグナルは、未確認の挙動とツールチェーンに対する性能だ。Databricksは5種類の作成済み攻撃パターンをテストし、より広範なOSV由来セットで完全なスキャナーを検証した。今後のテストでは、プロファイル開発中に挙動ファミリー全体を除外すべきである。
除外したファミリーでの成功は、この手法が移植可能なセキュリティ概念を捉えていることを示す。急激な性能低下は、プロファイルが主に既知パターン向けにキュレーションされたルールとして機能していることを示唆するだろう。
コンパイラとプラットフォームの多様性も重要になる。PE、ELF、Mach-Oファイルは、それぞれ異なるメタデータと慣例を示す。GoとRustのバイナリも、静的解析に影響する点でCまたはC++のアーティファクトとは異なる。
能力プロファイルシステムが一般化すれば、攻撃者は対応するだろう。明白なインポートを置き換えたり、実行を遅延させたり、機能を動的にロードしたり、悪意ある挙動を別のパッケージ層へ移したりできる。こうした適応のそれぞれが、静的な証拠要約を弱める可能性がある。
第3のシグナルは、運用上のレビューコストである。Databricksは、2,449件の良性パッケージバージョンのうち104件のエスカレーションが、6つのパッケージに集中していたと報告した。導入データは、それらのクラスターがどれだけの分析担当者の作業時間を消費するかを示すべきだ。
持続可能なシステムは、関連するアラートをグループ化し、証拠を保持し、レビュー済みの例外から学習しなければならない。そうでなければ、控えめなパッケージレベルの誤検知率でも、バージョンや環境をまたいで反復的な作業を生み出しかねない。
チームは、集計された再現率だけでなく、重大な見逃しも監視すべきだ。Databricksの本番スキャナーは、OSVで悪意ありとラベル付けされた20件のパッケージバージョンを良性として判定した。その一部はバンドルされたバイナリの外部にペイロードを持っていた可能性が高いが、不確実性は依然として重要である。
証拠の品質は、報告される指標になるべきだ。正しく分類しながらフォレンジックの詳細を捏造する検出器は、完全には信頼できない。今後の評価では、判定精度とは別に、事実に基づく根拠付けを採点すべきである。
DatabricksのLLMマルウェアトリアージは、推論時に構造化された専門知識を用いる強い論拠を示している。セキュリティパイプラインが不透明な証拠を解釈してから判断を求めれば、より安価なモデルでもはるかに優れた判断ができることを示している。
プロンプト時の知識がバイナリの問題を解消することを示したわけではない。プロファイルは静的な可視性、維持管理されたルール、そして攻撃者が探査できるしきい値に依存している。さらに、本番環境のラベルでは、どのアーティファクトが悪意あるものだったのかという疑問も未解決のままだ。
セキュリティチームはいま、ひとつの実務的な仮説を検証すべきだ。より大きなモデルに費用を払う前に、より良い証拠を与えることで既存モデルの性能を向上させられるか。レビュー済みパッケージから評価セットを構築し、アーティファクト単位のラベルを保持したうえで、ドメインコンテキストの有無による同一スキャンを比較する。有用な成果は、説得力のある説明ではない。パッケージがクリーンに見えてもバイナリがそうではない場合に、検証に耐えうる追跡可能な判定である。
