Gemini 4 ArgonのARC-AGI-3スコアは97.5%に到達、しかし標準テストは異なる実像を示す
GoogleのGemini 4 Argonは、ARC PrizeのプロバイダーアダプターハーネスでARC-AGI-3スコア97.5%に達した。同じモデルは標準ハーネスでは49.8%だった。この47.7ポイントの差こそが本題である。
ARC Prizeは、ベンチマーク群で6つの構成をテストした後、検証済みの結果を公開した。Gemini 4 Argonは高推論設定で、ARC-AGI-1では98.5%、ARC-AGI-2では91.3%も記録した。これらの結果により、Google DeepMindは3世代すべてのテストで先導的な研究所の一つとなった。
ただし、ARC-AGI-3が測定するのは、静的な質問に答える単体モデルではなく、対話型システムである。そのハーネスは、アクション間でどの情報が保持されるか、履歴をどのように管理するかを制御する。OpenAIのGPT-6 Astraもプロバイダーアダプターで95%を超えており、最も重要な比較対象であり続ける。
この違いは、開発者や企業の購買担当者が見出しをどう読むべきかを変える。97.5%という結果は、長期にわたる持続的な推論に関するGoogleの主張を裏付ける。しかし、Argonがあらゆるインターフェースやデプロイメントアーキテクチャで同じ性能を発揮することを示すものではない。
したがって、Gemini 4 Argonのベンチマークは単純な勝利というより、モデル能力が今どこに存在するかを示す実演である。能力はますます、モデル、メモリ、コンテキスト管理、APIの挙動、エージェントランタイムから成る統合システムの中に存在している。
Gemini 4 ArgonのARC-AGI-3結果、2つのハーネスで大きく分かれる
ARC Prizeは卓越した結果を検証したが、同時に、同じシステム体験の大きく異なる2つのバージョンも検証した。
検証済みスコアカードでは、Gemini 4 Argonは低推論とプロバイダーアダプターハーネスの組み合わせでARC-AGI-3の97.5%を記録している。中推論と高推論はいずれも、この構成では97.3%だった。
標準ハーネスでは異なる傾向が見られた。低推論は49.8%、中推論は46.3%だった。高推論の実行は完了したタスク数が少なすぎたため、ARC Prizeはチャート上で比較可能な値を公開していない。
この結果は2つの点で異例である。第一に、指定された推論レベルを上げても、プロバイダーアダプターのスコアは改善しなかった。低推論が他の2構成をわずかに上回った。
第二に、プロバイダーアダプターのスコアは標準ハーネスのほぼ2倍だった。これほど大きな差を通常の評価ノイズとして扱うことはできない。テスト対象システムが記憶し、再利用できる内容に構造的な変化があることを示している。
ARC Prizeは標準ハーネスを、プロバイダー中立のインターフェースと定義している。これはモデルが、環境全体を通じて保持すべきだと選んだノートを引き継ぐことを可能にする。
プロバイダーアダプターは、リクエスト間で不透明な推論状態を保持できる。また、履歴がコンテキスト上限に近づいた際には長い対話を圧縮できる。そのためモデルは、可視ノートから推論全体を再構築することなく、過去の作業を再利用できる。
これは重要だ。ARC-AGI-3は、単一の回答を伴う見慣れた質問を提示するものではない。モデルは未知の対話環境に入り、状態を観察し、アクションを選び、その結果を見る。無駄な手を避けながら、ルールと目標を推論しなければならない。
失敗した仮説も、なぜ失敗したのかをシステムが覚えていれば有用である。成功した実験も、関連する観察が後の判断に影響するだけの期間残らなければ意味を持たない。
標準ハーネスでは、モデルは選択したノートを通じてその連続性を外部化する必要がある。プロバイダーアダプターは、より多くの連続性をプロバイダーのシステム内に保持する。どちらの構成もGemini 4 Argonを使用するが、モデルの継続中の認知状態をどの程度公開するかは異なる。
ARC Prizeによると、APIの問題も標準評価に影響した。低推論では、55件のセミプライベートタスクのうち42件で実行が完了した。中推論では46件が完了した一方、高推論では19件にとどまった。
報告されたスコアは、それでも55件すべてのタスクを対象としている。未完了タスクは結果に不利に算入されたが、すでに獲得した部分点は保持された。したがって49.8%は実際に公開された結果である一方、完全ではないテスト実行も反映している。
この留保はハーネス間の差を消し去るものではない。中推論の構成は低推論より多くのタスクを完了したにもかかわらず、スコアは46.3%にとどまった。一方で、すべてのプロバイダーアダプター構成は97%を超えた。
正しい見出しは、一方のスコアが本物でもう一方が無効だということではない。ARC Prizeは両方を検証した。正しい結論は、Gemini 4 ArgonのARC-AGI-3結果が、周辺システムがアクションをまたいで推論をどう維持するかに大きく依存するということだ。
ARC-AGI-3がメモリをテストの一部にする理由
ARC-AGI-3は、コンテキスト管理を実装上の詳細から測定対象の能力へと変える。
ARC-AGI-1とARC-AGI-2は、静的な視覚推論タスクを使用する。システムは暗黙の変換を示す例を受け取り、その推論したルールを新しいグリッドに適用する。これらのテストは、環境アクションの長い連続なしに、抽象化と一般化を重視する。
ARC-AGI-3は、この受動的な形式を未知の対話型世界へと置き換える。エージェントには詳細なマニュアルは与えられない。実験し、フィードバックを解釈し、信念を修正し、最終的に勝利方法を発見しなければならない。
公式のARC-AGI-3ベンチマークは、不確実性の下での適応に焦点を当てている。人間はしばしば、物体、移動、因果関係、目標に関する日常的な直感をこうした世界に転用できる。AIシステムは、観察からそれに相当する知識を再構築しなければならない。
ARC Prizeの技術設計は、この探索にアクション予算を設けている。エージェントが無作為に探るために過剰な手数を費やすなら、環境を解くことだけでは十分ではない。したがって、このベンチマークは進捗とアクション効率の両方を評価する。
技術レポートは、コンテキスト管理を中心的な課題として説明している。環境フレームは64×64のグリッドを使用し、すべての観察を繰り返し保持すると、利用可能なコンテキストを急速に消費しかねない。
有能なエージェントには、大きな生のコンテキストウィンドウ以上のものが必要である。どの変化が重要かを見極め、アクションと効果を結び付け、仮説を保持し、無関係な詳細を捨てなければならない。これは、ブラウザ、コードベース、業務システムを操作するエージェントが直面する問題に近い。
断続的なテスト失敗を調査するコーディングエージェントを考えてみよう。ログを調べ、設定を変更し、テストを再実行し、出力を比較し、以前の仮説に戻るかもしれない。それらのアクション間の因果連鎖を失えば、エージェントは作業を繰り返したり、誤った説明を受け入れたりしかねない。
企業向けリサーチエージェントも、文書横断で同じ問題に直面する。情報源を保持しながら、確立された事実と暫定的な解釈を区別しなければならない。長い入力容量だけでは、適切な証拠が影響力を持ち続けることは保証されない。
ARC-AGI-3は、これらの問題を制御された環境に圧縮している。世界は人工的だが、連続的なフィードバックから学ぶ必要性は理解しやすい。このため、このベンチマークは1ターンの試験よりもエージェントの挙動に関係が深い。
同時に、比較は難しくなる。静的ベンチマークでは、プロンプトと生成された回答がテスト対象システムの大部分を定義する。対話型ベンチマークでは、オーケストレーションの判断が数十、あるいは数百のステップにわたって蓄積する。
システムは、次のプロンプトに何を入れるか、何を永続ノートにするか、古い履歴をいつ要約すべきかを決める必要があるかもしれない。また、状態を破損させずに失敗したAPI呼び出しを処理する必要もある。
これらの判断はしばしば、ベースモデルの外部で行われる。それでも、モデルが持続的な推論能力を備えているように見えるかどうかを直接左右する。
Googleは長い軌跡を想定してArgonを設計した。同社のモデル発表によると、このモデルは100万トークンの出力上限をサポートし、複雑な多段階作業を対象としている。Googleはソフトウェアエンジニアリング、研究、防御的サイバーセキュリティでの用途も説明している。
これらは、各分野で独立評価されない限り、企業の主張にとどまる。それでも、プロバイダーアダプターの結果は、Argonが保持された推論状態から恩恵を受けるという、より限定的な命題とは整合的である。
標準ハーネスは別の側面を示す。持続的な内部軌跡を軸に構築されたモデルは、より薄いプロバイダー中立のインターフェースを通すことで、その優位性の多くを失いうる。
これがARC-AGI-3のハーネス比較が重要である理由だ。能力がモデル名とともに移転するのか、それとも特定の提供スタックに依存するのかを問うている。
主戦場はプロバイダーネイティブな状態とポータブルなエージェントの対決
最も重要な競争は、もはやGoogle対OpenAIだけではない。プロバイダーネイティブな連続性とポータブルなオーケストレーションの対決である。
プロバイダーネイティブな状態は、モデルにその推論システムとともに設計された機能へのアクセスを与える。保持された推論は、通常のテキストとして表現するには高コストだったり不完全だったりする内部作業を維持できる。圧縮は、プロバイダーの仕組みが選んだ情報を保ちながら、長い履歴を短縮できる。
このアプローチは、アプリケーション側のエンジニアリングを少なくしつつ、高い性能を実現しうる。開発者はサポートされたインターフェースを通じてアクションを送信し、プロバイダーが長期推論プロセスのより多くを管理する。
その代償は依存関係である。エージェントの性能が不透明な状態に依存する場合、開発者はその状態を完全に検査、エクスポート、または別のプロバイダーで再現できない。可視プロンプトがポータブルに見えても、ワークフローは単一のAPIに結び付く可能性がある。
標準ハーネスは、より移植可能なアーキテクチャを表している。モデルはターンをまたいで利用可能なノートを書けるが、インターフェースはプロバイダー固有の内部状態に依存しない。開発者はそれらのノートを検査し、別のモデルにも同様のパターンを適用できる。
この透明性は、同等の性能を保証しない。Gemini 4 Argonの標準スコアは、可視ノートがこうした環境でArgonに必要なものを十分に保持できなかったことを示唆する。繰り返される対話の中で、モデルは仮説、因果関係、または計画を失った可能性がある。
明示的なノートブックは、ノイズの多いものにもなりうる。エージェントが記録しすぎれば、後のプロンプトは古い観察で埋まる。記録が少なすぎれば、重要な発見が消える。
プロバイダーの圧縮はそのバランスに対処できるが、その判断は見えにくい。高スコアは、完全なシステムが評価条件下で機能したことを示す。圧縮プロセスが何を保持したかの詳細をすべて明らかにするものではない。
ARC Prizeのテスト方針は、2つのハーネスが異なる問いに答えることを認めている。同組織は、それらを交換可能な実装として扱わず、別々に報告している。
標準ハーネスは、最小限でプロバイダー中立のインターフェースを通じてモデルがどう振る舞うかを問う。プロバイダーアダプターは、作成者が提供するコンテキスト管理機能と組み合わせたときに、モデルがどう性能を発揮するかを問う。
どちらの問いも軽視できない。交渉力、監査可能性、代替プロバイダーを求める購入者にとって、移植性は重要である。困難なワークフローで利用可能な最高の結果を必要とするチームにとって、ネイティブ性能は重要である。
OpenAIのGPT-6 Astraは、最も明確な競争上の参照点を提供する。そのプロバイダーアダプター構成は、ARC-AGI-3のリーダーボードでArgonを上回り続けている。標準スコアもArgonの公開済み標準結果より高いが、比較ではArgonの未完了実行を考慮しなければならない。
公式リーダーボードは、構成を分けて捉える重要性を改めて示している。ARC Prizeは標準結果とプロバイダーアダプター結果を区別し、それぞれが異なる形式の状態を保持すると説明している。
この構造は、すべてのフロンティアラボに説明責任を求める。プロバイダーは、結果を生んだランタイムを説明せずに単一のエージェントスコアを公開することは、もはやできない。購入者は、結果がネイティブ状態、外部ツール、反復サンプリング、非公開メモリ、あるいはタスク固有の足場を利用したものかを確認すべきだ。
この圧力は独立系エージェントプラットフォームにも及ぶ。その価値提案は、多くの場合、モデルを交換可能にしながら、APIの上位にメモリ、ツール、ワークフロー制御を追加することにある。
プロバイダー固有のアダプターがこの規模の差を生み続けるなら、汎用オーケストレーション層は難しい選択を迫られる。可搬性を維持する代わりに最高性能の低下を受け入れるか、実用上の交換可能性を損なう深い統合を構築するかだ。
開発者は、この選択が永続的だと考えるべきではない。専門的なハーネス機能として始まった能力が、標準APIへ移行することもある。明示的なメモリシステムも、エージェントが保持すべき情報をチームが学ぶにつれて改善し得る。
現時点では、Gemini 4 Argonがこの分断を異例なほど明確にしている。このモデルは、あるインターフェースでは飽和に近く見える一方、別のインターフェースでは飽和からほど遠い。
この差は、単一の順位よりも多くを物語る。モデル選定とエージェントアーキテクチャが、切り離せない購買判断になったことを示している。
97.5%のスコアが証明しないこと
検証済みベンチマークスコアは、定義されたテストに関する強力な証拠であって、自律的知能全般の証明書ではない。
ARC Prizeは、直接的な過学習を抑えるため、半非公開タスクでフロンティアスコアを検証している。テスト項目はデータ保持に関する保護措置の下でプロバイダーAPIに送られ、結果にはタスクレベルの評価情報が含まれる。
このプロセスは、公開テストでの自己申告スコアより信頼性が高い。ラボが完全な評価セットに直接合わせて調整する余地を制限するためだ。
ただし、検証によって主張の範囲が広がるわけではない。Gemini 4 Argonは、特定のハーネス、推論設定、採点方法、行動予算の下で97.5%を達成した。標準スコアが示すように、これらの条件を変えれば結果も変わり得る。
ARC-AGI-3の環境も特定の領域に属する。グリッドベースのインタラクティブな世界における探索と適応をテストするものだ。現実のビジネスワークフローには、曖昧な指示、変化する権限、信頼できないWebサイト、矛盾する文書、誤操作の結果といった要素が加わる。
モデルはベンチマークで優れていても、成功基準が不明確な企業ワークフローでは苦戦する可能性がある。逆に、安定した業務プロセス向けに最適化されたエージェントは、抽象的な環境で高得点を取らなくても価値を生み出せる。
未完了の標準ランには別の不確実性もある。ARC Prizeは欠けたカバレッジをAPIの問題によるものとしたが、公開結果だけでは、同様の中断が本番環境でどの程度発生するかを購入者は判断できない。
長時間稼働するエージェントには復旧動作が必要だ。失敗したリクエストを安全に再試行できるか、その再試行で状態が保持されるか、中断されたツール操作が外部に変更を加えたかを把握しなければならない。
こうした運用上の特性は副次的なものではない。正しく推論できてもネットワーク障害後に状態を失うエージェントは、予測可能に復旧するより弱いモデルより役に立たない場合がある。
97.5%という結果は、より高い推論努力が常に役立つことも証明していない。Argonの低設定は、中・高のプロバイダーアダプター構成をわずかに上回った。この小さな差は広範な法則ではなくタスクの力学を反映している可能性があるが、より多くの推論がより良い結果と同義ではないことを示唆している。
チームは、自らのレイテンシー、信頼性、品質要件に照らして推論設定をテストすべきだ。最も高価な、あるいは最も長い軌跡が、自動的に最良の構成になるわけではない。
ARC Prizeの元来のベンチマークフレームワークも、汎用的なモデル能力とタスク固有のハーネス設計を区別している。技術報告書では、既知の公開環境に合わせて設計されたハーネスは、未知の領域へ移転しないまま性能を水増しするおそれがあると警告している。
プロバイダーアダプターは、ARC専用に手作業で実装されたソルバーとして提示されているわけではない。一般的なコンテキスト管理機能を使っている。それでも読者は、高いインタラクティブスコアを、モデルが人間レベルの汎用知能に到達したという主張に変換すべきではない。
最も確実に擁護できる解釈は、より限定的なものだ。Gemini 4 Argonは、Googleのアダプター設計を通じて推論状態が持続する場合、半非公開のARC-AGI-3タスクで極めて高い性能を発揮できる。
もう一つの擁護可能な結論は、同じ能力がARC Prizeの標準インターフェースを通じてはきれいに移転しないということだ。それがモデルの弱点、ノート作成動作の不一致、APIの不安定性、あるいは複数の要因を反映するのかは、なお未解決である。
企業の評価では、このテストの両側面を再現すべきだ。チームは、プロバイダーのネイティブエージェントインターフェースと、計画および根拠を明示的に保存する可搬性のある実装を比較できる。
タスク完了、重複作業、障害後の復旧、保持された根拠の品質を測定すべきだ。知識集約型ワークフローでは、追跡可能なAIナレッジベースが、ソース資料を検証可能な状態に保つことで、モデルメモリを補完できる。
これは推論状態の代替ではない。モデル内部の連続性が不透明な場合に、ユーザーが監査できる別個の記録を作るものだ。
したがって47.7ポイントの差は、ベンチマークを放棄する理由ではなく、より良い評価を実施する理由である。単一のスコアでは隠れていたデプロイメント変数を明らかにしている。
結果が移転するかを示す3つのシグナル
次に必要な証拠は、Argonのアダプター優位性が、より幅広いテスト、運用上の障害、実際の導入においても維持されるかを示すものでなければならない。
第1のシグナルは、標準ハーネスによる再テストの完了だ。報告されたAPI問題が解消された後、ARC Prizeは55件すべての半非公開タスクを再実行できるはずである。
完全な実行により、49.8%という結果のどの程度が欠けたタスクカバレッジによるものだったかが明らかになる。Argonがその水準付近にとどまれば、実在するアーキテクチャ上の差を示す根拠は強まる。
標準スコアが大幅に上昇すれば、元の比較は見直しが必要になる。メモリ設計だけではなく、サービス信頼性が公表された差を広げたことを示唆するためだ。
第2のシグナルは、他のラボによる比較可能なハーネスでの性能だ。OpenAIはすでに主な参照点を提供しているが、さらに多くの検証済み結果が得られれば、大きなアダプターの利得がフロンティアモデル全体で一般的かどうかが分かる。
Anthropic、xAI、または別のプロバイダーが同様のパターンを示せば、プロバイダー固有の状態は高度なエージェントの一般的な特性と見なされるだろう。その場合、業界はハーネスの選択を標準的な報告項目として扱う必要がある。
他のモデルが両方のハーネスで安定していれば、Argonの差はよりモデル固有のものに見えるだろう。その場合Googleは、可搬的なノートベースの連続性を改善するか、アダプターの要件をより明確に文書化するよう圧力を受ける。
第3のシグナルは、長時間稼働する本番ワークフローからの証拠だ。Googleは、Argonがソフトウェアエンジニアリング、研究、サイバーセキュリティでテストされていると述べている。これらの領域は、保持された推論が管理されたゲームを超えて成果を改善するかどうかを明らかにできる。
有用な報告には、複数ステップの完了率、介入頻度、中断された呼び出し後の復旧、ユーザーが取り消さなければならない操作の割合が含まれる。平均ベンチマークスコアは、こうした運用指標の代わりにはならない。
開発者は、Googleがコンパクションと保持される推論に対する制御を拡大するかどうかにも注目すべきだ。ユーザーが要約を検査し、保持ポリシーを設定し、永続状態をエクスポートできるインターフェースは、可搬性とガバナンスに関する懸念の一部を軽減するだろう。
こうした制御がなければ、購入者は性能を得る一方で、見えないメモリプロセスを信頼しなければならない。この取り決めは低リスクのタスクには受け入れられるかもしれないが、規制対象またはセキュリティに敏感な業務では承認が難しくなる。
したがって、Gemini 4 ArgonのARC-AGI-3スコアは、知能の定義を変える前に評価慣行を変えるべきだ。モデル名だけでは、もはやテストされた製品を説明できない。
エージェントシステムを比較するチームは、モデルバージョン、推論レベル、ハーネス、メモリポリシー、コンテキストコンパクション手法、障害復旧動作を記録すべきだ。また、重要な判断に用いた根拠も保存すべきである。
97.5%のスコアは、Googleが推奨する状態管理経路を利用できる場合にArgonが何をできるかを示している。49.8%のスコアは、その経路が変わるとどれほどの性能が失われ得るかを示している。
どちらの結果がより重要かは、購入するシステム次第だ。実用上の次のステップは、アプリケーションで使用する正確なインターフェースをテストし、そのメモリがワークフロー全体を通じて正確で、検査可能で、復旧可能かを確認することだ。
