OpenAI、2つのAPI設定でGPT-5.6 SolのARC-AGI-3スコアが3倍に
OpenAIは、2つのAPI設定を変更することで、GPT-5.6 SolのARC-AGI-3公開スコアを13.3%から38.3%へとほぼ3倍に引き上げた。OpenAIの説明では、その鍵となったのはResponses APIで利用できる2つのコンテキスト管理手法、保持された推論とコンパクションだ。両者を組み合わせることで、出力トークンも6分の1に削減できたという。
この結果は、AIベンチマークの一般的な解釈を複雑にする。テスト対象のモデルに新たな学習、大きな推論予算、あるいはゲーム専用ツールが与えられたわけではない。代わりにOpenAIは、モデルとベンチマークの間で観測、行動、会話履歴を受け渡すソフトウェア層、すなわちハーネスを変更した。
したがって中心となる対立は、GPT-5.6 Solと別のモデルとの比較ではない。汎用的で標準化されたハーネスと、モデルを意識した本番向けハーネスとの比較である。前者は比較可能性を重視し、エージェントに同じ基本インターフェースを提供する。後者は、長時間の対話的作業でOpenAIの推論モデルが必要とすると同社が述べる状態を維持する。
この違いが重要なのは、ARC-AGI-3が単一の最終回答を求めるベンチマークではないためだ。自然言語による説明のない未知のゲームが提示され、エージェントは各ゲームのルールを推測し、目標を見つけ、仮説を検証し、失敗を記憶し、多数の行動を通じて適応しなければならない。
毎手ごとに推論を忘れるシステムは、変化する計画を維持できるシステムとは異なる課題に直面する。同様に、コンテキストが埋まった際に最も古い観測を失うエージェントは、コンパクトな要約を受け取るエージェントと同じゲームを経験しているわけではない。
OpenAIの結果は、どのハーネスが最も公正なリーダーボードを生むかという問題に決着をつけるものではない。ただし、ハーネスの設計が、多くのモデル更新を上回るほど測定能力を変え得ることは示している。この点は、ベンチマーク運営者、モデル開発者、企業の評価チームに対し、テストしたシステム全体を文書化するよう求める圧力となる。
OpenAIが説明するスコア急上昇の経緯
モデル自体は変わらず、メモリーへの経路が変わった。
OpenAIは、予想外に低かったGPT-5.6 Solの結果を調査した後、2026年7月29日に分析を公表した。当初の疑問は単純だった。難しい数学問題や長時間のゲームセッションを処理できていたモデルが、一見すると単純な2次元環境では有効に機能していないように見えた。
当初の乖離には複数のスコアが関係していた。OpenAIによると、GPT-5.6 SolのARC-AGI-3総合スコアは7.8%で、GPT-5.5は0.4%だった。制御比較に用いた公開タスクセットでは、GPT-5.6 Solは公式ハーネスで13.3%を記録した。
その後OpenAIは、Responses APIを通じて評価を再構築した。改訂版ハーネスでは、行動間で推論を保持し、ローリング切り詰めをコンパクションに置き換えた。同社のベンチマーク分析によれば、この構成により公開セットのスコアは38.3%まで上昇した。
このスコアは、Relative Human Action Efficiency（RHAE）を用いる。この指標は、成功に向けた進捗と、人間が必要とする行動数を比較する。非効率的な方法でタスクを解くエージェントには与えられる評価が少なくなるため、無目的な探索や繰り返されるミスには測定可能なコストが伴う。
OpenAIは、平均的な人間テスターのスコアを同じ基準で48%と見積もった。この推定は公式のゲームプレイログに基づくもので、すべての人間が48%を得るという主張ではない。ARC Prizeは別途、各ゲームを人間の基準と同じ効率でクリアした場合のスコアを100%と説明している。
したがって、38.3%という結果は人間との差を埋めたわけではない。ただしGPT-5.6 Solを、OpenAIが推定する平均的なテスターに大きく近づけた。さらに重要なのは、モデルの更新なしに達成された点だ。
出力トークンに関する結果も、直感に反する。エージェントがより多くのコンテキストを保持するなら、コストが増えるようにも思える。しかしOpenAIは、改訂版の構成で出力トークンが6分の1になったと報告している。モデルは、すでに構築済みのルールや計画を何度も再構築するための出力を減らせた。
ゲームのリプレイは具体例を示している。OpenAIは、該当リーダーボード上のフロンティアモデルがいずれも第1レベルを超えてクリアできなかった環境を示した。改訂版Responses APIハーネスでは、GPT-5.6 Solが全6レベルをクリアできたと報告している。
ARC Prizeの検証済み結果も有用な文脈を提供する。同団体のGPT-5.6スコアカードでは、最大推論設定のSolが半非公開ARC-AGI-3で7.78%を記録している。また、モデルが初めて勝利した公開ARC-AGI-3ゲームであるFT09では、87%の結果も記録している。
これらの数値は異なるセットと評価の観点を示しているため、1つの性能値として合算すべきではない。OpenAIによる2設定の主張を裏付ける関連証拠は、制御比較における13.3%から38.3%への上昇である。
この区別はベンチマーク報道では見落とされやすい。公開セットでの実験、半非公開の検証済みスコア、単一ゲームでの結果は、それぞれ異なる問いに答える。OpenAIの実験が具体的に問うのは、ハーネスが作業状態をより多く維持した場合に、1つのモデルがどのように振る舞うかだ。
その答えは印象的だが、範囲は限定される。保持された推論とコンパクションは、OpenAIの実装において、この公開タスクセット上のこのモデルを改善した。この結果は、すべてのモデル、エージェント、コンテキスト長、本番ワークロードで同じ効果が得られることを示すものではない。
公式ハーネスは忘却もテストしていた
ARC-AGI-3は、エージェントと、それを取り巻く情報アーキテクチャの両方を測定していた。
ARC-AGI-3は、モデルが質問を受けて1つの回答を返す静的なベンチマークとは異なる。反復的な知覚、計画、行動、修正を求める対話的環境で構成される。ベンチマーク概要では、目標の獲得、適応可能な世界モデル、長期的な計画、経験に基づく学習が強調されている。
このベンチマークには、各ゲームを説明する自然言語の指示がない。エージェントには現在のフレーム表現と可能な行動のセットが与えられる。どのオブジェクトが重要か、行動によって環境がどう変わるか、何が進捗と見なされるかを自ら判断する必要がある。
この構成では、記憶が評価対象となる能力の一部になる。有用な仮説は、何度か失敗した行動の後に生まれるかもしれない。後の観測がその仮説を裏付けたり、否定したりすることもある。ハーネスがそれらの出来事を結び付ける推論を削除すれば、エージェントはより薄い記録から解釈を再構築しなければならない。
OpenAIは、公式ハーネスが各ゲーム行動の後に非公開の推論を破棄していたと指摘した。モデルは以前の行動や短いメモを確認できたものの、それらの行動につながった計画、発見、前提にはアクセスできなかった。
ハーネスはローリング切り詰めも用いていた。会話が175,000文字を超えると、最も古いメッセージを削除する。したがって長時間の実行では、現在のレベルにも関係する初期の観測や行動が消去される可能性があった。
これらの挙動は、欠陥のあるベンチマークの証拠ではなく、汎用的な設計による意図的な帰結だった。ARC Prizeは、モデルの限界を明らかにし、プロバイダー間の比較を支えるため、比較的単純なハーネスを重視している。商用デプロイでは、API間で単純に対応付けられないプロバイダー固有の機能が使われることが多い。
ここにこの記事の主な対立点がある。標準化された評価と、本番環境に沿った評価だ。
標準化ハーネスは、共通インターフェースを通じてどのモデルが最も優れた性能を示すかを問う。このアプローチは特別扱いを制限し、あるプロバイダーの非公開最適化が比較を支配する可能性を減らす。
本番環境に沿ったハーネスは、開発元が推奨する形でデプロイした場合にモデルがどの程度機能するかを問う。このアプローチは実際のアプリケーションに近い一方、モデル能力とシステムエンジニアリングの境界を曖昧にする可能性がある。
どちらの問いにも意味がないわけではない。ただし、得られる測定値は異なる。
問題となるのは、リーダーボードのスコアがモデル単体の性質として提示される場合だ。あるハーネスが、別のモデルが保持することを前提とした状態を繰り返し削除するなら、そのテストはモデルの学習と評価インフラの互換性も測定していることになる。
ARC Prizeは、環境が依然としてどれほど難しいかを認めている。技術レポートでは、2026年3月時点で人間はテスト対象環境の100%を解決した一方、フロンティアシステムのスコアは1%未満だったとしている。このベンチマークは、適応効率における大きな差を明らかにするよう設計された。
GPT-5.6 Solのその後のスコアは、特に個別の公開ゲームで進歩を示している。しかし、公開セットで38.3%という結果でも、人間レベルの効率に至るまでにはなお大きな隔たりがある。また、この結果はモデル開発元自身のハーネスと分析によるものでもある。
教訓は、ARC-AGI-3が簡単になったということではない。対話的なベンチマークは、計画や探索と並んで、意図せず人工的な記憶喪失をテストしてしまう可能性があるということだ。
この問題はゲームにとどまらない。コーディングエージェントは、ツール呼び出しをまたいでアーキテクチャ上の判断を記憶する必要がある。リサーチエージェントは、どの情報源が主張を支持または否定するかを保持しなければならない。カスタマーサービスシステムは、会話の初期に導入された制約を維持する必要がある。
こうしたシステムを、内部状態を繰り返し失わせる形で評価する企業チームは、有用な性能を過小評価する可能性がある。一方で、制限のないプロバイダー固有の最適化を許可すれば、比較や再現が難しい結果を生むおそれがある。
より良い対応は、より完全な開示だ。ベンチマーク報告書では、モデルバージョン、推論の強度、コンテキスト方針、保持されたレスポンス項目、コンパクションの挙動、プロンプト、ツール、行動予算、採点方法を特定すべきである。こうした情報がなければ、スコアには不可欠な運用上の文脈が欠ける。
保持された推論が、エージェントのやり直しを防ぐ
推論を保持することで、GPT-5.6 Solは行動をまたぐ連続性を得て、解釈作業の繰り返しを減らした。
推論モデルは、可視テキストやツール呼び出しを生成する前に、内部の推論項目を生成する。これらの項目は、ユーザー向けの説明と同じものではない。複数ステップの対話におけるモデルの作業状態の一部を構成する。
OpenAIが検証した公式ハーネスでは、各ゲーム行動によって事実上その状態が終了していた。次のリクエストには以前の行動と短いメモが含まれるものの、それらを結び付けていた推論は破棄された。GPT-5.6 Solは同じ解釈上の負荷に何度も直面していた。
色付きのオブジェクトがあるグリッドを探索するエージェントを想像してほしい。ある色が障害物を示すのかを試し、成功した移動の後に同じ色が変化することを発見する。その観測は最初の理論を覆し、新たなルールを確立するかもしれない。
行動ログは、エージェントが何をクリックしたかを記録する。しかし、なぜクリックしたのか、どの代替案を退けたのか、結果のフレームが何を意味したのかまで、必ずしも保持するわけではない。こうした詳細は、次の行動が戦略を前進させるのか、過去のミスを繰り返すのかを左右し得る。
OpenAIはResponses APIを使用し、ターン間で前のレスポンス識別子を渡した。同社の現行モデルガイダンスでは、GPT-5.6がターンをまたいで利用可能な推論項目を再利用できると説明されている。開発者は、推論コンテキスト設定を通じて、どの程度の過去の推論を関連情報として残すかも制御できる。
OpenAIによると、保持された推論はGPT-5.6 Solの挙動を2つの点で変えた。モデルは各行動前に考える時間を減らし、長時間の実行にわたってより一貫した戦略を用いた。もはや毎手の後に、ゲームを最初から解釈し直す必要がなくなった。
それが、保持状態が増えてもトークン使用量が減り得る理由を説明している。出力トークンには、モデルが新たに生成する推論や応答が含まれる。以前の洞察を利用できれば、モデルは長大な再構築を再び生成せずに済む。
この違いは、プロジェクトチームが意思決定の記録を保管している場合と、完了済みタスクの一覧だけを受け取る場合の差に似ている。タスク一覧は何が起きたかを示す。しかし、現在の計画を形作った却下案、制約、根拠までは残さない。
ナレッジワーカーにとっても、AIアシスタントが長期の調査を扱う際に同じ問題が現れる。取得した文書ごとに、作業中の仮説は変化する。システムがリンクと短い回答だけを保存するなら、後の結論から、それらの情報源が重要だった理由となる推論が失われかねない。
ここで、外部の検索可能なナレッジベースがモデルのコンテキストを補完できる。一時的な作業状態をエージェントが圧縮した後でも、永続的なソース記録は検証可能な状態で残すべきだ。
ただし、推論の保持にもトレードオフがある。タスクが変わった後、古い推論は陳腐化し得る。システムが却下済みとして印を付けなければ、初期の誤った仮説が後続の手順に影響する可能性がある。メモリが多ければ、自動的により良いメモリになるわけではない。
OpenAIのAPIガイダンスも、この問題を反映している。目標が安定している場合は全ターンにわたって推論を保持し、以前の推論が関連性を失った場合は現在のターンに焦点を絞ることが、開発者に認められている。この選択は一律のルールではなく、ワークフローに従うべきだ。
ARC-AGI-3のゲームは、継続性にとって有利な環境を提供する。目標と環境はアクションをまたいで関連し続けるため、以前の仮説は通常、重要であり続ける。一方、話題が突然切り替わるサポート会話では、異なるコンテキスト管理の問題が生じる。
セキュリティとプライバシーのポリシーも実装に影響する。組織によっては、応答履歴を無期限に保存できない。また、ステートレスまたはゼロ保持の構成を利用する組織もある。そうしたチームは、継続に必要な暗号化済みの推論項目やその他の応答オブジェクトを慎重に管理しなければならない。
したがって、推論の保持はシステムの振る舞いを示すものであり、非公開のチェーン・オブ・ソート内容を公開してよいという許可ではない。アプリケーションはAPIを通じてサポートされる応答項目を保持しつつ、ユーザーには簡潔で適切な説明を提示すべきだ。
OpenAIの実験は、実務的な評価上の問いも示している。エージェントが30ステップ後に失敗した場合、レビュー担当者は、その計画自体が誤っていたのか、それともハーネスが計画継続に必要な状態を取り除いたのかを確認すべきだ。
これらの失敗モードには異なる修正が必要となる。推論の失敗には、より優れたモデル、プロンプト、または戦略が必要だ。状態管理の失敗には、異なるインフラが必要となる。両者を同じくモデルの知能の問題として扱うと、エンジニアリングの努力をどこに向けるべきかが見えにくくなる。
圧縮は、すべてを抱え込まずに過去を保持する
圧縮は、重要な履歴を維持したまま、より短い表現へと置き換えることで、単純な削除に代わった。
長期稼働するエージェントは、いずれコンテキスト制限または経済的な制限に直面する。すべての観測、ツール結果、中間的な思考を保持すると、後続のリクエストは遅くなり、焦点もぼやけ得る。推論を保持するだけでは、際限のないコンテキスト増加は解決しない。
公式のARC-AGI-3ハーネスは、ローリング切り捨てによって増大を処理した。履歴がしきい値を超えると、最も古い内容を削除する。この方針は予測可能でプロバイダー中立だが、古い情報は古いという理由で重要度が低いと仮定している。
インタラクティブなゲームは、その仮定に反する。初期のアクションが目標を明らかにすることもある。序盤で見た手がかりが、はるか後に出会う記号を説明することもある。時系列順の削除では、直近だが反復的なフレームを残しつつ、基礎的な知識を消してしまう可能性がある。
圧縮では異なる方針を採る。以前のコンテキストを、関連する状態を保持したより小さな表現へと凝縮する。エージェントは、元のすべてのトークンを抱えずに、管理可能なコンテキストで継続できる。
OpenAIによると、同社のARC実装では圧縮に175,000トークンの上限を用いた。公式ハーネスでは、切り捨てに175,000文字を使用した。アクショングリッドはおおむね1文字あたり1トークンでトークン化されるため、これらのしきい値は概ね比較可能だったとOpenAIは主張している。
この実装上の詳細は重要だ。上限が大幅に異なっていれば、スコア改善はより優れたメモリ戦略ではなく、実効コンテキストの拡大を反映している可能性がある。OpenAIの比較は、しきい値を近い水準に保ちながら、古い情報がどのように残るかを変えようとするものだ。
同社の圧縮に関するドキュメントでは、圧縮は長期のResponses APIワークフローにおいてコンテキストサイズを削減する方法として説明されている。得られる圧縮済み状態は、アプリケーションが無制限のトランスクリプトを再送しなくても継続を支援できる。
圧縮は可逆性のない保存ではない。要約は詳細を省略したり、不確実性を平板化したり、誤った解釈を残したりする可能性がある。その価値は、将来のアクションで必要となる情報を選別できるかにかかっている。
ARC-AGI-3は、その選別に対して厳しいテストとなる。エージェントは、発見したルール、目標、オブジェクトの意味、失敗した仮説、レベルの進行状況、予定アクションを保持しなければならない。反復されるグリッドや冗長な推論には、より少ない注意を割り当てられる。
OpenAIは、圧縮済みハーネスがより長い実行にわたって学習を保持し、出力トークンも少なくなったと報告している。比較アニメーションでは、改訂版エージェントはアクションごとの思考量を減らし、ゲームをより速く進めていた。
出力トークンを6分の1に削減したことは、金額を論じなくても運用上重要である。出力量が少なければ、レイテンシーを削減し、より多くの評価に向けた容量を確保できる。圧縮済み状態が十分に情報を保っている限り、エージェントのトレースも検査しやすくなる。
ただし、読者はこの数値をワークロード固有のものとして扱うべきだ。ARC-AGI-3では、反復的なテキストグリッドと多数の連続アクションが生じる。法務レビュー、医療ワークフロー、財務分析では、積極的な要約に適さない詳細が含まれる可能性がある。
評価チームは、最終的なタスク成功とは別に、圧縮の品質を検証すべきだ。保持された制約、事実の一貫性、中断後の復旧、そしてどの証拠が意思決定を形作ったかをエージェントが説明する能力を比較できる。
有用なテストでは、重要な事実を早期に導入し、その後の活動でコンテキストを満たしたうえで、エージェントがその事実を正しく適用するか確認する。別のテストでは、途中で要件を変更し、圧縮が元の指示ではなく改訂内容を保持するか検証する。
これらのテストは、中心的なトレードオフを明らかにする。ローリング切り捨ては、レビュー担当者がどのメッセージが消えたかを正確に把握できるため、透明性の高い損失を提供する。圧縮は選択的な継続性を提供するが、その省略は発見しにくい場合がある。
本番エージェントでは、選択的な継続性のほうがタスクに適していることが多い。人間は、すべての視覚フレームや文章を記憶するわけではない。目標、制約、発見、未解決の疑問を優先する作業モデルを維持している。
この類推を、隠れた失敗の言い訳にしてはならない。開発者には、圧縮が正しい状態を保持したかどうかを確認するためのトレース、リプレイツール、統制された評価が必要だ。そうでなければ、自信に満ちた最終回答が、初期の重要な制約の欠落を隠してしまう可能性がある。
したがって、OpenAIの結果は、コンテキストウィンドウを大きくすること自体に主眼があるわけではない。ウィンドウにすべてを収められないとき、何を残すかを変えることにある。
3倍のスコアが証明しないこと
開発者が実施した公開セットでの実験では、最も公平な普遍的ベンチマーク構成を決定することはできない。
OpenAIの証拠が支持するのは、限定的だが価値ある結論である。推論を保持し、ローリング切り捨てを圧縮に置き換えた場合、OpenAIのARC-AGI-3実装においてGPT-5.6 Solの成績は向上した。
それは、公式ハーネスが無効であることを証明するものではない。公式セットアップには別の目的がある。ベンチマーク参加者がプロバイダーをまたいで再現できる汎用インターフェースを通じて、モデルの振る舞いを明らかにすることだ。
プロバイダー固有の機能は、公平な比較を複雑にする。OpenAIはResponses APIを通じてネイティブの推論項目を保持できる。別のプロバイダーは、内部状態を異なる形で表現したり、異なる継続制御を公開したり、別のメモリアーキテクチャに依存したりする可能性がある。
各社が非公開のハーネスを最適化できるようにすると、モデルのベンチマークがシステム競争へと変わり得る。この形式でも、特に完成されたエージェントシステムを選ぶ購入者にとって、有用な何かを測定できる。ただし、モデルの振る舞いを同じほど明確に分離することはできなくなる。
この結果は、OpenAIによる公開タスクセットの実験からも得られている。公開ゲームは検査と開発が可能であり、ハーネスを調整する機会も増える。セミプライベートの結果は、直接的なタスク固有の調整に対する、より強い検証を提供する。
ARC Prizeの検証済みリーダーボードでは、最大推論時のセミプライベートセットにおいて、GPT-5.6 Solは依然として7.78%に位置している。このスコアは、掲載されている他のGPT-5.6ファミリーのバリアントを上回るが、人間の達成度と効率にはなお大きく及ばない。
OpenAIの公開比較における38.3%と、検証済みセミプライベート評価における7.78%の差は、慎重に解釈する必要がある。タスクセットが異なるため、これはハーネスの発見と自動的に矛盾するものではない。ただし、公開セットでの1つの改善を、人間のようなゲーム学習に関する一般的な主張へと広げるべきではない理由を示している。
平均的な人間テスターについてのOpenAIの48%という推定値は、文脈を加えるものではあっても、同等性を示すものではない。人間とモデルでは失敗の仕方、アクションパターン、未知のインターフェースへの反応が異なり得る。RHAEはそれらの振る舞いをスコアに圧縮する。
実験では、2つの変更も組み合わされている。見出しとなった比較では、推論の保持と圧縮の両方が有効化されていた。OpenAIはそれぞれの行動上の効果を説明しているが、公開された主要数値では、各設定の寄与を完全には切り分けていない。
より完全なアブレーションでは、どちらも使わない設定、推論の保持のみ、圧縮のみ、そして両方を用いる設定の4構成を報告するべきだ。特にエージェントの探索が異なる経路をたどり得る場合、反復実行は分散の定量化に役立つ。
出力トークンの比較にも同じ精査が必要だ。トークンが少ないことは、このハーネス下での効率改善を示す。しかし、総レイテンシー、入力トークン処理、圧縮のオーバーヘッド、状態維持に必要なエンジニアリング作業までは明らかにしない。
ベンチマーク運営者は現在、両方向からの圧力に直面している。汎用ハーネスを維持するなら、リーダーボードの結果が本番構成を過小評価し得ることを説明すべきだ。最適化済みハーネスを受け入れるなら、どの能力がモデル由来で、どの能力が周辺コード由来なのかを開示すべきである。
モデルプロバイダーにも、並行する責任がある。再現可能な構成、プロンプト、コンテキストのしきい値、アクション予算、スコアカードを公開すべきだ。独立したチームが再現できるとき、設定に関する主張はより有用になる。
企業の購入者は、汎用テストと最適化テストのどちらかを選ぶべきではない。両方が必要だ。
汎用テストは、候補モデルが一般的な制約の下でどのように振る舞うかを示す。本番環境を代表するテストは、完全なシステムが購入者の実際のワークフローで成功するかを示す。両者の結果の差は、統合への感度を測る。
その感度自体がビジネスリスクである。1つの特殊な状態管理スタックでしか優れた性能を発揮しないモデルは、移行が難しくなる可能性がある。重要な機能を取り除く汎用ハーネスは、誤った理由でチームをより弱いモデルへ向かわせる可能性がある。
重要なのは、ベンチマークとOpenAIのどちらが正しいかではない。各スコアがどのシステム境界を表しているかという問いだ。
OpenAIのARC-AGI-3結果の後に注目すべき3つのシグナル
独立した再現、セミプライベートテスト、より優れたハーネス報告が、この結果が評価実務を変えるかどうかを決定する。
最初のシグナルは、13.3%から38.3%の向上を独立して再現することだ。信頼できる追試では、同じ公開ゲーム、推論努力度、アクション制限、コンテキストのしきい値、採点方法を使用すべきである。また、実行ごとのばらつきも報告する必要がある。
追試は、観測された性能差の大部分を状態管理で説明できるというOpenAIの主張を強める。向上幅が大幅に小さければ、文書化されていない実装の詳細、プロンプティング、あるいは評価者の選択が、挙げられた2つの設定以上に寄与していたことを示唆する。
2つ目のシグナルは、保持された推論とコンパクションを用いる半非公開の評価だ。公開タスクは開発者が挙動を診断する助けになるが、未公開または制限された環境は、汎化性能をより強く試す場となる。そこで同様の向上が見られれば、このハーネス改善が、既知の公開ゲームを超えて適用できることを示す。
半非公開環境での向上が小さければ、広範な解釈は弱まる。より優れたメモリが、モデルによる新しい目標やルールの獲得という、より深い課題の解決ではなく、既知の戦略の実行を助けているだけである可能性を示すかもしれない。
3つ目のシグナルは、ベンチマークの開示基準の変化だ。今後のリーダーボードでは、スコアと併せてコンテキスト管理方針を公開すべきである。レポートには、推論項目がアクション間で保持されたか、古い履歴をどのように削除またはコンパクト化したか、どのプロバイダー固有機能を有効化したかを記載すべきだ。
こうした報告により、読者は2つの有用な見方を比較できる。一方は、標準化されたインターフェースを通じてモデルを測定するものだ。もう一方は、プロバイダーのガイダンスに従って構成された完全なシステムを測定するものだ。
開発者も、自身の評価に同じ規律を適用すべきである。設定を変更する前にベースラインを保存する。その後、代表的なワークロードで、保持された推論、コンパクション、そして両者の組み合わせをそれぞれ個別にテストする。
最終的な成功だけでなく、それ以上を測定する。出力トークン、入力の増加、レイテンシー、繰り返しアクション、制約の保持、失敗した仮説からの回復、古いメモリに起因するエラーを追跡する。評価が終点だけを見ている場合、より高いスコアが新たな失敗モードを隠す可能性がある。
チームは、継続性がどこで役立つかも検証すべきだ。長時間に及ぶコーディングタスク、インタラクティブな調査、ブラウザエージェント、複数段階の分析は、多くの場合、蓄積された発見に依存する。短い分類や抽出のリクエストでは、持続的な推論から得られる利点は小さいかもしれない。
OpenAIの発見は、明確な警告を示している。エージェント評価は、評価者が課したメモリ方針によってモデルを不利に評価する可能性がある。また、競合他社が再現できないインフラによって、モデルを実際以上に良く見せることもある。
次に有用なステップは、どちらのハーネスが正しいかを宣言することではない。両方を実行し、正確にラベル付けし、他者が違いを理解できる十分な詳細を公開することだ。
長時間稼働するエージェントを構築するすべての人にとって、当面の問いは実践的である。あなたのシステムは、次のアクションに必要な目標、証拠、棄却した仮説を保持しているだろうか。モデルを責める前にその継続性をテストし、コンパクションやコンテキスト方針を変更するたびに、もう一度テストしてほしい。
