METRの更新、AIコーディングと判断力の隔たりを浮き彫りに
METRは2026年11月20日、AI能力評価を拡張し、判断を要するタスクではより弱い性能が見られる一方で、指数関数的な進歩が継続していると発表した。METRのタイムホライズン更新では、測定対象タスクの時間的範囲の倍加時間はおよそ3.6か月とされる。ただし、この傾向だけで、AIが監督なしに安全に作業できる時間や、有用な研究を独力で方向付けられるかどうかは示されない。
定義済みのプログラミング課題を完了することと、価値ある実験を選ぶことでは、成功を示す証拠が異なるため、この区別は重要だ。プログラムはテストに合格しても、そのより広い目的が適切に選ばれていない可能性がある。METRの拡張された評価スイートはこの隔たりの両面を調べ、エージェントに明確なフィードバックが与えられる場面でより強い結果を示している。
これらの結果は、コーディングの進歩が自律的なAI研究へ直接転換されるという主張に圧力をかける。同時に、判断力の弱さが研究自動化の長期停滞を必ず招くという逆の前提にも疑問を投げかける。METRは、相当な能力、意味のある制約、そして両者の関係を測定する難しさの増大を確認している。
METRタイムホライズン更新が実際に測定するもの
このチャートは、エージェントの信頼できる稼働時間ではなく、人間の完了時間を通じてタスクの難易度を追跡している。
タイムホライズンとは、評価スイート全体で指定されたモデル成功率に対応する、人間によるタスク所要時間である。広く議論される50%の閾値では、モデルはその難易度のタスクをおよそ半分の確率で完了すると予測される。ここでいう時間は、モデルの実行時間ではなく、人間の基準作業量を表す。
そのため、METRのタスク完了タイムホライズンは、エージェントが丸一勤務を通して働けるという見出し以上に慎重な読み方を要する。より長いホライズンは、測定されたタスク分布における性能向上を示す。しかし、それほどの時間を人間が要するすべての課題で信頼できる性能を保証するものではない。
11月の報告書は、従来のソフトウェア中心の評価を、AI研究開発に関係する能力を対象としたタスクへ拡張している。結果には、AnthropicのOpus 5.5とOpenAIのGPT-6 Astraまでの公開モデルが含まれる。これらのモデルはエージェントとして動作し、ツールを使用して、割り当てられた目的に向けて連続的な行動を取る。
報告書は3つの異なるスイートを扱う。Time Horizon 1.1は222タスク、MirrorCodeは75のソフトウェア複製タスク、TH2は12ファミリーにまたがる36タスクで構成される。これらの件数は、同一ベンチマークの交換可能なバージョンではなく、異なるコレクションを表しているため重要だ。
TH2には、検証可能な結果を持つ8ファミリーと、検証がより難しい研究または判断に関わる4ファミリーが含まれる。検証可能なタスクでは、評価者が定義された目的に照らして結果を確認できる。判断タスクでは、明確で迅速なフィードバックが得られない状況で有用な選択を行う必要がある。
Time Horizon 1.1とTH2を合わせたスイート全体で、METRは50%成功時のタイムホライズンが約3.6か月ごとに倍増すると推定している。これはこの特定の指標における指数関数的な傾向である。すべてのAI能力が同じ速度で向上することを意味するものではない。
より難しいタスクを追加すると、チャートの解釈も変わる。METRは、同じモデルについて、Time Horizon 1.1単独よりも統合スイートで低いホライズンを報告している。テスト拡張後に測定値が低くなったからといって、モデルの能力が失われたわけではない。
この拡張は実務上の問題への対応でもある。モデルが改善するにつれ、従来のタスクは情報量が低下していた。METRによれば、旧スイートは飽和状態となり、より強力なシステムを見分ける能力が制限されていた。更新されたテストは、より困難な作業と、より広い能力プロファイルを目指している。
このため今回の更新は、見慣れた上昇線に点を追加しただけではない。その線について評価者が問えること自体を変えている。中心的な問題は、定義済みの課題での向上が、成功の定義自体が課題の一部となる作業へも及ぶかどうかである。
自律研究に関する主張は別の試練に直面する
直接的な圧力は研究の自律性に関する主張にかかる。そこでは成果物の作成は、有用な仕事を届けるための一部にすぎない。
AI研究には、実装、実験、解釈、そしてさらなる労力を投じる価値がある対象を決める判断が含まれる。ある活動での進歩は、他を置き換えずともチームを加速させうる。11月の結果は、この区別を見過ごしにくくしている。
METRは、現在のフロンティアモデルが、コーディングや最適化タスクに採用した熟練の人間参加者としばしば同等か、それを上回ると報告している。最適化とは、与えられた制約の下で、指定されたスコアまたは目的を改善することだ。こうした設定では、エージェントは試行を直接比較し、改善を続ける方法を得やすい。
エージェントがより広い研究課題を選ばない場合でも、この強みには実務上の意義がある。研究者は実験の優先順位への責任を保ちながら、実装を委任できる。実装能力の向上は、チームが完了できる仕事の量を増やしうる。
人間の専門家との比較は、普遍的な優位性の主張よりも狭い。METRは、採用した参加者が各専門領域においてフロンティア研究所の従業員と同等かどうかには不確実性があると認めている。課題が長くなるにつれ、必要な専門性と参加可能性を備えた人材の採用は難しくなる。
より大規模な歴史的比較グループが存在する場合、結果は卓越した人間の性能の余地も残している。METRは、プログラミング最適化コンテストでモデルが高い順位を示す一方、最良の人間参加者は概して依然として先行していると判断した。学習スクリプトの最適化でも、上位の貢献者は最も強力なエージェントの実行結果を超える改善を達成した。
OpenAIが11月18日に公開した研究加速に関する説明は、研究所内部からの企業報告として関連する見方を示している。そこでは、委任された研究タスクでの成功率が上昇している一方、活動ごとの差は大きいとされる。人間は開発プロセスの説明において引き続き中心的な役割を担う。
この証拠は、研究ワークフロー全体で自動化が一様ではないという見方を支持する。しかし、METRの結果を置き換える検証を提供するものではない。社内業務タスク、ベンチマーク課題、事後的な成功評価は、異なる手法を用い、異なる条件を捉えている。
Anthropic、OpenAI、その他の開発企業にとって、より難しい問いは実装が容易になった後に何が起こるかにある。エージェントは、どの実験が不確実性を意味ある形で減らすかを見極められるのか。肯定的な結果が弱いテストを反映しているにすぎない場合、それを認識できるのか。
技術作業向けのエージェントを評価する企業の購入担当者も、同様の区別に直面する。明確な受け入れテストを伴う成功デモは、その特定のユースケースを裏付ける。一方で、曖昧な目標、変化する要件、または遅れて現れる影響を含む課題については、証拠として弱い。
METRのタイムホライズン更新は、基礎となる進歩を否定せずに、こうした主張に求められる基準を引き上げている。自律研究について説得力ある説明を行うには、実行能力に加え、方向付けと評価に関する証拠が必要だ。コーディング性能はその説明の意味ある構成要素だが、報告書はそれだけで全体像が完成することを示してはいない。
強いコーディング能力でも判断の問題は解決しない
METRにとって最も示唆的な失敗は、モデルが評価を有用にする要素を判断しなければならない場面で現れた。
TH2のあるタスクでは、エージェントにMETRのモデル能力評価に役立つ評価を作成させた。これは動作するソフトウェアを書くこと以上を要求する。提案されたテストは、METRが価値あると考える問いにも答える必要があった。
能力評価の調査結果によると、エージェントが作成したタスクのうち、有用な新しい評価として報告書への採用に値するものはなかった。一部の出力は有用性に近づき、より弱いモデルを上回る進歩を示した。しかし、採点システム内での改善は、METRが採用を選ぶ作業には結び付かなかった。
エージェントは概して、自動採点される最適化タスクを好んだ。短期的なフィードバックに乏しい意思決定を含むタスクを明示的に求めた追試でも、その傾向は続いた。この行動は、測定可能な課題を作ることと、有益な研究課題を特定することのずれを明らかにした。
METRはまた、インターネットへのアクセスがあったにもかかわらず、組織が最も価値を見いだすタスクの種類をエージェントが独力で調査しなかったと報告している。研究者は、提案された評価の背後に新規の脅威モデリングや、とりわけ洞察に富む仮説を確認しなかった。これはテスト設定における観察であり、恒久的な能力欠如の証拠ではない。
この区別は具体的だ。評価は正しく実行できても、研究者が知る必要のあることをほとんど示さない可能性がある。実装の品質と研究上の価値は、どちらも最終結果に影響するものの、別個の性質である。
2つ目の実験では、モデルが他のモデルの作成した評価を判断できるかを調べた。強力な判定モデルは、より弱い作成者を評価する際には人間の評価とより近く一致した。作成者が同程度に強い、またはそれ以上に強い場合、判定モデルは過度に寛大なスコアを付ける傾向があった。
この知見は、弱い監督への一般的な解決策、すなわち別のAIに成果物をレビューさせるという案を複雑にする。レビュアーは明白な欠陥を見つけられても、よりもっともらしい誤りを見逃す可能性がある。そのため、作成者とレビュアーの一致だけでは、品質を独立に確立できない。
METRはこのパターンについて複数の説明を提示している。モデルにはこれらのタスクを評価する判断力が不足している可能性がある。または、より強い作成者が、より弱い判定者を誤らせる出力を生み出している可能性もある。実験はこれらの可能性を決定的に切り分けてはいない。
より広いメカニズムはフィードバックに関わる。強化学習、すなわち採点システムの下での結果に報酬を与える訓練は、どの試行が成功したかについて有用なシグナルから恩恵を受ける。コーディングや最適化では、テストや測定された性能を通じて、こうしたシグナルが得られることが多い。
オープンエンドな研究では、そのフィードバックが遅れたり、得るためのコストが高くなったりする。有望な提案が実質的な実験の後に初めて失敗することもある。一見非生産的な方向性が、研究者が見落とされた前提を特定したときに有用だと判明することもある。
報告書は、判断力とコーディングが根本的に別の能力であることを確立してはいない。METRは、一部の機械学習最適化タスクで有用なモデル判断の証拠を観察している。これらの成功は、より弱い判断結果が示す以上に能力が移転する可能性を残している。
したがって、この逆転は限定的なものだ。印象的な実行能力が、システム自身による成果物評価を自動的に正当化するわけではない。モデルは改善しても、その評価は信頼できないままでありうる。自律研究では、これらの能力の関係が、どちらか一方のスコアだけと同じほど重要である。
より良いテストの構築はさらに難しくなっている
拡張された評価は測定上の問題を浮き彫りにする。現実的なフィードバックは、多くの場合、高コストで時間がかかり、専門家への依存を伴う。
METRは、評価を繰り返し作成、実行、採点するのに必要な労力の大まかな推定として、ライフサイクルコストを導入している。この指標には、実行と評価に加え、開発と品質保証が含まれる。人間のタスク所要時間だけでは見落とされる制約を捉えることを目的としている。
人間にとって同程度の作業量を要する2つのタスクでも、評価に伴う負担は異なる場合がある。一方は自動チェックできる答えで完結するかもしれない。もう一方は、専門家が推論を精査し、欠けている文脈を評価し、研究上の貢献に意義があるかを判断する必要がある。
ほかにも、複雑な環境、コンピューティング要件、監視、長いフィードバックサイクルといった負担がある。テストでは、報酬ハッキング、すなわち意図した目的を達成せずに採点ルールを悪用する行動への対策も必要となる。より強力なモデルは、従来の評価では想定されていなかった抜け道を明らかにしうる。
METRのデータセットでは、人間のタスク所要時間を考慮した後でも、推定ライフサイクルコストが高いタスクほどモデルにとって難しい傾向がある。この関連は、低コストな評価では難しさの重要な側面を見落としうることを示唆する。ただし、費用そのものが性能低下を引き起こすことを立証するものではない。
METRは、研究者自身の評価に合わせて調整したモデルベースの判定器を用いてライフサイクルコストを推定している。これらの推定は、組織の経験と制約を反映する。最先端の研究所では異なるコストに直面する可能性があり、モデル能力の変化は評価の経済性を変えうる。
報告書はまた、高コストのタスク群と低コストのタスク群で、改善率が類似していることも示している。この留保は重要だ。高額な評価で現在の性能が低いことは、その評価における進歩が停滞したことを意味しない。
人間の参照測定にも別の制約がある。直接的な人間ベースラインが支えるのは、報告書における人間作業時間推定のわずか9%だ。その他の推定は、専門家の評価、公的な証拠、外挿に基づく。
これは、読者が難しいタスクに付された時間をどの程度確信を持って解釈すべきかに影響する。推定所要時間はなお有用な情報を提供しうるが、観測された完了と同じ証拠基盤を持つわけではない。体系的な推定誤差は、タスク群間の比較に影響する可能性がある。
人間との比較にはAI支援も含まれている。METRは、採用を支援し既存の作業習慣に配慮する目的もあり、参加者に実装でSonnet 5を使用することを認めた。したがって得られたベースラインを、AI支援のない人間の性能と説明すべきではない。
検証が難しいタスクには、さらなる主観性が入り込む。提案された評価に価値があるかは、METRの研究優先順位や関連リスクに関する見解にも一部依存する。組織自身も、こうした判断が誤っている可能性を認めている。
哲学的批評タスクは、誰の判断が参照基準になるのかという関連する問題を提起する。モデルは専門家の評価に照らして測定されるが、一致の度合いは専門家や彼らが使える時間に左右されうる。そのため、この結果は有益ではあるものの、人間の判断を包括的に測る指標にはならない。
こうした留保は、METRが以前に示したタイムホライズンの限界を補強する。ベンチマークのスコアを職場や安全性に関する主張へ結びつけるには、文脈が必要だ。更新されたスイートは証拠の範囲を広げる一方、不確実性も加える。カバレッジの向上と測定の洗練が、常に同時に実現するとは限らない。
このグラフから研究テイクオフの時期は導けない
指数関数的な改善が続いていることは、AIシステムが自らの開発をいつ独力で加速できるようになるかを示すものではない。
魅力的な外挿は、測定された倍加時間から始め、その曲線をより長い課題へと延長する。このような予測は、傾向が変わらない場合の含意を示すことはできる。しかし、同じタスク、手法、関係性が今後も代表性を保つことを立証することはできない。
11月の報告書内でも、タスク選定は当てはめられた傾向に影響を及ぼす。METRは、拡張されたスイートの部分集合を分析した際に異なる結果を得ている。研究者らは、モデルが新しいタスクを通過し始めることで表面化する難易度プロファイルの変化など、複数の可能な説明を論じている。
METRはまた、項目反応理論を用いて構築した複合指標、METR Capability Indexを導入している。これは、モデル能力とタスク難易度の関係を扱う統計的手法だ。この指標は、テストされたシステム全体の性能を追跡する別の方法を提供する。ただし、モデリング上の選択への依存をなくすものではない。
その指標において、METRはテスト対象の公開最先端モデル全体で、強い加速や減速を確認していない。条件によっては、開発元ごとの変化が不確実ながら見られるとしている。こうした知見は方法論上の決定に敏感であり、成長率の変化について強い主張を行うことには限界がある。
ここでは、指数関数的な進歩と加速する進歩の区別が重要である。倍加間隔が短くならなくても、指標は一定の間隔で倍増しうる。曲線が上昇していることだけでは、新たに強まるフィードバックループを示せない。
研究の自動化は因果関係の問題も加える。研究所がAIを利用する中でモデルが向上していることを観測しても、その支援がなかった場合に進歩がどう進んだかは分からない。METRは、欠けている比較によって傾向の明確な帰属が妨げられると明示している。
公開リリースから分かることにも限界がある。公開モデルが、研究所内部で利用可能な最も高性能なシステムを必ずしも代表するとは限らない。リリース時期の違いは、基礎となる開発ペースの変化を検出しようとする試みを複雑にしうる。
判断に関する知見も、競合する解釈を支持している。有望な問いと実験を選ぶ能力である研究上のセンスは、自律的な研究を制約する可能性がある。あるいは、検証しやすい作業で十分に強い性能が得られれば、人間が方向性を選び続ける中でも開発を加速させるかもしれない。
MIT Technology Reviewの判断ギャップ分析は、研究者間のその見解の相違を説明している。Sayash Kapoorは、研究上のセンスを潜在的に重要なボトルネックと見ている。Najoung Kimは、観測された改善を外挿することへの不確実性を強調する。
こうした見方は問題を解決するものではないが、現在の証拠が何を未解決のまま残しているかを示している。現在の判断能力の弱さは重要な観測結果である。それを恒久的な障壁として扱うには、報告書が示していない追加の論拠が必要となる。
METR自身の立場は、安心材料に対しても警戒論に対しても慎重なままだ。今後数年以内にAI研究が急激に加速する可能性を、公開された証拠だけでは排除できないとしている。これは、日付や確率を与える予測ではなく、未解決の可能性に関する記述だ。
したがってMETRのタイムホライズン更新は、完全自律研究へのカウントダウンも、人間による長期的な統制の保証も支持しない。変化する評価枠組みの中での大きな進歩を記録している。次の推論には、研究プロセスそのものに関する証拠が必要だ。
次のバイラルな曲線より重要な3つのシグナル
次に有用な証拠は、より強い実行能力が、より良い研究上の選択、信頼できるレビュー、持続的な成果につながるかを検証すべきだ。
第1のシグナルは、独立した専門家レビューを経た後に、エージェントが設計した評価や研究提案が採用されることだ。METRの評価作成タスクは具体的な参照点となる。専門家が価値ある問いに答えているからという理由で出力を活用するなら、将来の結果はより説得力を持つ。
評価では、技術的に正しい成果物と、研究判断を変える貢献を区別すべきである。追加のレビュー担当者と、より幅広いタスク範囲は、有用性が単一組織の選好を超えて広がるかを検証する助けになる。繰り返し成功すれば、研究上のセンスが依然として大きな制約であるという主張は弱まるだろう。
採用を伴わない継続的な改善は、より限定的な解釈を支持する。エージェントは、もっともらしい評価を作る能力を高めながらも、有益な評価を見極める能力では弱いままである可能性がある。その場合、洗練された実行と有用な方向付けの間の隔たりは残る。
第2のシグナルは、AIレビュー担当者が、同等かそれ以上に強いモデルによる成果物に対して、より適切に校正されるかどうかだ。校正とは、レビュー担当者の評価が実際の品質と信頼できる形で一致することを意味する。11月の知見は、この問題に具体的な実験的基盤を与えている。
有用な追試では、より幅広い成果物について、モデルの評価と独立した専門家評価を比較するだろう。難しい出力における一致度の改善は、より多くのレビューを委任する根拠を強める。過大評価が続くなら、より強いAI著者をAI判定者の追加だけで監督できるという主張は弱まる。
この問題は、エージェントが研究プロジェクト全体を独立して遂行しない場合でも重要だ。チームはすでに、どの出力に注意を払うべきか、どれに修正が必要かを判断する必要がある。欠陥を見逃しながら自信ありげに聞こえるレビューは、人間の作業負荷をなくすのではなく移し替える可能性がある。
第3のシグナルは、より強い人間の参照基準と、遅れて行う成果確認を伴う、より広範な評価である。より多くの直接的なベースラインは、推定タスク所要時間への確信を高める。出力が使用された後に何が起きたかを評価すれば、短期的なスコアが持続的な価値を捉えていたかを検証できる。
研究所の報告にとって重要な区別は、活動量を増やすことと、より良い研究を生み出すことの間にある。追加のコードや実験は進歩を支えうるが、その価値は扱う問いに依存する。エージェントの貢献を検証済みの成果に結び付ける証拠は、自律研究の根拠を強めるだろう。
これらは発表済みの公開計画ではなく、今後数か月における観測の優先事項である。新しいモデルのリリースだけでは決着しない。重要な変化は、能力測定と、その測定が表す意思決定および成果とのつながりを示す、より強い証拠となる。
技術業務でAIを活用するチームにとって、実務的な対応はそのつながりを維持することだ。元の課題、受け入れ基準、出力、専門家評価を一緒に参照できるようにしておく。検索可能なナレッジベースは、一見成功した結果が新たな要件に直面した際、後から比較する助けとなる。
METRのタイムホライズン更新は、その曲線の背後にあるタスクと限界と併せて読むべきだ。その軌跡を自分の業務に適用する前に、何を成功と見なし、誰がそれを検証できるかを特定してほしい。即時にテストできる課題と、影響が後になって現れる意思決定を分ける。そのうえで、証拠が測っているのは完了した作業なのか、有用な作業なのか、それとも単に説得力のある出力なのかを問うべきだ。モデルが改善しても、こうした区別は価値を持ち続ける。次に見出しを飾るスコアは注目に値するが、より静かな結果も重要である。すなわち、エージェントが価値ある問いを選び、健全な答えを生み出し、独立したレビューを乗り越えることだ。現在の評価は、その連鎖のどの部分を実際に検証しているだろうか。



