Mercor AIベンチマークのカバレッジ、米国の労働時間の90%を見えないままに
Mercorの新たな経済マップによると、AIベンチマークのカバレッジでは、米国における労働時間のおよそ90%が意味のある形でほとんど、あるいはまったく表現されていない。この発見は、人工知能と雇用に関する多くの主張の根底にある前提に疑問を投げかける。モデルのスコアが優れて見えても、全米で行われている大半の仕事については驚くほど何も語っていない可能性がある。
Mercorは、米国の労働市場にある923の職業、18,797のタスクに対し、29のエージェント型ベンチマークを対応付けた。カバレッジの基準を満たしたのは924タスクのみだった。5件以上のベンチマークプロンプトで表現されているタスクを少なくとも1つ持つ職業は、わずか208にとどまった。
この隔たりは、AIが残りの仕事を実行できないことを示すものではない。研究者が、それを実行できるかどうかを十分に測定していないことを示している。この違いは、自動化の判断を下す雇用主、キャリア上のリスクを見極める労働者、労働市場の混乱を予測する政策立案者にとって重要だ。
オンライン上の反応は、この対立をすぐに浮き彫りにした。読者の一部は、このマップをAIの経済的な到達範囲がなお限定的である証拠と受け止めた。他方で、欠けているベンチマークは能力の限界ではなく、測定の遅れを示しているのだと主張する人もいた。
したがって、本当の争点はAI対人間の労働ではない。ベンチマークへの信頼対、雑多で複雑な仕事の現実である。Mercorのマップは、経済全体にわたる自動化の予測を支える証拠が、多くの自信に満ちた予測が示唆するよりはるかに薄いことを示している。
Mercor AIベンチマークのカバレッジが測るのはテストであり、AIの限界ではない
見出しの数字が示しているのは測定上の隔たりであり、AIが実行できない仕事の割合ではない。
Mercorは、同社が米国経済のベンチマークマップと呼ぶものを作成した。このプロジェクトは、29件のAI評価に含まれるプロンプトを、労働省の職業分類にあるタスク記述へ結び付けている。
これらの評価は、エージェント型タスクを重視している。エージェント型タスクでは、モデルに事実に関する質問への回答ではなく、成果物やワークフローの完了を求める。例としては、スプレッドシートの編集、ソフトウェアの問題解決、専門的な分析の作成などがある。
ベンチマークマップによると、18,797件の職業タスクのうち、十分な表現があるのは924件である。Mercorは、AI判定器が選定されたベンチマークのプロンプトを少なくとも5件、そのタスクと関連付けた場合に、そのタスクをカバー済みとみなす。
このルールは、際立った結果を生む。923の職業のうち、5プロンプトの基準を通過するタスクを1つでも含むのは208職業にすぎない。22の職業大分類のうち6分類には、基準を満たす職業が1つもない。
カバレッジは分野間でも大きく異なる。コンピューター・数学系職業では36職業中29職業が表現されている。ビジネス・金融業務では48職業中33職業、法務系職業では7職業中5職業に達する。
経済の他の領域ははるかに手薄なままだ。医療従事者では89職業中12職業が表現されている。教育・図書館業務は62職業中9職業、建築・工学は56職業中19職業にとどまる。
これらの数字をモデル性能のスコアとして読むべきではない。評価対象のモデルが低い性能しか示さなくても、職業はカバー済みとなり得る。逆に、商用システムがすでに人を支援しているタスクでも、カバーされていないように見えることがある。
カバレッジが示すのは、含まれるベンチマークが限定的な評価を支えるだけの十分なプロンプトを提供しているかどうかである。現在のAIができるすべてのことの一覧ではなく、利用可能なテストの目録なのだ。
この区別は、公開討論で出た批判の一つに応えるものでもある。レストランの自動化、音声注文、倉庫ロボティクスは、Mercorが選んだベンチマーク群に現れなくても存在し得る。それらが掲載されていないからといって、導入済みのシステムがなくなるわけではない。
同じ注意は逆方向にも当てはまる。あるタスクに関連するプロンプトをモデルが通過したからといって、そのモデルが対応する労働者を代替できることにはならない。仕事には、判断、調整、物理的な行動、例外処理、制度上の責任が組み合わさっている。
法務ベンチマークでは契約書の起草を評価できても、顧客への助言、交渉、監督、法廷での業務は省かれているかもしれない。目に見える成果物を1つ測定しても、弁護士を雇う際に雇用主が購入している完全な業務の束は捉えられない。
Mercorは、初期リストが暫定的なものであると明言している。経済的な関連性を持つ評価が増えるにつれ、マップも拡大するとしている。この制約は結果の決定性を下げる一方で、中核となる発見をむしろ強めてもいる。
ベンチマークが急速に作られてきた数年を経ても、評価のエコシステムが観測しているのは経済の狭い一部分にすぎない。広範な労働代替に関する主張は、利用可能なテストを大きく超えている。
AI評価が価値の高いデジタル業務に集中する理由
ベンチマークは、業務がデジタルで、高コストかつ反復可能で、比較的採点しやすい領域に集中する。
マップの盲点は無作為に分布しているわけではない。Mercorは、言語モデルへの曝露があると分類されたタスクは、ベンチマーク群に含まれる可能性が約6倍高いことを発見した。
この傾向は理解できる。研究者は、高度なモデル間の差を明らかにできる評価を求めている。デジタル知識労働には、アクセスしやすい入力、再現可能な環境、ソフトウェアや専門家の採点者が検査できる出力がある。
ソフトウェアエンジニアリングが早期の対象になったのは、プログラムを自動テストできる場合が多いためだ。コードはコンパイルできるか、テストに通るか、定義された出力を生成するかのいずれかである。こうしたフィードバックループにより、評価とモデル改善が容易になる。
金融分析も、馴染み深いデジタル成果物を生み出す。ベンチマークでは、ソース文書を提供し、前提を指定し、スプレッドシートやプレゼンテーションを求められる。その後、レビュー担当者は計算、構成、結論を比較できる。
物理的な業務や対人業務は、より難しい測定上の問題を生む。プロンプトでは、混雑した教室、予測不能な保守現場、家族との繊細な会話を完全には再現できない。
公式のO*NETデータベースは、研究者がこうした業務を記述する助けになるが、そのタスク記述はベンチマーク環境ではない。職務を特定しても、現実的な入力、ツール、制約、採点ルールを自動的に生成するわけではない。
Mercorの分析では、賃金総額がより大きい職業のタスクほど、カバレッジを受けやすいことも分かった。この関係は、推定されるAI曝露を考慮した後も残る。
このインセンティブは経済的に合理的だ。高コストな職業の一部を自動化すれば、小規模な労働市場向けの評価を作るより明確な潜在的リターンが得られる。顧客にも、高報酬に結び付いたテストへ資金を投じる強い理由がある。
タスクの重要性も、もう一つの選択効果を生む。職業内では、最も重要と評価されたタスクは、最も重要度の低いタスクよりベンチマークでカバーされる可能性が約6倍から10倍高かった。
重要な仕事を優先することは理にかなっているように聞こえる。しかし、仕事はしばしば、主要な成果物を成り立たせる数多くの小さな活動に依存している。これには、文脈の収集、要件の確認、承認の調整、例外の検出、誤解の修復が含まれる。
ベンチマークは、プロセスの最後に現れる文書を捉えるかもしれない。しかし、その文書が正確で、時宜を得て、信頼され、使えるものかを決める組織上の作業を捉えることはまれだ。
これは、Hacker Newsでの議論で取り上げられたドアマン問題に似ている。ドアを開けることが中心的なタスクに見えても、自動化によって、その労働者が道案内、防犯上の注意、非公式な支援も提供していたことが明らかになる。
知識労働にも同様の隠れた機能がある。プロダクトマネージャーは、単に要件定義書を書くわけではない。その役割には、相反する要求の調整、過去の決定の記憶、欠けている証拠への気付き、関係者のコミットメント確保が含まれる。
AIは目に見える成果物の作成を加速できる一方で、その周囲の制約を残す。場合によっては、もっともらしい出力を大量に検証しなければならないため、生成が速くなることで追加のレビュー作業が発生する。
だからこそ、個人またはチームのナレッジベースは、別の単独の生成ツールより重要になり得る。ボトルネックは、別の下書きを作ることではなく、文脈を取り戻し、決定を検証することにある場合が多い。
したがって、ベンチマークの集中は、技術的な実現可能性と市場インセンティブの両方を反映している。経済変革が明日どこで止まらなければならないかではなく、評価の作成者が今日どこで信頼できるテストを作れるかを示している。
90%という発見は複数層の推定に基づく
Mercorの結果は、公式の労働データとモデル生成による対応付けを組み合わせたものであり、各層は有用な構造とさらなる不確実性を加える。
プロジェクトは、職業、労働者の特性、職務タスクを記述する連邦データベースであるO*NETから始まる。Mercorは923の職業と、それに関連する18,797件のタスク記述を使用している。
次に研究者は、ベンチマークのプロンプトをそれらのタスクに結び付ける。Mercorによると、活動が重なる場合、LLM判定器は1つのプロンプトを複数の職業タスクに割り当てられる。
同社はこのプロセスを、自社のAPEXベンチマークに対する人間の専門家ラベルと照合して検証した。ただし、この検証は29件の評価の一部に適用されるものであり、含まれるすべてのプロンプトに必ずしも当てはまるわけではない。
Mercorは、対応付けられたプロンプト5件をカバレッジの基準と定めている。この閾値は、1つの例を十分な表現として扱うことを避けるが、複雑なタスクに関する証拠としては、5件でもなお限定的だ。
ある議論の参加者は、ソーシャルワークを例にこの問題を指摘した。13件のプロンプトがカウンセリング業務を技術的にはカバーしていても、すべての顧客、法的制約、感情的な力学、有害な結果を表現することはできない。
90%という推定には、さらに別の段階が必要になる。O*NETはタスクの重要度と頻度を記録しているが、すべての労働者の時間が各タスクにどのように割り振られているかを完全に直接示しているわけではない。
そこでMercorは、言語モデルを用いてタスク単位の労働時間シェアを推定する研究を利用している。これらのシェアを雇用データと賃金データに組み合わせ、米国の労働時間がどのように分布しているかを近似している。
職業の賃金総額は、推定雇用者数と平均賃金から計算される。これらの総額を労働指標へ換算する際、モデルは週40時間労働を仮定している。
これは一貫した経済マップを生むが、直接的な全国時間使用調査ではない。最終的な割合は、タスク定義、推定時間シェア、ベンチマークの選定、プロンプトの対応付け、5プロンプトのルールに依存する。
Mercorはいくつかの制約を認めている。リストは不完全であり、欠けているベンチマークがあれば見かけ上のカバレッジは低下する。また、ソフトウェアエンジニアリングがコレクションを支配することを防ぐため、研究が集中している職業群からの表現数に上限を設けた。
この決定は、人気のあるカテゴリーで測定される深さを下げる一方、幅を改善する。飽和しているベンチマークを除外すると、モデルがすでに高い性能を示しているタスクも見えなくなり得る。
それらのベンチマークを含めると、別の問題が生じる。簡単すぎる、あるいは非現実的な評価が、実運用に関する有用な証拠を示さないまま、見かけ上の経済的カバレッジを膨らませる可能性がある。
選定基準にも判断が入る。「経済的リアリズム」は客観的に聞こえるが、研究者はなお、プロンプトが企業内で行われる仕事に似ているかどうかを決めなければならない。
したがって、90%という数字は明示的な方法論から生み出された推定として扱うべきだ。これは国勢調査の結果ではなく、経済の固定的な性質でもない。
それでも、この不確実性によってプロジェクトが無意味になるわけではない。大幅な改訂があったとしても、評価の全体像は依然として偏ったままだろう。カバレッジが10%から15%や20%へ上がっても、経済全体を見渡せるようになるわけではない。
擁護可能な結論は、より限定的だが重要である。既存のエージェント型ベンチマークは、米国の労働時間の大部分について確信をもって判断する根拠を提供していない。
この結論は、読者がリーダーボードのスコア向上をどう解釈するかを変えるべきだ。スコアの上昇は、テスト対象の領域での進歩を示すことはできても、他の何千ものタスクが未検証のままであることは変わらない。
より現実的なベンチマークでも、仕事全体は捉えきれない
新しい評価はより現実に近づいているが、選ばれた職種の中での現実性は、経済を代表するカバレッジと同義ではない。
ベンチマークの分野はすでに、雑学的な質問や学術試験を超えて進んでいる。新しいテストでは、モデルにレポート作成、ソフトウェア操作、専門資料の分析、複数段階の課題の完了を求める。
OpenAIのGDPval evaluationは、この変化をよく示している。9業界44職種を対象とし、専門家の成果物と比較して評価される作業成果の作成をモデルに求める。
GDPvalの全コレクションには1,320件のタスクが含まれる。OpenAIは、主要な賃金規模に結び付く知識労働を重視し、経済的に重要な分野から職種を選定した。
このアプローチは、孤立した推論問題を測定するよりも経済的な関連性が高い。一方で、Mercorが指摘した集中も共有している。最初のバージョンは、価値が高くデジタルで表現しやすい仕事を優先している。
ソフトウェアテストも、より限定された水準で同じパターンを示す。エージェントがリポジトリ内の問題を修正できるかは測定できるが、その結果は現役エンジニアのあらゆる責務を捉えるものではない。
エンジニアは曖昧なインシデントを調査し、技術的負債を調整し、変更をレビューし、同僚を支援し、不完全な情報の下で意思決定する。その仕事の多くは、蓄積された組織的な文脈に依存する。
METRのtime-horizon researchは、別の有用な尺度を加えている。これは、エージェントが一定の成功確率で達成できるタスクの所要時間を推定するものだ。
METRも、これらの結果を通常の雇用における労働時間と同等に解釈すべきではないと警告している。評価タスクには通常、着手に必要な情報が含まれる一方、従業員は過去の会話や暗黙知を活用する。
この違いこそ、Mercorの議論の中心にある。ベンチマークは、研究者が採点できるように仕事を切り分ける。現実の組織では、仕事は人、システム、履歴、変化する優先順位をまたいで統合される。
モデルは、明確に定義された課題を完了できても、要件が暗黙的なままでは失敗する可能性がある。もっともらしいスプレッドシートを生成できても、熟練アナリストしか知らない事業ルールを見落とすことがある。
導入には、ベンチマークのスコアがしばしば除外するコストも伴う。従業員は入力を準備し、システムアクセスを付与し、出力をレビューし、失敗に対処し、説明責任を文書化し、人間へのエスカレーションが必要な場面を判断しなければならない。
モデルの出力は、下流の業務も変えうる。コード生成が速くなれば、レビューやテストに届く量が増える。コンテンツ生成が速くなれば、ファクトチェックや承認を要する素材が増える。
これが、測定された改善が組織の生産性に必ずしも直接結び付かない理由の一つだ。一段階を自動化すると、注意は残された最も遅い制約へ移る。
物理的なタスクは、この隔たりをさらに広げる。remote-work estimateの研究は、米国の仕事の37%が完全に在宅で実施可能だと結論付けた。残りの仕事には、従来の言語モデルのベンチマークでは再現が難しい物理的要素が含まれる。
ロボティクスは、いずれこうした活動を評価しやすくするかもしれない。しかし、物理的な仕事のベンチマークには、知覚、操作、安全性、環境の変動、予期せぬ状況からの復旧を表現する必要がある。
シミュレーションでの成功が、病院、工場、厨房、あるいは公道における安全な性能を自動的に証明するわけではない。失敗のコストも、デジタルのサンドボックスで誤答する場合とは大きく異なりうる。
したがって、今後の道筋はプロンプトを増やすだけではない。ベンチマーク設計者には、より豊かな環境、より長いワークフロー、人間との協働を測る指標、タスク性能と経済的価値を結ぶより明確な関連が必要だ。
この地図が雇用主と労働者にもたらす変化
この地図は、自動化に関する確信に満ちた予測を弱める一方、より限定的でワークフロー固有の評価の必要性を強める。
雇用主は、最先端モデルの総合リーダーボード順位から始めるべきではない。有用な問いは、そのモデルが現実的な条件下で組織の実際のタスクを遂行できるかどうかである。
その評価は、ワークフローの分解から始まる。チームは、入力、ツール、依存関係、承認要件、よくある例外、不正確な結果がもたらす影響を特定する必要がある。
例えば保険金請求の処理担当者は、ベンチマークの入力に似た文書をレビューすることがある。だが実際のワークフローには、不足記録、保険契約の差異、規制上の期限、不正の兆候、顧客とのコミュニケーション、エスカレーションも含まれる。
一つの整ったタスクでの性能は、その連鎖全体にわたるシステムの信頼性をほとんど示さない。雇用主は、特にエラーが高コストまたは不可逆になる箇所において、重要な移行をすべてテストしなければならない。
Mercorのデータは、職種を分割不能な単位として扱うことへの反論にもなる。AIの導入は通常、完全な仕事をなくす前に、タスクの構成を変える。
ある労働者は初稿の作成に費やす時間を減らし、証拠の検証により多くの時間を使うかもしれない。別の役割は、顧客対応、例外処理、自動化システム間の調整へと移行する可能性がある。
この再配分は、それでも雇用に影響しうる。一人がより多くの仕事を完了できるようになれば、組織は採用を減らしたり、人員を再配置したりするかもしれない。ただし、その影響は需要、プロセス上の制約、監督コストに左右される。
労働者も、キャリアリスクに同じタスク単位の考え方を適用すべきだ。ベンチマークでのカバレッジが厚い職業が、直ちに消滅するわけではない。ただし、ベンダーが関連能力を測定・改善できるため、実験はより速く進む。
ソフトウェア開発者、金融アナリスト、弁護士は、この高度に観測された領域に位置している。彼らの仕事はデジタル成果物を生み、ベンチマーク投資を引き付け、迅速な反復を支えるフィードバックを提供する。
カバーの薄い職業が永続的に守られるわけでもない。単に当面の不確実性が大きいだけだ。ベンチマークの不足は、どちらの方向についても強い結論を妨げる。
この地図は、低カバレッジに対する一般的な解釈にも異議を唱える。テストがないことは、そのタスクが人間にしかできないことの証明ではない。そのタスクを仕様化、採点、デジタル化、あるいは資金調達することが難しいことを示している場合がある。
こうした障害は、商業的にも重要である。信頼できる形で評価できない能力は、購入、統治、保険、そして大規模導入が難しい。
企業の購買担当者にとって、最善の対応は社内の事例を用いた統制された評価である。チームはモデル出力を現在の業務と比較し、レビュー時間を測定し、失敗の種類を記録し、改善がプロセス全体を通じて維持されるか追跡すべきだ。
また、拡張と自律性を分けてテストすべきである。専門家がより早く作業を終える助けとなるモデルは、ワークフローを単独で担えなくても価値をもたらしうる。
反対に、ベンチマークで単独では高い性能を示すモデルが、企業内ではほとんど価値を加えないこともある。従業員が節約できる時間よりも、プロンプトの準備、出力の確認、統合失敗の修復に多くの時間を費やすかもしれない。
政策立案者にとって、Mercorの地図はエビデンスの問題を浮き彫りにする。規制、研修投資、労働力予測には、幅広いモデル知能に関する主張以上のものが必要だ。
公的機関には、代表的な職種を横断する透明な評価が必要である。そのテストには、物理労働、対人サービス、低賃金の役割、洗練された出力より説明責任が重要なタスクを含めるべきだ。
したがって、この地図が最も有用に伝えるのは、安心でも警鐘でもない。制度が不可逆的な決定を下す前に、より良い測定を求める声である。
死角が埋まりつつあるかを示す三つのシグナル
AI労働研究の次の段階は、カバレッジの広さ、導入のエビデンス、完全なワークフローに対する信頼できるテストによって評価される。
第一のシグナルは、Mercor自身の地図の拡張である。同社は現在の29ベンチマークの指標を出発点として説明し、研究者に追加評価の提出を呼び掛けている。
新たな追加が職業カバレッジを意味のある形で広げるかを注視すべきだ。別のコーディングスイートが加わっても、身近な領域のエビデンスを深めるだけで、経済全体における不確実性を減らさないかもしれない。
より強力な更新であれば、教育、医療支援、事務、熟練技能職、運輸、サービス業のための信頼できるベンチマークが追加される。また、異なるカバレッジ閾値の下で90%という推定値がどう変わるかも報告するだろう。
拡張されたコレクションでも数値が現在の水準近くにとどまるなら、測定の問題は構造的である。研究者は、人間の仕事の多くを反復可能で採点可能なエージェントのタスクへ変換することに苦労している可能性がある。
大幅な低下があれば、エビデンス基盤を改善しながら見出しの主張を弱めることになる。それは、初期の結果が持続的な評価障壁よりも、ベンチマークの選定を反映していたことを示す。
第二のシグナルは、独立した職場での検証である。モデル開発者とベンチマーク作成者は、選定された課題において専門家レベルの性能を達成したと主張することが増えている。
こうした主張は、導入後の成果と比較する必要がある。有用なエビデンスには、総完了時間、人間のレビュー工数、修正率、例外の頻度、下流の品質が含まれる。
重要な単位は、生成された成果物ではなく、完全なワークフローだ。AIが下書きを速く終えても、レビューと承認が長引くなら、組織は仕事をなくしたのではなく移動させただけである。
複数の組織で一貫した生産性向上が見られれば、テストされた能力が実運用に移転するという主張は強まる。厳しく統制されたパイロットに限られる結果なら、ベンチマークでの成功と経済的影響の間の隔たりは残る。
第三のシグナルは、純粋なデジタル知識労働以外での評価の進展である。言語モデルはツールを操作でき、ロボティクスシステムは計画を物理的行動へ結び付けられる。
意味のあるエビデンスには、多様な環境と透明な失敗報告が必要となる。ある準備された環境でロボットが成功しても、家庭、病院、倉庫、公共空間にわたる信頼できる性能を証明することにはならない。
研究者は人間との協働も測定すべきだ。短期的には大半のシステムが従業員とともに働くため、拡張の質は自律的な完了と同じくらい重要になる。
有用なベンチマークは、AIが単に答えを出せるかではなく、人がより良い判断を下す助けになるかをテストするものだ。そこには、文脈の検索、不確実性の伝達、修正、エスカレーションが含まれる。
これらのシグナルが重要なのは、Mercor AI benchmark coverage gapがモデルスコアの上昇だけで埋まることはないからだ。評価が経済のより多くを表現し、実際の職場での結果を予測できるようになったとき、その隔たりは縮まる。
次の自動化予測にどれほどの信頼を置くべきかを判断する読者は、三つの問いを投げかけるべきだ。どの職業タスクがテストされたのか、どの程度の人間の支援が必要だったのか、そして測定された改善は実導入でも維持されたのか。
これらの答えが当たり前になるまで、AIと雇用に関する広範な主張はエビデンスを先行し続けるだろう。地図の拡張を追い、ワークフロー水準の結果を求め、あらゆるリーダーボードを狭い窓からの眺めとして扱うべきだ。
