Sakana AI、再帰的自己改善で成果を報告するも、監督は依然として制約
Sakana AIは、集合知を通じた再帰的自己改善のトレーニングを2サイクル完了し、単一の共有モデルに依存しながらも研究性能が向上したと報告した。同社の新しいMulti-Agent Self-Supervision手法「MASS」は、連携するエージェントの作業を、その同一モデルの訓練データへと変換する。これは自律的な知能爆発ではない。AIチームが共有する基盤モデルに有用な学習を生み出せるかを検証する、統制された実験である。
中心的な対立は、このループ自体にある。MASSでは、1つのモデルがタスクを解決し、エージェントを編成し、その作業を評価し、選ばれた結果から学習する。この設計は、より強力な外部監督者への依存を抑える。一方で、1つの盲点があらゆる段階に影響を及ぼす可能性もある。
実験はQwen3.6-27Bから始まり、金融、ロボティクス、薬学にまたがるオープンエンドな研究タスクに焦点を当てた。2ラウンド後、得られたモデルはいくつかの関連研究ベンチマークで改善した。しかし、ソフトウェアエンジニアリングの2つのベンチマークでは性能がわずかに低下し、結果の重要な境界を示している。
この複合的な結果は、MASSを自己改善AIに関するより広範な主張から切り分ける。Sakana AIは、集合的な軌跡が、定義された研究環境内でモデルをより効率的に訓練できる証拠を示した。しかし、再帰的改善が無期限に続くこと、あらゆる領域に転移すること、あるいは独立した監督なしに安全性を維持できることは示していない。
MASSはチームワークを訓練シグナルへ変換する
重要な変化は、マルチエージェントの連携が回答の生成時点で終わらなくなったことだ。
多くのマルチエージェントシステムでは、推論時に複数のモデルインスタンスを使う。オーケストレーターがタスクを分割し、役割を割り当て、結果を集め、最終回答を組み立てる。追加の連携は回答の質を高めうるが、基盤モデルの重みは変化しない。
MASSは、その作業をポストトレーニングへと持ち込む。エージェントは、メッセージ、ツール呼び出し、中間成果物、結果を含む完全な軌跡を生成する。システムはそれらの軌跡を順位付けし、最も優れた例を選び、その内容で共有モデルをファインチューニングする。
研究者らはこれをマルチエージェント自己教師あり学習と呼ぶ。同じ言語モデルが、実行者、ワークフロー最適化器、評価者として機能する。実行の異なる部分は別々のモデルインスタンスが処理できるものの、各役割は同じ基盤重みを用いる。
この区別は重要だ。このシステムは、異なる知識や目的を持つ独立学習済みモデルを複数組み合わせるものではない。1つのモデルの複製に自己組織化させ、その選択された振る舞いを共通の重みへ蒸留し直す。
このプロセスには、接続された2つのループがある。内側のループはモデルの重みを固定したまま、より良いワークフローを探索する。外側のループは、選択されたワークフローが生成した軌跡でモデルを訓練する。
ワークフローとは、チームを編成するためのプロンプトベースの計画である。エージェントの役割、指示、必要な出力、通信の順序を指定する。MASSは、探索中にモデル自体を変更せず、この計画を改訂できる。
各訓練タスクについて、システムはチャンピオン・ワークフローを保持する。候補チームがタスクを実行し、モデルがそのワークスペースをチャンピオンの出力と比較する。その判断を基に最適化器がワークフローを改訂する。
優先ワークフローが見つかると、システムは各タスクに対してそのワークフローを18回実行する。モデルは得られたワークスペースをペアワイズ比較で順位付けする。Bradley-Terryモデルが、その選好を各ワークスペースのスコアへ変換する。
MASSはタスクごとに最大16本の軌跡を保持する。15本は訓練例として使え、1本は検証用に確保される。ファインチューニング前には、オーケストレーターの初期訓練プロンプトからワークフローのテキストが取り除かれる。
この削除には明確な目的がある。モデルがタスクそのものから、作業をどう組織すべきかを推論するよう促すためだ。研究者らは、固定されたチーム構造を繰り返すことだけを教えているわけではない。
外側のループでは、ファインチューニング中に限定されたモデルパラメータ群を更新する低ランク適応、すなわちLoRAを使う。オーケストレーターとサブエージェントの会話はいずれも訓練対象となる。更新済みモデルは次のサイクルで、実行者、最適化器、評価者として再び使われる。
この公開により、実験の中核を検証可能にしている。同時に、その範囲も異例なほど明確になる。MASSは選定タスクと統制されたモデル更新を中心に構築された研究パイプラインであり、継続的に自己を書き換える実運用システムではない。
集合知による再帰的自己改善は、ばらつきのある成果をもたらす
MASSの改善は、評価タスクが訓練データを生んだ研究作業に似ている領域で最も顕著に現れる。
実験は、コーディングエージェント環境内のQwen3.6-27Bから始まる。合成スイートには、金融、ロボティクス、薬学にわたる12の研究タスクが含まれる。各タスクでは、コード、定量分析、文書レポートが求められる。
9つのタスクが訓練用に指定されたが、最終的に訓練データを提供したのは8つだった。各領域から1つずつ、計3つのタスクは、ファインチューニング、検証、チェックポイント選択から除外された。
外部の評価者は、MASSの訓練ループに参加せずに進捗を測定した。Sakana AIによれば、GPT-5.5とClaude Opus 4.8が完成したワークスペースを比較した。その判断は、それ以外ではQwenモデルに導かれるプロセスに対する外部評価となった。
3つのホールドアウト合成タスクでは、第1ラウンドのモデルはベースモデルとの比較で53.9%を勝った。第2ラウンドのモデルは69.9%に達した。また、第1ラウンドのモデルとの比較でも60.8%を勝った。
訓練タスクの結果はさらに強かった。第1ラウンドのモデルはベースモデルに対して65.6%の勝率を記録し、第2ラウンドは82.5%に達した。訓練時とホールドアウト時の性能差は想定されるものだが、依然として重要である。
公開ベンチマークは、より広い検証を提供する。Sakana AIによると、第2ラウンドのモデルは出力トークン当たりのスコアで、ベースモデルの1.2〜1.6倍を達成した。この向上はMLR-Bench、DSBench、ScienceAgentBench、AstaBench E2E-Hardにまたがって確認された。
基礎となるスコアは、より詳細な状況を示す。MLR-Benchは、ベースモデルの1.71から2サイクル後には2.25へ上昇した。論文提出率は57%から76%に上がった。
ScienceAgentBenchは28.8%から31.7%へ改善した。AstaBenchは0.053から0.067へ上昇し、レポート提出率も50%から76%へ増加した。
DSBenchは0.473から0.482へと、ごくわずかに上昇した。この小さな絶対値の変化でも、効率計算が出力長も考慮するため、トークン当たりのスコア比はより強くなる。
ソフトウェアエンジニアリングの2つのベンチマークは後退した。Terminal-Bench 2.0は0.375から0.352へ低下した。SWE-bench Verifiedは0.626から0.611へ下がった。
トークン当たりのスコア比は、ベースモデルの結果に対してそれぞれ0.96倍、0.94倍となった。これらの低下は、MASSが全般的により強いモデルを生み出したという主張に直接疑問を投げかける。
もっともらしい説明は、タスクの整合性である。訓練スイートは、コード、証拠、レポートを伴うオープンエンドな研究に重点を置く。リポジトリのデバッグやターミナル操作に似たソフトウェアエンジニアリングタスクは含まれていない。
Sakana AIは、ソフトウェアエンジニアリングタスクを加えることでこの隔たりに対処できる可能性を示唆する。ただし、別のサイクルで検証されるまでは仮説にとどまる。タスク構成を広げることで、能力を一様に向上させるのではなく、能力間の干渉を生む可能性もある。
公開ベンチマークの設計には、もう1つの留保がある。MASSは効率を出力トークン当たりのスコアとして報告しており、生産的な推論を評価するには有用だ。しかし、こうした改善された出力を生み出すために必要なすべてのコストを含んでいるわけではない。
ワークフロー探索、繰り返し実行、モデル比較、データ生成、評価はいずれも計算資源を消費する。報告された教師ありトークン総数も、入力トークンと複数の上流コストを除外している。
結果には意義があるが、単純な効率性の見出しが示すより範囲は狭い。MASSはより密度の高い訓練例を生み出しているように見える。総開発コストを削減するかどうかには、探索・選択パイプラインの完全な会計が必要である。
真のメカニズムはエージェントの役柄ではなく、情報の流れにある
MASSの成果は、多くのエージェントに演出的な肩書きを与えたことではなく、情報交換を再構成したことによるものとみられる。
マルチエージェントシステムは、研究者、批評家、エンジニア、編集者といった役割から始まることが多い。これらのラベルは作業の分担に役立つが、一般的なままにとどまることもある。「慎重な分析者」という役割名は、タスク固有の情報をほとんど持たない。
MASSは、役割、指示、契約、ホップという4つのワークフロー要素を探索する。契約は、エージェントが返すべき証拠や成果物を定義する。ホップは、エージェント間、あるいは以前の段階へ情報がいつ移動するかを指定する。
ある金融ワークフローでは、別々のエージェントがデータ準備、特徴量構築、モデリング、バックテスト、監査、照合、報告を担当する。データ担当エージェントは、将来の情報が過去の意思決定に漏洩していないかを報告しなければならない。
この契約は、具体的な失敗モードに対応する。金融バックテストでは、モデルが誤って将来のデータを使うと、成功したように見えることがある。明示的なチェックを求めることで、後続のエージェントは結果を受け入れる前に検査できる証拠を得られる。
Sakana AIは、探索中にワークフロー要素がどう変化したかを分析した。その結果、タスク情報は次第に契約と通信順序に集中していった一方、役割と一般的な指示が担う情報は時間とともに少なくなったという。
この分析のサンプルは小さく、比較により8または9タスクを対象としている。その相互情報量の推定は、実行中に交換されるすべてのメッセージではなく、ワークフローのテキストを記述したものだ。したがって、このパターンは研究上の手掛かりとして扱うべきである。
こうした制約があっても、Sakana AI MASSを理解するうえで有用な説明を提供する。このシステムは、各エージェントが何を確立すべきか、何を次に渡すべきか、別のエージェントがいつそれを検査すべきかを発見することで改善する。
以前のmultiagent debate研究は、モデルインスタンスが回答と批評を交換することで推論を改善できることを示した。MASSはその考え方を、一時的な推論時の振る舞いから教師あり訓練へと拡張する。
この手法は、2種類の異なる振る舞いも訓練する。オーケストレーターの軌跡は、広範な作業をどう分解し、専門家をどう連携させるかを示す。サブエージェントの軌跡は、明確な出力要件を備えた限定的な割り当てをどう完了するかを示す。
この組み合わせは、長い単一エージェントのトレースで訓練するよりも密度が高いように見える。Sakana AIの比較では、あるマルチエージェントの学生モデルは、2,880万の教師ありトークンを処理した後に68.3%の勝率に達した。
最大の単一エージェント学生モデルは、4,200万トークンを処理した後に64%へ達した。この指標では、マルチエージェントモデルは31%少ない教師ありトークンでより高い結果を達成した。
この比較は、委任が唯一の原因であることを切り分けてはいない。各グループは異なるワークフローと検証指示を使った。チームによる実行では、訓練例が選択される前に平均して約2.4倍のトークンも生成された。
外部の審査員は、比較の85.1％で単一エージェントの出力よりマルチエージェントの成果を好んだ。トレース長が近い10組の比較でも、チーム出力は80％で勝った。
これらの結果は、チーム構造と並んで選択の質が重要であることを示唆している。MASSはすべてのエージェント間のやり取りから学習するわけではない。多数の候補を生成し、モデルにそれらを順位付けさせ、選好された一部を使って学習する。
この仕組みは、高コストな集合的作業を凝縮された学びへと変換するフィルターに似ている。追加の探索・評価コストと引き換えに、より優れた教師あり学習の例を得る。
このトレードオフは開発者にとって実務的な意味を持つ。有用なAIチームには、同じプロンプトのコピーを複数用意する以上のものが必要だ。タスクに結び付いた明確な証拠の契約、レビュー段階、情報ルーティングのルールが求められる。
人間がAI支援のリサーチを調整する場合にも、同じ原則が当てはまる。検索可能なナレッジベースが役立つのは、参加者が他者による検証可能な形で証拠、文脈、意思決定を残す場合に限られる。
MASSは、その組織設計の一部を自動化する。より深い主張は、調整そのものが学習された能力になり得るという点にある。モデルは一時的なチームを通じてより良い仕事をするだけではない。チームの成功した行動からパターンを吸収する。
一つのモデルが依然として自分の宿題を採点している
マルチエージェント自己教師あり学習の決定的な強みは、同時に最大の未解決リスクでもある。
MASSは、タスク解決者、ワークフロー最適化器、ループ内評価器として、一つの共有モデルを用いる。この均質な設計は、モデルが恒久的により強い教師に依存せず改善できるかを検証するものだ。
同時に、相関した失敗も生み出す。モデルがタスクを誤解した場合、各エージェントがその誤解を再現する可能性がある。そして評価器は、実行器が生み出した同じ誤りを報酬の対象にしてしまうかもしれない。
反復サイクルはリスクを高める。欠陥のある軌跡が優れたものとして受け入れられ、学習用に選ばれ、次世代モデルに組み込まれる可能性がある。更新後の評価器は、その共有された誤りにさらに強い確信を持つかもしれない。
Sakana AIは、共有された盲点を中心的な安全上の問題として率直に指摘している。プロジェクト概要では、能力が高まるにつれて自己評価が修正に開かれ続けなければならないと主張している。
外部審査員はこの実験の測定を助けるが、デプロイメント上の問題を解決するわけではない。GPT-5.5とClaude Opus 4.8は学習シグナルの外部に留まった。したがって、その利用可能性は、真に自律したループには欠けうる検証手段を提供した。
MASSは、こうした外部審査員との一致率が3世代のモデルを通じて73％から93％へ上昇したと報告している。これは、内部評価器がこれらのタスクにおいて、より強力な審査員との整合性を高めた証拠である。
一致は正しさと同義ではない。二つの評価器が仮定を共有したり、洗練されているが欠陥のある報告書に報酬を与えたり、現実世界の実験を要する誤りを見逃したりすることはあり得る。オープンエンドなリサーチでは、この区別が特に重要になる。
ベンチマーク群も、再帰的自己改善が示唆する範囲と比べればコンパクトだ。事後学習から除外された合成タスクはわずか3件だった。完全な2サイクルは反復の証拠にはなるが、無期限の再帰的進歩を示すものではない。
コミュニティの懐疑論はこの隔たりに焦点を当てている。一部のHacker Newsコメント投稿者は、この研究は無制限の再帰的自己改善というより、エージェント協調の改善に近いと主張した。見かけ上再帰的なプロセスが、なぜ2ラウンドで止まったのかを疑問視する声もあった。
この批判は、実在する命名上の問題を指摘している。厳密な再帰的自己改善はしばしば、自身の後継者を生み出す仕組みを自律的に変更するシステムを意味する。対してMASSは、固定された実験パイプライン内で、人間が設計したワークフロー探索と教師ありファインチューニングを交互に行う。
モデルはワークフロー、学習データ、評価判断に影響を与える。人間は依然として、アーキテクチャ、タスク群、最適化手法、ベンチマーク手順、サイクル境界を定義している。計算インフラも人間が提供している。
更新された各モデルが次のモデルの学習データ生成と選択を支援するため、MASSを再帰的と呼ぶことには妥当性がある。一方で、これをオープンエンドな自己改善と呼ぶなら、実験が実証している範囲を超えることになる。
最適化器の品質も別の制約となる。Sakana AIは、ベースとなるQwenモデルを実行器に維持しつつ、GPT-5.5をワークフロー探索ループに組み込む構成を試験した。
GPT-5.5を評価器としてのみ用いた場合、改善は限定的だった。評価器と最適化器の両方として用いた場合、5回の探索反復以内に12タスクすべてで勝つワークフローを発見した。
完全に均質なループは最終的に12タスク中11タスクで勝つワークフローを見つけたが、最大13回の反復を要した。Sakana AIはこれを、最適化器が評価器以上に大きなボトルネックになり得る証拠と解釈している。
最適化器が批評をより良いプロセスに変換できなければ、優れた批評も役に立たない。この結果は、採点精度から、複雑なワークフローを改訂するモデルの能力へと注目を移す。
探索の安定性は依然として弱い。Sakana AIのワークフロー結果は変動しており、強力な反復の後に急激な後退が見られる。優れたワークフローに到達しても、次の改訂でそれが維持される保証はない。
これらの限界は、結果の興味深さを損なうものではなく、むしろ高めている。MASSは、均質な改善ループが観測下でどこで失敗するかを明らかにする。転移、審査員の一致、最適化器の強さ、ワークフローの不安定性を測定する手段を提供する。
集合知は監督の問題を解消しない
同一モデルからなるチームは探索の幅を広げられるが、独立した判断を保証することはできない。
集合知は通常、参加者間の違いから強さを得る。人間のチームは、異なる経験、インセンティブ、専門知識、組織上の役割を持ち込む。こうした違いは、一人では見逃す誤りを露呈させられる。
MASSは、一つの共有モデルの複数インスタンスを用いる。ランダムサンプリングと専門化された割り当ては行動上の変動を生むが、すべてのエージェントは同じ重みと、学習履歴の大部分を共有している。
このアーキテクチャでも有用な多様性は生み出せる。個別のエージェントが異なるアプローチを探索し、異なる中間証拠を扱い、互いを批評する。しかし、彼らの不一致は真の独立性を証明するものではない。
検証不可能なタスクでは問題がより先鋭化する。Sakana AIはこの用語を、自動的なルールベースの成功シグナルがない作業に用いている。リサーチレポートは一貫性があり十分に裏付けられていても、気付かれていない概念上の誤りを含む可能性がある。
モデル評価器は、自らのスタイルや推論習慣に合う出力を好む可能性がある。そうした選択に基づく学習は、現実との接点を強化することなく、評価器の選好を強めるおそれがある。
これは、より広範なスケーラブル監督の問題である。エージェントが人間には評価が難しい作業を担うようになると、開発者はより強力なシステムを監視するために、より弱い監督者を必要とする。より高性能なモデル審査員は役立つが、評価の権限を人間からさらに遠ざけることにもなる。
OpenAIの監視可能性に関する研究は、推論トレースが、行動と最終回答だけよりもエージェントの振る舞いを多く明らかにし得ると示している。また、監視可能性は不完全であり、エージェントと監視者の双方に依存すると説明している。
これはMASSにとって重要だ。なぜなら、その学習例には豊富な軌跡が含まれているからである。メッセージ、ツール呼び出し、中間成果物は、より多くの検査機会を生む。同時に、微妙な誤りが潜む表面積も広げる。
可視化された推論を直接最適化することは、別の危険を招く可能性がある。モデルは、失敗を生み出した行動を変えずに、どの説明が承認を得るかを学習するかもしれない。そうなると監督は、信頼できる作業ではなく、読みやすい合理化に報酬を与えることになる。
Sakana AIはこの問題を解決したとは主張していない。同社の論文は、同じ弱点がモデルの振る舞いと、それを修正するための仕組みの両方を損ない得ると警告している。
したがって、独立した検証は依然として必要だ。これには外部モデル、人間の専門家、実行可能なテスト、信頼できるデータパイプライン、敵対的評価、時間を置いた現実世界での検証が含まれる。
単一の検証手段ですべての失敗をカバーすることはできない。コードは誤った目的を実装したままでも実行できる。レポートは実在する証拠を引用しながら、矛盾する結果を省くことができる。複数のモデルが、学習上のバイアスを共有しているために一致することもある。
MASSの短期的に最も強力な用途は、検証可能な中間段階を持つ、範囲の限定されたリサーチかもしれない。金融パイプラインでは時系列データ分割をテストできる。ロボティクス実験ではシミュレーション出力を確認できる。薬学分析では、データと計算の契約を強制できる。
最終目的が主観的になるほど、自己判断を唯一のシグナルとする有効性は弱まる。戦略、科学的な新規性、政策助言、安全性分析はいずれも、モデルの合意では解決できない価値判断や証拠に依存する。
Anthropicによる再帰的自己改善の議論も、将来のAI開発において監督、検証、妥当性確認を中心に据えている。技術的アプローチが異なっていても、共通する圧力は明白だ。
AIの改善に必要な作業のより大きな部分をAIが担うなら、監督を後回しにすることはできない。評価システムは能力システムと並行して進化しなければならない。MASSは、その競争を研究するための有用なテストベッドを提供する。
次の三つのシグナルがMASSが実際に証明するものを決める
次の段階では、最も強い見出しの結果を繰り返すのではなく、継続期間、転移、修正を検証しなければならない。
最初のシグナルは、改善が追加サイクルを経ても持続するかどうかだ。2ラウンドは再帰性を示すが、集合知による持続的な再帰的自己改善を証明するものではない。
3回目と4回目のサイクルでは、改善が継続するのか、頭打ちになるのか、反転するのかを測定すべきだ。研究者は、モデルの改善に伴いワークフロー探索コストがどう変化するかも報告すべきである。
安定した外部評価を伴う継続的な改善は、再帰的という主張を強める。停滞は、モデルがタスク分布内で利用可能な学びを使い尽くしたことを示唆する。後退は、蓄積した審査員誤差や学習干渉を明らかにする可能性がある。
二つ目のシグナルは、元のリサーチ群から除外された領域への転移である。Terminal-Bench 2.0とSWE-bench Verifiedでの低下は、厳しいベースラインとなる。
ソフトウェアエンジニアリングのタスクを追加した場合、この手法が転移可能な協調を学習しているなら、それらのベンチマークは改善するはずだ。直接的な領域特化学習の後にしか改善が現れないなら、MASSは効率的な専門化手法に近いものとなる。
それでも価値はある。ただし、その主張は広範な自己改善から、タスク条件付きの事後学習の改善へと限定される。
説得力のある転移テストでは、金融、ロボティクス、薬学における性能も維持すべきだ。そうでなければ、新たな能力は積み重なるのではなく、古い能力を置き換えている可能性がある。
三つ目のシグナルは、システムが共有された盲点を検出し、修正できるかどうかである。研究者は、隠れた評価トラップ、矛盾する証拠、洗練された合意が誤った結論につながるタスクを導入できる。
成功には、外部審査員が失敗を見つけるだけでは不十分だ。均質なループ自体が問題を特定し、ワークフローを改訂し、欠陥のある軌跡を学習に用いないようにしなければならない。
このテストは、能力に関する主張と制御を結び付ける。すべてのエージェントが似た仮定から出発する場合でも、集合知が修正圧力を生み出せるかを示すことになる。
Sakana AI MASSを評価する組織は、これを一般的なレシピとして扱う前に、これらのシグナルへ注目すべきだ。現時点の結果は、証拠を重視し範囲を限定したリサーチワークフローでの実験を支持している。重要な意思決定から人間によるレビューを取り除くことを支持するものではない。
より大きな教訓は、すでに明らかになっている。より優れたエージェントチームは、より質の高い学習データを生成でき、その知見はモデルの重みに反映されうる。しかし、あらゆる改善は、そのチームが何を成功と見なすかに左右される。
集合知による再帰的な自己改善が信頼に足るものとなるのは、そのループが自らの共有された誤りを認識できる場合に限られる。このようなシステムが次の学習サイクルで使用する証拠を選択する前に、貴組織ではどのような独立した検証を求めるだろうか。
