Meta Superintelligence Labs、Llamaを放棄し、より厳格な管理へ

Meta Superintelligence LabsはオープンなLlamaラインを廃止した。この動きはコミュニティアクセスよりも内部管理を優先するものだ。

この決定は数ヶ月にわたる社内議論の末に下された。リーダーシップは、オープンリリースが長期目標に合致しないと結論づけた。今後は、将来のモデルをより厳格なゲートで管理する方針だ。

この変更はMetaの長年のポリシーを覆すものだ。オープンウェイトはこれまでAIに関する同社の公的立場を象徴していた。今回の方向転換は、Llamaのコードやウェイトに依存してきたすべてのチームに圧力をかける。

Meta Superintelligence Labsは現在、モデルアクセスを共有リソースではなく戦略的資産として扱っている。

同ラボは、安全性と競争上の位置づけがこの選択を後押ししたと述べている。外部パートナーへの通知は限定的で、多くの企業が以前のLlamaリリースを基に製品を構築していた。

MetaのオープンソースAI戦略の背景

数年にわたりMetaは、オープンウェイトの大規模言語モデルの主要な提唱者として位置づけられてきた。2023年の初代Llamaリリースと、Llama 2、Llama 3に至る後続バージョンは、広範な実験を促した。研究者たちはチェックポイントをダウンロードし、アーキテクチャを修正して、公開リポジトリにファインチューニング版を公開した。スタートアップは許可を求めることなく、これらのウェイトを基に推論サービスやドメイン特化型アプリケーションを構築した。このアプローチにより、Metaのモデルを直接参照するツール、ベンチマーク、学術論文の大規模なエコシステムが生まれた。

Llama 1は一定の閾値を超える商用利用を制限する異例のライセンスで開始されたが、モデルウェイト自体は大学クラスタやホビーユーザーのハードウェアに急速に広がった。Llama 2はほとんどの商用制限を撤廃し、対話向けにチューニングされたバリエーションを導入したことで、多言語チャットボットからIDEに統合されたコード補完プラグインに至る数千のダウンストリームプロジェクトを生み出した。Llama 3はパラメータ数と学習データをさらに拡大し、OpenAIやGoogleのクローズドモデルとのギャップを埋める競争力のあるベンチマークスコアを達成した。各リリースは定番のパターンに従った。ブログ投稿、Hugging Faceでのダウンロード可能なチェックポイント、そして学習計算量とデータ構成を詳述した技術レポートが付随した。

The Vergeによる報道によれば、この戦略は採用と広報の目的も果たしていた。優秀な人材はしばしば、成果を公開し外部と協力できる環境を好む。Metaのオープンリリースは数千の引用とGitHubスターを生み、完全にクローズドなラボに対するアクセスしやすい代替手段としての評判を強化した。しかし時間の経過とともに、社内評価でデメリットの増大が指摘されるようになった。競合インテリジェンスチームは、リリース後数週間以内にモデルウェイトが予期せぬ手に渡る事例を記録した。安全性レビューでは、悪意ある行為者がアライメント層を剥がして有害な用途に再学習する速度が、完全なウェイトが公開されている場合に加速することが指摘された。2024年の社内メモでは、Llama 2の派生版がプロンプトインジェクションツールとともにダークウェブのフォーラムに登場した事例が少なくとも3件確認されている。

エコシステムの成長を示す具体例として、Hugging Faceプラットフォームでは、Llama 3のコミュニティによるファインチューニングが最初の6ヶ月で40,000を超えるユニークモデルに達した。これらの派生モデルは、法的文書分析、バイオメディカルエンティティ認識、低リソース言語翻訳などの専門分野をカバーした。学術グループは同じチェックポイントを活用してスケーリング則に関するアブレーション研究を実施し、他の組織におけるその後のアーキテクチャ選択に直接影響を与える論文を発表した。このフィードバックループにより、Metaはクローズドラボでは同等の速度や広範さで再現できない無料の外部評価シグナルを得ることができた。

ピアラボとの比較が示す方向転換の規模

OpenAIはGPT-2での部分的なオープン性からGPT-3以降は完全にクローズドな姿勢へ移行し、現在Metaが挙げているのと同様の悪用懸念を理由とした。Google DeepMindはハイブリッドな立場を維持し、一部の小規模モデルをオープンライセンスでリリースする一方、Geminiのウェイトは厳格に内部管理している。Anthropicは安全性研究者向けに限定リリースプログラムを試みているが、フロンティアのClaudeモデルについては完全なウェイトを公開したことはない。

Metaの以前の立場は、スケールと本物のアクセシビリティを組み合わせていた点で際立っていた。Llama 3 70Bは、修正を許可するライセンスの下でニアフロンティア性能を提供したため、多くの非営利団体や学術ラボの事実上のベースとなった。今回の急激なポリシー変更は、商業的なダウンストリームユーザーだけでなく、Metaを大規模で修正可能なチェックポイントの主要な供給源としていた広範な研究コミュニティにも影響を及ぼす。一方、Stability AIやMistralは小規模ながらオープンウェイトを公開し続けており、真に大規模なモデルはクローズドであるか、Metaの場合のように新たにクローズドになるという階層化された状況を生み出している。

この区別はワークフローの継続性にとって重要だ。以前はLlama 3を複数機関によるベンチマークの共有ベースラインとして使用していた学術グループは、より小さなオープンなチェックポイントを受け入れるか、制限付きのAPIクレジットを交渉するかを決めなければならない。この状況は比較研究を断片化し、結果の再現コストを押し上げる。同時にOpenAIのようなクローズドラボは、研究者向けの選択的アクセスプログラムでも有用な外部検証が得られることを示しているが、完全に公開されたリリースに比べるとスループットは低い。Metaの動きは、独立したチームが企業による監督なしにフロンティア規模で活動することを可能にしていた中間領域を圧縮するものだ。

オープンリリースからの移行が即時的な圧力を生む

Llamaのウェイトをダウンロードしてファインチューニングしていたチームは突然の制限に直面している。彼らはもはや旧バージョンのアップデートや公式サポートを期待できない。一部のプロジェクトは数週間以内にコアコンポーネントを書き換える必要がある。移行計画にはMistralやStability AIの代替オープン<|eos|>

サプライチェーンリスク評価が強化されている。企業は現在、AIモデルの出所を、以前はソフトウェアライブラリにのみ適用されていたのと同じ厳格さで扱っている。調達チームは、Metaがさらにポリシーを厳格化した場合でも継続的なアクセスウィンドウを保証する契約文言を作成している。学術コンソーシアムは、後継モデルを共同で訓練するためのプールコンピュートアレンジメントを模索しており、単一の企業プロバイダーへの依存を減らしている。

クローズドアプローチの限界とリスク

批評家は、管理が安全性の成果を向上させるかどうかを疑問視している。一部の研究者は、クローズドシステムでも依然として高性能なモデルが生み出され、漏洩や従業員の離職を通じて拡散していると指摘する。彼らは、本当の安全性の向上はわずかである一方、透明性の喪失は永続的であると主張する。Metaは自らの主張を裏付ける内部の悪用データを公表していない。

同ラボは、研究者からの研究アクセス要求への対応方法を詳述していない。過去のオープンリリースでは独立した監査が可能だった。新たな体制では、それらの監査がすでにモデルを保有するMetaチーム内に集中する。この不確実性により、外部グループは具体的なアクセスプログラムを待たされている。それらがなければ、安全性に関する主張は証拠ではなく信頼に依存することになる。追加のリスクとして、出版の自由を重視する研究者がオープンサイエンスを依然として支援するラボへ流出する人材流出が挙げられる。外部からの貢献が減少すれば、以前コミュニティ主導の改善から恩恵を受けていた能力向上も遅れる可能性がある。

AIエコシステムへの経済的影響

このポリシー変更は、測定可能な経済的影響をもたらす。以前のLlamaリリースは、ベースモデルのライセンス料を不要にすることでスタートアップの参入障壁を下げ、後の有料クラウドクレジットや買収ターゲットへの転換を可能にする迅速なプロトタイピングを促進した。排他的なAPIアクセスが必須となった現在、同じスタートアップは利用量に応じて増加する継続的な推論コストに直面している。ベンチャー企業による初期の財務モデリングでは、顧客向け機能にLlama 3 70Bを標準化していたチームで、年間運用費が平均35%増加すると推定されている。一方、Mistralなどの代替オープンウェイトモデルを提供する企業は、発表以降ダウンロードトラフィックとパートナーシップ問い合わせが3倍に急増したと報告している。この需要の再分配は、小規模なオープンウェイトベンダー間の統合を加速させ、価値がより少数の手に集中する可能性がある。

規制および地政学的影響

AIの拡散を監視する各国政府は、Metaのより厳格な管理が拡散リスクを低減するのか、それとも単に方向を変えるだけなのかを評価している。欧州の規制当局は、すでに新アクセス体制がEU AI Actの高リスクシステムに対する透明性義務とどのように交差するかのブリーフィングを要請している。並行して、国家安全保障機関は、クローズド開発が知識を単一の企業境界内に集中させるため、輸出管理の執行を簡素化する可能性がある一方、その境界が侵害された場合の単一障害点にもなり得ると指摘している。一部のアナリストは、この動きがフロンティアラボに対しリリース戦略に関わらず最低限の外部監査チャネルを維持することを求める新たな多国間合意を促す可能性を示唆している。

次に注目すべき点

次回のMetaモデルリリース時期に注目。クローズドでのデビューとなれば、恒久的な移行が確定する。遅延または部分的なアクセスとなれば、内部の摩擦を示すことになる。第二に、Llama論文の学術引用率を監視する。急激な低下は、将来の人材パイプラインを牽引する研究者の間でのマインドシェア喪失を示す。第三に、エンタープライズ顧客との契約発表を追跡する。大規模な取引はクローズド戦略が収益を確保することを示唆する一方、小規模な開発者の関心の低下はコミュニティへのコストを示す。

Meta Superintelligence Labsは now、統制のメリットと、かつて主導したオープンエコシステムからの孤立というデメリットの両方を所有している。今後数四半期で、このトレードオフが失われた外部貢献を相殺できるほど強力なモデルを生み出すかどうかが明らかになる。

FAQ

MetaがオープンなLlamaリリースを終了したきっかけは？

リーダーシップは、安全性リスク、競合他社への漏洩、排他的アクセスを求めるエンタープライズパートナーからの圧力を挙げた。

既存のLlama 3ウェイトは引き続き利用可能か？

はい。ただし、今後のアップデート、公式サポート、新規公開チェックポイントのリリースは行われない。

学術研究への影響は？

大学グループはフロンティア規模のオープンなチェックポイントへのアクセスを失い、小規模モデルまたは有料APIへの移行を余儀なくされ、再現性が複雑化する。

オープン開発におけるLlamaの代替手段はあるか？

各チームはMistralやStability AIのモデルを評価しているが、現時点でLlamaの規模とエコシステムの成熟度に匹敵するものは存在しない。

このポリシー変更を確認する外部ソースは？

Reuters、The Verge、9to5Googleによる最近の報道が、Metaの内部コミュニケーションおよびパートナーへの通知に関するクローズド開発戦略を記録している。