Beyond GPT: 新興の基盤モデルとそのニッチな応用

現在、いくつかの企業が一般的な会話ではなく、狭いドメイン向けに構築された基盤モデルを出荷しています。

これらのシステムは、より小さなデータセットとタスク固有のレイヤーを使用します。GPT規模のトレーニング実行よりも少ない計算量で目標性能に到達します。

この変化により、チームが自社の業務に適したモデルを評価する方法が変わります。

ドメイン特化型トレーニングがコスト曲線を変える

法律文書や臨床ノートに特化したモデルは、ウェブスクレイピングではなく厳選されたコーパスで学習します。このアプローチにより、対象タスクでの精度を高く保ちながらトークン数を桁違いに削減します。

チームは、モデルが意図した出力に必要なパラメータが少ないため、推論コストが低減すると報告しています。The Verge

この方法で学習された基盤モデルは、未使用の知識によるオーバーヘッドを回避します。

あるモデルは契約書のレビューと条項抽出のみを扱います。別のモデルは規制チェックを通過する合成医療画像データを生成します。

3つ目のシステムは、設計スケッチを単一のアーキテクチャ内で製造対応のCADファイルに変換します。

各事例はデータ境界内に留まり、オープンエンドな対話は試みません。9to5Google

狭い範囲での学習は、対象ドメイン外にギャップを残します。ユーザーは他のニーズに対応するため、別々のモデルやルーティングレイヤーを維持する必要があります。

そのためチームは、ニッチ内での精度とモデル間のコンテキスト切り替えコストの両方を追跡します。

合成医療データに関するFDAガイダンスや、AI生成契約に関する州弁護士会の規則に注目してください。いずれの文書も12ヶ月以内に採用速度を変える可能性があります。NYTimes

大企業の調達チームも、これらの狭いモデルを参照した最新のベンダー質問票を公開するでしょう。

これらの更新により、どの組織がニッチな基盤モデルを実験ではなく本番ツールとして扱っているかが明らかになります。