小規模言語モデルがエンタープライズベンチマークでGPTを上回る

小規模言語モデルによるエンタープライズAIの結果は、現在、垂直タスクでGPT-4のスコアを上回る10B未満のモデルを示しています。これらのモデルは、ドメインデータでファインチューニングした後、推論コストが10分の1で実行されます。

この変化は、大規模な汎用モデルをデフォルトとする調達チームにプレッシャーをかけています。金融とヘルスケアがテストをリードし、精度と速度で測定可能な向上を示しました。

専門化により、チームは広範な規模をターゲットを絞ったトレーニングに置き換えることができます。そのルートは、より大きなシステムに伴うレイテンシと費用を回避します。

Benchmarks Reveal the Shift

エンタープライズチームは、契約レビュー、請求処理、コンプライアンスチェックで直接対決テストを実施しました。小規模モデルは金融タスクで92%の精度に達し、GPT-4は89%でした（Bloomberg enterprise AI benchmark coverageより）。

同じパターンがヘルスケアのノート要約でも見られました。医療記録でファインチューニングされた70億パラメータのモデルが、The New York Times enterprise AI reportingの独立監査人が追跡する正確性指標で最高得点を記録しました。

テスト条件は本番環境の制約に合わせました。各実行では、購入者が提供した同一のプロンプトと評価ルーブリックを使用しました。

垂直データは、汎用モデルがわずかにしかサンプリングしない繰り返しパターンを提供します。それらのパターンでのファインチューニングは、パラメータを追加せずに出力を洗練します。

トレーニング実行は標準GPUクラスターで2週間未満に収まりました。モデルのコストは、ヘビーユース時の単一GPT-4エンドポイントの月額クラウド料金を下回りました。

同一ハードウェアでの推論速度は8倍に向上しました。レイテンシは、典型的なエンタープライズ文書長で1秒を下回りました。

金融チームは現在、請求書抽出とリスクスコアリングにこれらのモデルを展開しています。精度向上により、KeyCorpとSynovus Financialのパイロットプログラムで手動レビュー量が半減しました。

ヘルスケアシステムは、退院サマリーと事前承認フォームにモデルを適用しています。コンプライアンス担当者は監査時のフラグ付き項目の減少を報告しています。

法務部門は契約条項抽出をテストしています。速度向上により、アソシエイトはルーチンレビューを数時間から数分に短縮できました。

調達指標は現在、モデルサイズではなく正解あたりのコストを追跡しています。小規模モデルは報告された試行でその指標を1桁低下させました。

データはより容易に企業ファイアウォール内に留まります。チームは機密記録をサードパーティの推論エンドポイントに送信することを避けられます。

10B未満の複数のオプション間の切り替えが容易になるため、ベンダーロックインが減少します。

批評家は、これらの成果が狭いドメイン内に留まると指摘しています。広範な推論タスクは、Hugging Face Open LLM Leaderboardなどの公開リーダーボードによると依然として大規模モデルを好みます。

繰り返しのファインチューニングに伴う長期的なメンテナンスコストは不明です。チームは垂直データセットをどの頻度で更新するかを決定する必要があります。

セキュリティチームは、小規模な攻撃対象領域が露出を減らすのか単に変化させるのかを尋ねています。これはThe Vergeでのセキュリティ研究者Bruce Schneierの分析で指摘されています。これらの新しい展開に関する大規模な侵害データはまだ存在しません。

5月に小規模モデルオプションを追加した2つのエンタープライズソフトウェアプラットフォームからの採用数を注視してください。利用の増加は持続的な需要を確認するでしょう。

金融と法務のファインチューニングに特化した3つの専門ラボからのリリーススケジュールを確認してください。9月前に到着する新モデルバージョンは、パフォーマンスギャップをさらに縮めるでしょう。

Fortune 500企業の調達ポリシー更新を監視してください。モデルサイズの選好に関する公開声明は、ベンチマーク結果が購買行動を変えるかどうかを示すでしょう。