SenseTime、SenseNova-Vision-7B-MoT マルチタスクビジョンモデルをオープンソース化

SenseTimeはXに、SenseNova-Vision-7B-MoTを5,000万件のトレーニングコーパスとともに完全にオープンソース化したと投稿しました。このリリースにより、開発者はモデルウェイトと、残りの公開データを再現するために必要な完全なツールキットにアクセスできます。

この動きにより、7Bパラメータの単一モデルが、各視覚タスクで現在主流の専門モデルと直接競合することになります。SenseTimeは、自然言語による指示で新しいタスクのバリエーションを定義し、以前は別々のネットワークを必要としていた機能を再結合できると主張しています。

リリースに記載されたモデル機能

SenseNova-Vision-7B-MoTは、検出、OCR、GUI要素認識、深度と法線推定、セグメンテーション、マルチビュー推論を1つのネットワークで処理します。同社は、ユーザーが新しいタスクを平易な英語で記述すれば、追加のファインチューニングなしでモデルが適応すると述べています。

公開コーパスには5,000万件のデモペアと、トレーニングに使用された残りの公開データを再構築するスクリプトが含まれています。SenseTimeは、商用利用を許可する寛容なライセンスでウェイトを公開しました。

OCRや深度推定などの専門モデルは、狭いベンチマークで依然として性能面で優位です。SenseNova-Vision-7B-MoTは、統合アプローチが複数の小規模デプロイメントに取って代わるのに十分なギャップを埋められるかどうかを、採用者に検証する負担を課します。

別々のパイプラインを維持する企業は now、1つのモデル対複数の具体的な比較に直面しています。アーリーアダプターは、7Bパラメータサイズがエッジデバイスで実用的な速度を提供するかどうかをテストすることになります。

アーキテクチャは、各視覚タスクをプロンプト条件付きルーティング問題として扱います。自然言語指示が共有バックボーンの特徴を要求された出力形式へ導きます。SenseTimeは、このアプローチによりタスク固有のヘッドを避けつつ、標準ベンチマーク全体で精度を維持できるとしています。

公開された再現ツールキットには、データ処理スクリプトと評価ハーネスが含まれています。したがって、開発者はSenseTimeの数値に頼るのではなく、独自のデータセットでモデルを測定できます。

SenseTimeは、サポートするすべてのタスクを一度にカバーする第三者ベンチマーク表を公開していません。独立した研究室が公開テストセットで管理された比較を実行するには数週間を要します。それらの結果が出るまで、専門モデルとの同等性に関する主張は未検証のままです。

コンシューマーGPU上でのハードウェア要件と推論速度も不明です。7Bサイズはローカル実行が可能であることを示唆しますが、メモリフットプリントとトークンスループットの数値は開示されていません。

学術グループや独立したテスターが全タスクスイートを実行したベンチマークレポートに注目してください。それらのレポートは、統合モデルが専門システムが通常扱うエッジケースで精度を維持するかどうかを示します。

アノテーションプラットフォームやロボットシミュレーションフレームワークからの統合発表に注目してください。これらのエコシステムからの採用シグナルは、開発者がこのリリースをドロップイン代替として扱うかどうかを示します。

コーパスやトレーニングコードに関するSenseTimeのアップデートに注目してください。さらなるリリースにより、ファインチューニングの障壁が下がり、すでに複数のビジョンパイプラインを実行しているチームのコスト計算が変わる可能性があります。