Xiaomi、Xiaomi-Robotics-U0 380億パラメータモデルをリリース

XiaomiはXiaomi-Robotics-U0をリリースした。

同モデルは380億のパラメータを保有する。ロボット環境向けのマルチモーダル自己回帰生成を扱う。

Xiaomiは身体化タスクを画像・動画生成の拡張と位置づけている。同システムはテキストから画像への変換、画像編集、シーン生成、ロボット形態間の転送、動画出力の最適化を単一の学習実行で実現する。

このアプローチは複数のロボットボディタイプを同時にサポートする。異なるロボット形状間の転送向けに構造化された制御を追加している。

Xiaomiは単一ステップおよびシーケンス生成ベンチマークで最先端の結果を報告している。人間評価者は身体化シーンの品質と転送精度において、GPT-Image-2.0を上回る評価を同モデルに与えた。

同モデルは身体化動画生成のWorld Arenaベンチマークで1位を獲得した。ベンチマークの詳細はtechnical reportを参照。

実世界テストでは明確な改善が示された。倉庫のような環境で物理的なロボットアームとpi_0.5を組み合わせた場合、散乱した未知の物体や照明変化下での把持など、分布外操作タスクの成功率は36.9%から63.2%に向上した。Xiaomi open-sources the checkpointsにより、追加ハードウェアでの独立した再現が可能になる。

コードとモデルチェックポイントは現在公開されている。

Xiaomiは本リリースを、ロボット専用アーキテクチャではなく既存の画像モデルの拡張と位置づけている。arXiv paperでは、視覚・動画・ロボット制御向けに別々のパイプラインを維持するチームにプレッシャーをかけるこの共同最適化の選択について詳述している。

オープンリリースにより、クローズドシステムとの直接比較が可能になる。独立した研究室は、The Vergeの報道で指摘されているように、共同最適化がロボットハードウェア全体で一貫した改善をもたらすかどうかを検証できる。

今後のチェックポイントでは、同じベースモデルがより長い動画シーケンスやより多くのロボットプラットフォームにスケールするかどうかが示される予定である。研究者は今後3ヶ月間にわたり、新たなロボットボディでの転送成功率を追跡する。