小米发布 Xiaomi-Robotics-U0 380 亿参数模型

Xiaomi 发布了 Xiaomi-Robotics-U0。

该模型拥有 380 亿个参数。它负责机器人环境的多模态自回归生成。

小米将具身任务视为图像和视频创作的扩展。该系统在一次训练运行中同时优化了文本到图像转换、图像编辑、场景生成、跨机器人形态的迁移以及视频输出。

该方法同时支持多种机器人本体类型。它为不同机器人形态之间的迁移添加了结构化控制。

小米在单步和序列生成基准测试上均取得了最先进的结果。人类评分者在具身场景质量和迁移准确性方面将该模型排在 GPT-Image-2.0 之上。

该模型在具身视频生成的 World Arena 基准测试中获得第一名。完整基准测试详情请参阅 technical report。

真实世界测试显示出明显提升。当与 pi_0.5 搭配用于仓库式环境中的物理机械臂时，在分布外操作任务（如在杂乱和可变光照条件下抓取陌生物体）上的成功率从 36.9% 提升至 63.2%。Xiaomi open-sources the checkpoints 以供在其他硬件上独立复现。

代码和模型检查点现已公开。

小米将此次发布定位为现有图像模型的扩展，而非独立的机器人专用架构。arXiv paper 详细说明了这种联合优化选择，这对维护视觉、视频和机器人控制独立流程的团队形成了压力。

此次开源发布允许与闭源系统进行直接比较。独立实验室现在可以测试联合优化是否能在不同机器人硬件上带来一致的性能提升，相关报道见 The Verge。

未来的检查点将展示同一基础模型是否能扩展到更长视频序列或更多机器人平台。研究人员将在未来三个月内跟踪新机器人本体上的迁移成功率。