如果你经常关注机器人学习会发现一个很有意思的现象模型越来越强数据越来越大视频里机器人也越来越“像那么回事”。 但真要问一句这些机器人策略到底谁更强强在哪里换个物体、换个位置、换个场景还能不能干活答案往往没那么清楚。因为很多时候大家不是在同一张桌子、同一套机器人、同一批物体、同一套评测规则下比较。 一个模型看起来成功率高可能是模型确实厉害也可能是任务简单一点、相机位置舒服一点、物体摆得友好一点、人工复位更稳定一点。这就是 UMI-Bench 1.0 想解决的问题。这篇论文提出了一个面向真实机器人操作的开放基准UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data。它的目标不是再堆一个炫酷任务集而是搭建一个更像“统一考场”的评测体系让基于 UMI 数据训练出来的机器人操作策略可以在真实物理环境里被更公平、更可复现地比较。简单说UMI-Bench 1.0 关心的不是“机器人能不能在视频里完成一次任务”而是在统一的数据采集、统一的场景复位、统一的执行接口、统一的日志记录和统一的评分规则下一个机器人策略到底能做到什么程度。一、为什么机器人评测需要 UMI-Bench过去几年机器人领域有两个趋势非常明显。一边是大模型进入机器人控制。VLA 模型、通用机器人策略、世界模型动作策略不断出现比如 π0、π0.5、DreamZero 这类方法都在尝试让机器人具备更强的泛化能力。另一边是真实世界数据采集变得越来越重要。相比仿真数据真实机器人操作数据包含了更多真实接触、摩擦、遮挡、抖动、延迟和传感器噪声。对于桌面操作任务来说这些细节经常决定一次操作是成功还是失败。但问题也随之出现 真实机器人评测很难标准化。仿真里可以精确控制初始状态、物体位置、成功条件真实世界里却会遇到很多“不好管”的因素。比如同样是抓取杯子物体初始角度可能差几度同样是插入任务目标槽位可能偏了一点同样是双臂协作左右臂动作的节奏可能稍微不同同样是腕部相机安装角度、光照、画面遮挡都会影响策略输入。如果没有一套统一协议模型之间的比较就容易变成“各测各的”。二、UMI-Bench 到底评什么UMI-Bench 1.0 聚焦的是桌面机器人操作任务。第一版一共设计了10 个真实世界任务其中包括4 个单臂任务6 个双臂任务约 2 万条真实示教数据每个任务 50 次真实机器人评测总计 1500 次真实世界 rollout对 π0、π0.5 和 DreamZero 三类模型进行了统一评测。这不是一个只看“成功/失败”的榜单。它更想回答几个具体问题第一模型在真实机器人上整体表现如何 第二不同任务会暴露哪些能力短板 第三换物体、换外观、换位置、换布局后模型性能会掉多少 第四UMI 数据采集和真机部署之间哪些环节会影响最终表现这几个问题放在一起UMI-Bench 就不只是一个任务集合而是一套从数据到评测的完整协议。三、UMI 风格数据为什么特殊要理解 UMI-Bench先要理解 UMI 数据的特殊性。UMI全称是 Universal Manipulation Interface。它的核心思想是用一种面向部署的方式采集机器人操作数据。和传统机器人示教不同UMI 风格数据非常强调几个东西之间的耦合关系腕部相机看到什么机器人的动作如何表示示教数据如何采集场景如何复位策略如何在真实机器人上执行。也就是说UMI 数据不是单纯的“视频 动作”文件。它背后隐含着一套从观察到动作、从采集到部署的完整接口。这也是为什么普通机器人评测基准不一定适合 UMI 策略。 如果评测时相机视角变了、动作接口变了、场景复位方式变了最后测出来的性能变化就很难说是模型能力的问题还是评测流程本身的问题。UMI-Bench 的做法是把这些环节全部纳入统一协议数据怎么采、场景怎么摆、模型怎么跑、结果怎么记、分数怎么算都要标准化。四、从数据采集到真机评测UMI-Bench 的完整流程UMI-Bench 1.0 的流程可以拆成五个部分。1. 标准化数据采集论文中使用 FastUMI Pro 作为数据采集工具链记录腕部 RGB 视频、轨迹、机器人状态、夹爪状态、时间戳和任务元信息。每条示教数据不是简单地录下来就完事。系统还会经过质量检查比如视频是否可读、时间戳是否连续、数据有没有缺失、任务是否真的完成、动作是否出现异常跳变。这样做的好处是后续训练模型时研究者能够知道每条数据来自什么任务、什么物体、什么场景、什么复位状态而不是面对一个来源不清的数据黑箱。2. 结构化元数据UMI-Bench 为每个 episode 保存结构化 scene JSON。里面会记录任务 ID、物体 ID、类别、外观、材料、位置、姿态、目标区域和数据划分。这一步非常关键。因为只有把场景信息结构化记录下来后面才可以分析 模型是因为没见过这个物体失败还是因为位置变化失败 是颜色变化影响大还是空间布局变化影响大 是单臂任务弱还是双臂协作弱没有这些元数据失败分析只能停留在“看起来不太行”。3. 统一任务套件UMI-Bench 第一版包含 10 个桌面操作任务覆盖了多种常见机器人能力任务编号任务名称类型核心能力T1顺序物体堆叠单臂空间对齐T2带盖容器操作单臂铰接物体操作T3工具辅助盖章单臂工具接触T4精密槽位插入单臂精细插入T5双臂物料倾倒双臂双臂协调T6双臂打包与搬运双臂协作运输T7动态抓取放置双臂动态抓取T8类别分拣放置双臂语义匹配T9长程重排任务双臂长程规划T10柔性物体折叠双臂柔性操作这个任务设计有一个明显特点 它不是只测试简单 pick-and-place而是故意加入了很多真实机器人容易翻车的环节。比如 T3 的盖章任务需要工具接触T4 的遥控器插槽任务需要精细定位T5 的倾倒任务需要双臂协调T7 有旋转平台考验动态抓取T10 是折裤子涉及柔性物体操作。这些任务放在一起能更全面地暴露当前机器人策略在真实环境中的短板。4. 统一评测执行UMI-Bench 使用真实机器人工作站进行评测。策略输入主要来自腕部 RGB 相机第三视角视频可以用于调试和可视化但不作为策略输入。每次 rollout 都会记录腕部相机视频机器人状态动作日志运行时间信息场景 JSON轨迹记录最终评分结果。这样一个评测结果不是孤立的数字而是一套可以被审计、复查和分析的记录包。5. 统一评分指标UMI-Bench 主要报告两个指标Full Success Rate完整成功率。也就是任务是否完全达到最终成功条件。Progress Score进度分数。这是 0 到 100 的部分完成度评分。它比单纯成功率更细因为很多机器人任务不是非黑即白。比如一个双臂打包任务模型可能完成了抓取、放置和部分搬运但最后没有完全到达目标位置。只看成功率会把它归为失败而 Progress Score 能保留中间过程的信息。这一点很适合真实机器人评测。 因为真实操作里失败也有层次。一个模型完全没摸到物体和一个模型差一点完成任务显然不是同一种失败。五、UMI-Bench 最重要的设计把“泛化失败”拆开看很多机器人论文都会说模型有泛化能力。 但泛化到底指什么是没见过的物体 没见过的颜色 没见过的摆放位置 没见过的运动速度 还是多个变化同时出现UMI-Bench 把这个问题拆成了两个因素Factor A物体、外观、类别或组合变化。比如换一种颜色的篮子、换一种垃圾袋、换一种麻将牌组合、换一种裤子外观。Factor B位置、布局、姿态或动态变化。比如换摆放位置、换目标区域、换转盘速度、换初始姿态。这样每个任务就可以形成四种评测条件Seen / Seen物体见过位置也见过Seen / Unseen物体见过位置没见过Unseen / Seen物体没见过位置见过Unseen / Unseen物体和位置都没见过。这套设计非常实用。 因为它能把模型掉分的原因拆开而不是只给一个平均分。如果模型在 Factor A 下掉分明显说明它对物体、外观或类别变化比较敏感。 如果模型在 Factor B 下掉分明显说明它对空间位置、布局或动态变化更敏感。 如果 AB 一起变化时掉得最多就说明模型面对组合分布外情况仍然不稳定。六、真实评测结果π0.5 总体最好但空间变化仍是硬伤论文评测了三个模型π0、π0.5 和 DreamZero。从总体结果看π0.5 表现最好。 在 10 个任务平均 Progress Score 上π048.90π0.555.84DreamZero40.59。π0.5 的优势不是只来自某一个任务而是比较全面。它在 10 个任务中的 6 个任务上排名第一覆盖了单臂和双臂场景。不过结果也不是 π0.5 全面碾压。 π0 在 T1 顺序堆叠和 T2 容器操作这两个单臂任务上表现最好。DreamZero 在 T3 工具盖章和 T6 双臂打包搬运上也有竞争力。这说明不同模型的能力结构并不一样。 有的模型更擅长空间对齐有的模型在工具接触上更稳有的模型在双臂协作中表现更好。但真正值得注意的是泛化结果。论文中提到所有模型在 Factor B 上的性能下降都比 Factor A 更明显。也就是说相比换物体、换颜色、换类别当前策略更怕的是位置变了布局变了姿态变了动态条件变了。平均来看Seen/Seen 条件下的分数是 59.62 Factor A shift 下变成 53.45 Factor B shift 下掉到 45.33 AB 同时变化时进一步降到 40.19。这个结果很有启发。它说明当前模型并不是完全不会认新物体而是很大程度上依赖训练数据中见过的运动轨迹和空间先验。换句话说模型可能学到了一些“这个任务通常在这个位置这样做”的经验但一旦几何关系、目标位置或动态条件变了执行就不稳了。七、哪些任务最难从结果看T3 和 T9 是明显的难点。T3 是工具辅助盖章任务。它要求机器人先使用印章和印台再把印章准确盖到纸上。这类任务的难点在于工具接触。机器人不仅要抓住工具还要理解工具和目标之间的接触关系。T9 是长程重排任务。它涉及多个物体、多个阶段和目标位置安排。对机器人来说这不是完成一次抓取放置就结束而是要保持较长的任务进度和顺序稳定性。论文中所有模型在 T3 和 T9 上的完整成功率都是 0%。 这并不意味着模型完全不会动而是说明它们很难稳定达到完整任务标准。这个结果也提醒我们 当前真实机器人策略在短程任务上已经有一定能力但在工具使用、长程规划、精确终态控制上还有明显距离。特别是长程任务前面一步小失误后面可能会不断放大。 而真实机器人又不像文字推理出错了可以撤回重写。一个物体放歪、一个杯子碰倒、一个夹爪松早了后面的任务状态就已经变了。八、双臂任务为什么重要UMI-Bench 的另一个亮点是加入了 6 个双臂任务。很多桌面机器人基准主要围绕单臂操作展开比如抓取、放置、插入、开合等。但真实家庭、工厂和服务场景里很多任务天然需要双手协作。比如一只手固定容器另一只手倒豆子一只手扶住篮子另一只手放入物体两只手共同搬运一只手调整柔性物体另一只手完成折叠两只手处理多个目标和多个物体。这些能力很难通过单臂 pick-and-place 完全测出来。UMI-Bench 中的双臂任务让评测更接近真实操作。 它不仅考察抓取成功率也考察左右手分工、动作同步、物体稳定性、接触过程和多阶段执行。这对未来通用机器人策略很重要。 因为真正能进入现实环境的机器人不应该只会“夹起一个东西放到另一个地方”还要能处理复杂、连续、需要协调的操作任务。九、UMI-Bench 的价值不只是一张排行榜UMI-Bench 1.0 最有价值的地方不只是告诉我们哪个模型分数高。它更像是提供了一套“拆解失败”的工具。过去真实机器人实验经常会遇到一个问题 模型失败了但不知道为什么失败。可能是数据不够。 可能是物体没见过。 可能是位置没覆盖。 可能是相机视角不稳定。 可能是动作空间设计不合适。 也可能只是人工复位不一致。UMI-Bench 把数据采集、场景元数据、评测 episode、日志记录和人工评分连在一起让研究者可以沿着完整链路追踪问题。比如一个模型在 T7 动态抓取任务上表现差研究者可以进一步看 是对新颜色罐子失败还是对转盘速度变化失败 是抓取阶段失败还是放置阶段失败 是所有位置都失败还是某些布局格子特别差这比单纯说“成功率 20%”有用得多。对模型开发者来说这意味着可以更有针对性地补数据、改动作表示、调整训练策略。 对基准使用者来说这意味着不同实验室之间的真机结果更容易比较。 对整个领域来说这意味着机器人评测可以从“看视频感觉很强”逐渐走向“有协议、有记录、有诊断”。十、这篇文章给我们的启发UMI-Bench 1.0 反映出机器人学习领域正在发生一个变化大家不再只关心模型在 demo 里是否好看也开始关心模型是否能经得起真实环境的标准化检验。尤其是对 UMI 风格数据来说数据采集和真实部署不是两个割裂环节。腕部相机、动作块、场景复位、物体布局、评测日志这些都会影响最终结果。所以一个好的真实机器人 benchmark不能只是列几个任务。 它还要回答数据从哪里来任务如何复位模型输入是什么动作怎么执行失败怎么记录成功怎么判定泛化怎么拆解。UMI-Bench 1.0 的贡献就在于它把这些环节放进同一个框架里。当然它也不是终点。论文中也承认当前版本还主要集中在桌面操作任务没有覆盖移动操作、大范围空间任务和更复杂的长程场景。数据规模虽然已经达到约 2 万条示教但和更大规模机器人数据集相比仍然有限。真实评测也仍然会受到人工复位、标定漂移、光照变化和硬件时序等因素影响。但作为第一版UMI-Bench 已经给出了一个非常清晰的方向未来机器人模型的进步不只需要更大的数据和更强的网络也需要更可靠、更透明、更可复现的真实世界评测体系。当机器人终于有了“统一考场”我们才能更认真地讨论 到底谁真的会干活谁只是看起来会干活。论文信息论文标题UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data作者Shi Jin、Yuntian Wang、Yuhui Duan、Di Wu、Gaoqi Dong、Xiaohang Liu、Xiaotong Li、Hongfei Jia、Zehao Zhang、Tianyu Wang、Zhongjie Jia、Yuanqi Yao、Chenjia Bai、Zhaxizhuoma、Siao Liu、Nieqing Cao、Jin Wang、Chao Yu、Yan Ding作者单位苏州大学、Lumos Robotics、复旦大学、上海交通大学、上海 TeleAI、上海人工智能实验室、INSAIT、西交利物浦大学项目主页https://umibenchmark.github.io/