Ola-Sem 正式开源版本来了！UniWAM 探索 Human-Robot Co-training 的 Scaling 趋势，实现世界理解、未来预测与动作生成的统一学习，代码与权重全面开源。 欧拉万象 x 香港科技大学（广州）（简称：港科广）此前曾联合发布 Ola-Sem，并在全球主流榜单上取得 SOTA 成绩。今天，Ola-Sem 的开源版本 ——UniWAM（Unified World-Action Model，统一世界与动作模型）正式发布 将语义理解、未来视觉预测与动作生成纳入统一架构，首次揭露 Human-robot Co-training 的 Scaling 趋势。同时，模型通过共享的物理语言监督，连接人类与机器人操作数据，探索如何将更丰富的人类经验转化为机器人可用的学习信号 UniWAM 获得了多项基准 SOTA，在 LIBERO 上取得 99.2% 的平均成功率，在 LIBERO-Plus 上取得 92.6% 的整体成功率，在 RoboTwin 2.0 C2R 上取得 68.32% 的成功率，均达到论文所列方法中的领先水平。同时，UniWAM 进一步通过真机实验，验证了模型在指令跟随、复杂交互与长程任务执行中的能力。 这些成绩背后，是 UniWAM 对语义理解、世界预测与动作生成统一学习的探索 。目前，模型代码与权重已正式开源。 一句 “收拾桌面”，机器人需要哪些能力？ 面对摆满杂物的桌面，你会直觉对机器人说：“收拾一下桌面。” 这句话没有列出每一步。机器人需要识别物体，判断收纳策略，还要在执行中跟踪场景变化：杯子是否放好了？抽屉是否打开了？下一步该操作什么？ 在 UniWAM 的长程桌面整理实验中，机器人在推理时接收的同样是一句高层指令：“Tidy up the desk.”。任务包含杯子放置、抽屉收纳盒笔的放置等多个子任务。而这些子任务彼此又存在因果关联：打开抽屉之后才能放入物品，完成收纳之后还需要关闭抽屉。机器人需要在连续操作中跟踪任务进度，并根据当前场景生成后续动作。 图 1｜双臂平台上的多物体抓取、不同交互、相对位置放置、抽屉收纳与长程任务演示。 三种能力，一个统一架构 UniWAM 成功执行连续任务的目标引出了一个根本问题： 机器人能否不再将理解、预测和行动视为彼此割裂的能力 ，而是在一个统一模型中学习、从而减少理解与执行之间的脱节，更好地应对复杂任务中的连续决策与环境变化？ 围绕这一目标，UniWAM 将语义理解、视觉动态与动作生成纳入统一架构，让任务要求、场景变化与动作信息在训练中相互关联，为更稳定、更连贯的机器人操作提供支持 视觉 — 语言 — 动作模型（VLA）继承了视觉语言模型的语义能力，但仅靠动作监督，对世界动态的学习仍有局限。世界 — 动作模型（WAM）引入视频生成模型的时空先验，而面对环境变化，语义理解和推理同样重要。 UniWAM 将三类组件连接到统一架构中： Physical Reasoner（物理推理器） ：基于 Qwen3-VL-2B-Instruct，理解当前视觉场景和任务指令，提供语义信息。 World Generator（世界生成器） ：基于 Wan2.2-TI2V-5B，学习预测未来视觉变化，为操作提供动态信息。 Action Predictor（动作预测器） ：建模连续动作的流场，生成机器人执行所需的动作片段。 三个组件通过联合多模态注意力交换信息，使动作预测能够结合任务要求与场景动态。UniWAM 的核心探索，是让理解、预测与行动在统一架构中相互关联、共同学习 图 2｜左侧为三个组件及联合多模态注意力，右侧为人类、机器人与视觉语言数据概览。 统一架构高效连接语义与动态 三个组件保留各自的特征处理方式，再把不同模态的 token 投影到共同注意力空间。语义、视觉和动作信息在该统一空间中交互，使动作预测可以结合任务语义和视觉动态线索。 世界生成器在冻结的视觉自编码器潜在空间中学习未来变化，动作预测器学习连续控制信号。两种生成目标通过共享信息建立联系，同时各自保留对应模态的建模方式。 物理推理器还保留语言预测目标，接受物理语言和视觉问答监督。这为语义能力提供直接训练信号：机器人既需要学会操作，也需要持续学习 “看到了什么”“指令要求什么”。 从架构设计，走向数据利用效率 人类操作视频包含丰富经验，但其中的动作标签往往需要通过估计获得。手部遮挡、相机运动和深度估计误差，都会影响轨迹的准确性。 团队在所分析的数据管线中观察到：二维轨迹的形状与运动趋势往往较可靠，误差更多集中在深度和绝对尺度。这意味着，一段轨迹即使难以提供精确的三维位移，仍可能保留运动方向和操作意图等可用信息。 UniWAM 因此探索一种共享监督方式：在学习视觉变化的同时，利用这些仍然有效的运动信息，帮助模型