清华具身模型登顶全球第一，突围GPT-6、英伟达，不靠外挂和额外数据 - 星空体育

中国团队在世界动作模型（WAM）领域取得了全球领先地位。

GPT-6-Astra、Physical Intelligence的π0.5、英伟达GR00T-N1.7等全球顶尖具身模型均被超越。

这一成果来自中国机器人公司——清华唯一持股的嫡系具身公司，星动纪元。

近日，星动纪元自研的世界动作模型VPP2登顶RoboDojo仿真榜单。

综合平均成功率32.26%，综合平均得分39.26分，两项指标均位列第一。

这项挑战难度极高。

RoboDojo被称为具身智能领域的「珠穆朗玛峰」，由香港大学MMLab牵头，全球近20所顶尖学术机构共同建设。

它专门针对机器人的薄弱环节设计测试：环境变化后能否继续操作？物体位置偏移时能否准确抓取？任务中断后能否记住先前步骤？

总之，仅靠重复训练难以通过。

结果如何？

星动纪元VPP2不仅综合排名第一，在泛化能力、精细操作、记忆能力三个维度上也同样领先。

据悉，此次VPP2未额外增加数据，也未使用Agent RSI等增强技术，仅依靠「标准数据集」，便超越了众多竞争对手。

这表明VPP2模型本身性能强劲，提升源于预训练，基座泛化能力强，因此无需依赖外部增强策略或数据扩充来「刷分」。

那么，如此强大的模型是如何训练出来的？

深入技术路线后会发现，VPP2的突破确实有独到之处。

它针对世界动作模型的一个核心难题：预测错误会导致动作失误。

VPP2的解决方案是，先将视频预测能力提升到足够水平，再让机器人在未知环境中执行动作。

从预测到行动，两种泛化能力同步提升。

根据目前已公布的测试结果，VPP2已成为世界动作模型WAM赛道中最具竞争力的选手之一。

世界动作模型WAM，诞生新冠军

具身智能行业存在一个尴尬现象。

机器人演示越来越华丽，模型榜单分数越来越高，但若要问谁的机器人更智能、更实用？

答案并不明确。

例如，让机器人抓取杯子。在训练过的桌面上，它可能百发百中。但换个杯子、移动位置，它立刻变得不可靠。

更不用说需要连续执行多步骤的任务了。

这也是RoboDojo这套评测系统值得关注的原因。

它的目标是为具身智能建立统一、可复现的评测标准，仿真测试包含42项双臂操作任务，覆盖泛化、精准操作、长程任务、记忆、开放词汇指令理解五个维度。

简而言之，就是让机器人脱离舒适区。

传统机器人模型在熟悉任务上可能接近满分，但一旦环境、物体位置、任务组合发生变化，成功率可能显著下降。

RoboDojo专门针对这类复杂情况进行评估，考察机器人在变化中的泛化能力。

而VPP2此次的表现相当出色。

平均成功率32.26%、平均得分39.26分，两项指标均排名第一。

作为对比，在RoboDojo仿真基准的后训练评测中，GPT-6-Astra的平均成功率为22.48%，平均得分28.97分。

而VPP2分别领先9.78个百分点和10.29分。

**△**论文截图，基线模型数据取自官方排行榜

这两项指标各有侧重：成功率衡量机器人能否完整完成任务；平均得分则反映任务推进的程度，即使未完全完成，也能体现阶段性表现。

两项指标均综合了五大能力维度的测试结果。

换言之，VPP2不仅完成任务的比例更高，在未完成的任务上也展现了更强的阶段性完成能力。

而且，这种领先并不限于综合成绩。

在五个能力维度中，VPP2在泛化、精准操作、记忆三个维度上也夺得第一。

这三项能力对应机器人进入真实世界的几个关键挑战：环境变化后能否操作，操作是否精准，以及连续执行任务时能否记住先前步骤。

综合成绩领先，关键能力同样突出。

然而，RoboDojo再难，考场终究是「仿真环境」。到了物理世界，物体的摩擦、形变、位置偏差等因素会增加变数。

VPP2在仿真中展现的泛化能力，在真实机器人上是否依然有效？

星动纪元进行了实验。

团队将VPP2部署到真实ALOHA双臂机器人上，测试了抓取、放置、堆叠、折叠、倾倒等10类零样本操作任务。

这意味着，无需针对这些任务进行额外微调，机器人直接执行。

结果，VPP2再次取得领先成绩：平均成功率58.5%，高于π0.5的40%。

在10类任务中，VPP2在9类中取得最佳成绩。

这很有意思。

榜单第一，证明了它在标准评测体系中的能力；真机零样本操作，则进一步验证了这些能力能否迁移到真实物理环境。

两份成绩单结合，VPP2的技术优势更值得深入分析。

要知道，VPP2走的是世界动作模型（WAM）路线。

这类模型的基本思路是，通过视频预测理解物理世界的变化，再将预测转化为机器人动作。

但这条路线长期存在一个问题：视频预测效果好，不代表机器人能有效执行。

VPP2此次正是针对这个问题。

从预测泛化到行动泛化，VPP2如何实现？

要理解VPP2的突破，先看一个简单任务：让机器人把桌上的杯子放入盒子。

对人类来说，伸手抓住、抬起、放入，几乎无需思考。

但机器人需要判断杯子位置、机械臂运动轨迹、夹爪何时闭合，还要预测整个操作过程中物理世界的变化。任何一步出错，都可能导致失败。

现有的世界动作模型（WAM）恰恰容易在这里出问题。

一方面，普通视频模型擅长生成画面，但画面合理与符合真实物理规律是两回事。

例如，要求抓取左边的杯子，模型却预测抓取右边的。视频仍能生成，但机器人执行时会偏离目标。

另一方面，直接将动作学习加入视频模型，可能损害原有的泛化能力。

结果动作学会了，机器人换个环境却无法执行。

VPP2提出了一个直接的观点：视频预测的质量，决定了动作的上限。

基于这一思路，星动纪元选择将视频预测与动作学习分阶段训练，重点不是「视频、动作混合处理」，而是将两者**「解耦」，重新「排序」**。

星动纪元设计了一套三阶段训练策略：

第一阶段，事件级视频继续预训练，让模型学会预测完整操作过程。

第二阶段，固定时长视频后训练与蒸馏，让预测能力跟上机器人实时执行的速度。

第三阶段，动作专家训练，将视频预测转化为具体动作，同时尽量保留原有泛化能力。

三个阶段层层递进，最终指向两个核心突破：预测能泛化，行动也能泛化。

第一个突破：让视频预测具备泛化能力

VPP2首先解决的是机器人能否准确预测陌生任务中的物理变化。

星动纪元以阿里开源的Wan2.1-I2V-14B为基础，整合机器人操作、人类活动、通用视频等多种数据，覆盖不同机器人本体和操作方式。

不过，真正关键的是它对数据的处理。

团队没有简单地将视频直接输入模型，而是先将操作过程切分成语义完整的片段，再配上详细描述。

例如，不能只告诉模型「把杯子放进盒子」，还要明确是哪只机械臂、哪个杯子、哪个盒子，以及整个操作过程。

因为同一句模糊指令，可能对应无数种动作轨迹。

模型如果连操作对象都没搞清楚，自然难以准确预测未来。

VPP2将任务描述得更详细，让语言指令和物理操作形成更稳定的对应关系。

更关键的一步是事件级视频预测训练。

传统短时预测关注接下来几帧会发生什么，而VPP2直接让模型学习一次完整操作从开始到结束的变化。

从机械臂靠近杯子，到抓住杯子，再到放入盒子，模型需要理解整个过程如何发生。

这样，面对新物体、位置甚至操作任务，它才更有机会预测合理的物理变化。

在机器人操作视频的指令遵循测试中，14B参数的VPP2达到**90%**的成功率，而64B参数的Cosmos3模型为78%。

14B胜过64B。

这也说明，在物理操作预测中，参数规模并非唯一决定因素，能否真正理解操作过程同样重要。

不过，预测再准确，机器人无法执行，也无济于事。

第二个突破：让预测泛化变成行动泛化

这里有两个挑战，一是速度，二是如何在学会动作的同时，保留视频模型原有的泛化能力。

第一个挑战容易理解。如果机器人执行每个动作前都需要花几秒生成视频，那么再强的预测能力也难以实用。

星动纪元选择先提升预测模型的速度。

团队将事件级预测模型调整为固定8秒的视频片段预测，再通过一致性蒸馏，将多步计算压缩为单步生成。

最终，预测未来8秒的视觉变化，计算耗时约0.12秒。

第二个挑战较为复杂。

前面好不容易让视频模型学会了预测陌生任务，结果加入动作训练后，模型反而只会执行熟悉操作。

动作能力增强了，泛化能力却丢失了？VPP2需要同时克服这两个挑战。

VPP2引入一个0.9B参数的扩散Transformer（Action DiT），采用MoT架构，学习如何根据预测的未来状态生成机器人动作。

但星动纪元没有直接将视频预测模型（Video DiT）和动作专家一起从头训练。

在动作训练初期，视频模型的基础参数被冻结，仅通过LoRA进行适配，尽量避免动作训练破坏已有的预测泛化能力。

相当于先让机器人理解物理世界如何变化，再训练它如何将这种「理解」转化为「动作」。

两种能力分阶段生长，又相互配合。

最终，视频预测约耗时0.12秒，动作专家约耗时0.1秒，整体动作片段生成延迟约为0.22秒。

当然，架构再出色，也需要看最终效果。

前面提到的ALOHA真实机器人零样本测试，已经展示了VPP2将预测能力转化为陌生任务操作的潜力。

另外两套泛化测试，进一步验证了这条路线。

LIBERO-Pro考察物体位置、任务要求变化后的操作能力，VPP2取得45.0%的总体成功率，其他基线模型最高为11.0%。

LIBERO-OOD考察组合泛化，将熟悉的物体、布局和任务目标重新组合，形成此前未见的新任务。

VPP2的总体成功率达到63.9%。

将这些结果综合来看，VPP2的技术思路就很清晰了。

先通过多源数据、详细任务描述和事件级预测训练，让模型更准确地预测物理变化。

再通过蒸馏加速、分阶段动作学习，将这种预测能力转化为实际操作，同时尽量保留原有的泛化能力。

具身智能的性能上限，显然还未达到只能靠规模硬堆的程度。

VPP2再次说明，优化数据管线、调整训练范式，这些看似朴素的工程方法，仍然有机会带来显著的模型性能提升。

从GPT到WAM，物理AI正在形成新范式

预测能泛化，行动也能泛化，是VPP2作为世界动作模型WAM最值得关注的核心突破。

但真实任务往往更加复杂。机器人不仅要知道如何操作，还需判断先做什么、后做什么。

这就需要更高层的认知与规划能力参与。

星动纪元这里贡献了一个思路：GPT负责思考，VPP2负责执行。

前者负责理解、推理和规划，将复杂任务拆解为明确步骤；后者负责预测物理世界如何变化，再将规划转化为具体动作。

这一思路在VPP2论文中已有初步实验支撑。

团队实际采用VLM高层规划器，由其负责语义理解、记忆和任务拆解，再将明确的子任务交给VPP2执行。

结果非常直观。在RoboDojo选定的长程任务测试中，引入VLM子任务规划后，平均成功率从27.6%提升至57.6%。

这意味着，机器人要完成复杂任务，仅凭强大的动作能力还不够。高层规划与底层执行能否配合，同样影响任务完成效果。

沿着这条思路，GPT＋VPP2有望形成一种新的物理AI技术范式：通用认知＋通用物理执行。

GPT等通用模型负责理解意图、推理和规划，VPP2这样的WAM负责预测物理变化、生成动作，再通过执行反馈持续调整。

从认知、规划、预测，到执行、反馈，一套完整的物理AI闭环逐渐清晰。

而这，也让WAM的价值有了更大的想象空间。

模型能力需要通过本体与物理世界交互，真实使用会暴露失败、产生反馈，推动模型和硬件继续改进。

星动纪元同时做大脑、本体和灵巧手，「深全栈」的战略可以在这一逻辑中得到解释：公司试图掌握的不仅是训练环节，也包括能力落地与反馈回流的环节。

技术路线再出色，最终还是需要在真实世界中执行。

星动纪元在这方面，已与中国邮政、顺丰等企业合作，在全国5个省市、10余个物流中心常态化运营。

物流场景中的货物尺寸、摆放位置、作业流程都可能发生变化。同一套操作，换个仓库，机器人可能需要重新适应。

这对机器人的泛化能力提出了更高要求。

模型能否将学到的技能迁移到陌生任务中，直接关系到未来跨场景部署的效率和成本。

当然，已有物流业务的商业化进展，并不意味着VPP2已实现规模化部署。模型能否在更多真实场景中长期稳定运行，还需进一步验证。

但VPP2此次的成绩，已释放出一个值得关注的信号。

世界动作模型的竞争，正在从预测未来，进一步走向将预测转化为通用行动。

回头再看RoboDojo登顶，值得关注的也就不只是一个第一名了。

从仿真到真机，从预测泛化到行动泛化，VPP2的一系列实验结果表明：视频预测与动作学习的分阶段训练，确实能够提升机器人在陌生任务中的操作能力。

而随着GPT等通用认知模型与WAM进一步结合，物理AI也有望形成更完整的能力体系。

说到底，具身智能下一轮比拼的关键，就是机器人能否将学到的技能，带入更多陌生场景。

预测得准，还要做得到。这才是世界动作模型真正走向物理世界的关键。

PS：**VPP2现已开源，**感兴趣的朋友可以尝试，复现论文结果。

若跑出惊喜，欢迎回来分享～

1.开源代码:https://github.com/roboterax/video-prediction-policy-2

2.项目主页：https://robert-gyj.github.io/video-prediction-policy-2

本文来自微信公众号“量子位”，作者：田晏林，36氪经授权发布。