西湖数智推出 Awomo-SimDataEngine：从可交互 3D 世界到机器人训练数据

从三维外观到可交互资产

机器人训练对三维资产的要求，不仅包括外观，还包括正确的部件结构与运动方式。例如，抽屉需要沿指定方向滑动，柜门需要绕正确的转轴开启，物体之间还需满足碰撞与物理约束。

为此，SimDataEngine 引入 ISArt，从单张物体图像预测部件语义、父子关系、关节类型及空间结构，并将这些信息融入三维生成过程。系统输出包含部件几何与关节信息的资产，随后在 Isaac Sim 中执行运动测试，通过视频评估检查运动方向、转轴位置、运动范围及部件干涉，并自动修复问题。

在覆盖 12 个类别、60 个物体的测试中，ISArt的形状差异得分为0.163，优于两个对照方案的0.268和0.278。这个数字越低，说明生成结果越接近真实物体。

从图像或文本构建仿真场景

SimDataEngine 支持两条互补的场景生成路径。

Unravel 面向真实场景图像重建。 系统从单张图片出发，逐层移除前景物体、补全遮挡区域，并持续融合点云信息，再恢复资产的尺度与位姿、重新组装场景，完成物理稳定性与视觉检查。在 20 个完整场景上的图像相似度评估中，Unravel 相比 GPT-6 Astra ，在 CLIP-I、LPIPS 和 Edge IoU 三项指标分别提升了6.4%，2.6%，45.8%。相较于直接从原图重建可交互场景，Unravel 将三维资产质量的人工 asset-fidelity 评分从 4.9 提升到 8.6，VLM 评分从 4.7 提升到 8.2，场景语义点云数量从 1.53M 提升到 2.81M。

SimForge 面向文本驱动的场景生成。 用户可描述房间类型、物体需求、空间关系和交互条件，系统自动完成布局规划、资产获取、物体放置、物理验证与仿真器打包，支持单房间及多房间环境。在 179 个单房间提示和 31 个多房间提示的测试中，相比 SceneSmith，物体数量一致性在房间和整屋层面分别提高 6.5 和 6.4 个百分点，可达性分别提高 14.7 和 13.3 个百分点。在报告采用的验证标准下，生成场景的碰撞率为0%，稳定性为100%。

场景通过验证后，PolicyForge 将任务拆解为可执行的子任务，选择相应的规划或控制方式，驱动机器人在 Isaac Sim 中完成操作。系统同步记录多相机 RGB 图像、机器人本体状态与动作，仅将满足任务成功判定条件的轨迹纳入训练集。

自动定位问题，完成局部修复

为提高生成流程的可靠性，SimDataEngine 采用 Graph-Native Harness，显式记录每次失败的原因、影响范围及负责处理的模块。

当出现几何错误、关节异常、配准偏差或物理不稳定时，系统将问题分配至对应模块，并只重新计算受影响的部分。例如，替换某个物体的几何模型后，仅更新依赖该模型的配准与物理验证结果，其余已通过验证的状态可继续复用。

这一机制将生成、验证与修复连接为可追踪的执行流程，减少重复计算，支持仿真数据的持续生产。

跨仿真器评测验证训练效果

团队将 PolicyForge 在 Isaac Sim 中生成的演示数据与 LIBERO-Plus 数据共同用于训练 World-Action Model，并在基于 MuJoCo 的 LIBERO-Plus 环境中进行测试。

在13K训练步以内选择每种配置的最佳已评估总体成功率检查点后，只使用基准数据的模型成功率为77.17%；加入SimData-Ultra后，成功率提高到89.43%，增加12.26个百分点。其中，目标泛化成功率提高 31.66 个百分点；物体泛化与空间泛化分别提高 8.34 和 6.25 个百分点，长时序 LIBERO-10 的提升为 1.99 个百分点。

这些结果表明，SimDataEngine 生成的仿真数据能够在跨仿真器设置下改善策略表现，尤其有助于提升模型对不同目标、物体和空间配置的适应能力。

通过贯通“资产生成—场景构建—验证修复—演示采集—策略训练”，Awomo-SimDataEngine 将可交互三维世界转化为可用于机器人学习的数据，为西湖数智推进 Physical AI 与机器人基础模型研发提供数据支撑。

查看技术介绍、交互演示及评测结果：

https://awomo-westlakedi.github.io/Awomo-SimDataEngine/