SimFoundry 实现了机器人训练数据中“缺失环节”的自动化

由NVIDIA GEAR、李飞飞的斯坦福大学实验室以及佐治亚理工学院组成的联合研究团队推出了SimFoundry——该系统能够基于一段真实世界的视频，自动生成交互式且可训练的机器人仿真环境。

2分钟阅读Posted: 2026年7月6日

NVIDIA GEAR 与李飞飞领导的斯坦福大学研究团队共同发布了 SimFoundry——这是一条自动化管道，无需人工建模，即可将一段真实世界视频转化为支持物理模拟的交互式仿真环境。这解决了具身人工智能面临的主要瓶颈：收集真实世界机器人训练数据的成本过高。通过生成几乎无限数量的物理空间数字复本，该系统使“视觉-语言-动作”（Vision Language Action）等模型能够在模拟环境中进行训练，并实现零样本迁移至现实世界。

事件概述

这篇题为《SimFoundry：用于策略学习与评估的模块化自动化场景生成》的论文，由英伟达通用具身智能研究实验室、佐治亚理工学院、斯坦福大学、德克萨斯大学奥斯汀分校以及多伦多大学的研究人员联合团队于 2026 年 6 月 26 日提交至 arXiv。作者名单汇聚了人工智能机器人领域的主要学术力量，包括朱玉克、徐丹飞、范吉姆和李飞飞。

关键在于，SimFoundry并非一种新的机器人大脑模型，而是一个为机器人大脑构建训练场地的自动化系统。过去，训练机器人需要昂贵的物理数据采集农场或人工设计的模拟环境，而SimFoundry取代了这两者。它只需获取厨房或仓库中的一段普通RGB视频，并将其输入由三个阶段组成的处理管道：提取、生成和增强。

首先，它利用基础模型对视频中的每个物体进行分割和提取。通过深度学习技术估算深度并生成点云，随后由视觉语言模型和SAM 3等分割工具进行解析。接下来，它生成3D网格，推断抽屉等物体的关节结构，并标注质量和摩擦力等物理属性，将数字孪生导出到IsaacLab物理引擎中。最后，它通过自动改变物体外观、调整布局以及推导出新的

操作任务。在涵盖七项操作任务的测试中，完全在SimFoundry数据集内训练的策略能够零样本迁移至真实机器人，并在未见物体上实现高达100%的成功率。

“数字表亲”的引入是一次重大飞跃。通过利用数字孪生并对其进行修改，从而生成“物体表亲”（外观变化但功能保持不变）、“场景表亲”（布局发生变化）和“任务表亲”（衍生出新的交互方式），该系统使单段视频的价值呈指数级增长。这构成了一个庞大且程序生成的训练课程体系，使机器人能够应对现实世界的混乱局面。

为何重要

当今人工智能机器人领域的核心痛点是数据匮乏。大型语言模型之所以能实现规模化，是因为互联网免费提供了数万亿个文本令牌。而具身人工智能却缺乏物理交互数据的“互联网”。传统的解决方案“Sim2Real”需要大量工程师来构建合成环境，这一过程不仅缓慢、昂贵，而且难以扩展。新兴的替代方案“Real2Sim”试图将现实扫描到模拟环境中，但此前的工具仅解决了部分难题：要么重建不包含物理特性的静态3D场景，要么需要大量手动配置。

SimFoundry 实现了闭环。它是一条完全自动化的 Real2Sim2Real 管道。现在，仅需一段真实工作空间的视频，即可生成无限的程序化训练场。当像 pi zero point five 这样的“视觉-语言-动作”（Vision Language Action）模型在 SimFoundry 数据上进行微调时，其在保留任务上的成功率从零跃升至 29%。这意味着机器人公司现在只需对目标设施进行基础视频扫描，即可合成生成训练数据，从而无需部署实体数据采集车队。

对于开发通用机器人的公司而言，这条数据管道将瓶颈从数据采集转移到了计算环节。无需再等待数月来收集足够的遥操作

在向机器人教授新任务时，工程师可以录制一段短视频，将其导入SimFoundry，一夜之间即可生成数千种各不相同的训练场景。这不仅加快了开发周期，还降低了创建专用机器人行为的门槛。

价值视角

从价值角度来看，SimFoundry 对于培训成本这一组成部分而言，是一次结构性的通缩事件。目前，数据采集是开发通用机器人策略过程中最难削减的一项开支。通过自动化创建高保真仿真环境，新培训场景的边际成本已接近运行处理流程所需的计算成本。

此外，评估相关性也十分显著。SimFoundry的仿真评估对真实世界性能的预测，其平均皮尔逊相关系数高达0.911。这意味着硬件公司可以在仿真环境中测试新发布的软件，并高度确信测试结果在实际生产环境中同样适用，从而大幅减少目前延误部署进度的物理测试周期。这种可预测性使机器人软件能够实现持续集成和持续部署管道，这与传统软件工程中常见的快速迭代周期如出一辙。

其经济影响深远。如果一家公司能够通过仿真可靠地评估新的抓取策略，并以超过90%的确定性预知其在真实机器人上的表现，那么用于物理测试机队的资本支出将大幅降低。这使得经济优势转向能够利用海量计算资源进行仿真的公司，而非那些拥有最大物理设施规模的企业。

全球竞争格局与时间线

解决模拟数据瓶颈的竞赛在地理和机构层面呈现出鲜明的分界。在美国，这一领域采用资本密集型且以软件为驱动的模式。英伟达凭借其“Cosmos”平台处于领先地位，该平台

一个下载量超过200万次的全球基础模型平台，以及SimFoundry等工具。李飞飞创立的初创公司World Labs已融资2.3亿美元，正通过其Marble产品将生成式3D世界商业化。DeepMind则正在通过Genie 3开发生成式交互世界。

在中国，这一领域的发展主要依赖于实体数据工厂和国家支持的研究。 AgiBot和Unitree等公司依靠庞大的远程操作车队来收集现实世界的交互数据，将物理数据采集视为基础设施护城河。与此同时，北京人工智能研究院最近发布了“五界Physis 0.1”通用世界基础模型，以推动模拟技术的前沿发展。

SimFoundry 采用即时推进的策略。作为由 NVIDIA 研究预算支持的开放式研究成果，其代码和方法现已可供各实验室采用。由于其模块化设计——即随着更先进的分段或 3D 生成模型的问世，系统可直接替换为这些模型——其能力将自动扩展。该项目无需独立资金支持；通过推动IsaacLab和Omniverse计算技术的应用，其价值将惠及更广泛的英伟达生态系统。这一开放研究战略使英伟达成为全球人工智能机器人开发的基础层。

严酷的现实

尽管从模拟到现实的零样本迁移是机器人领域的圣杯，但 SimFoundry 的基准测试仍局限于实验室任务，例如堆叠餐具或存放标记物。工业部署需要处理边界情况、传感器噪声和硬件退化等问题，而无论合成数据（即数字仿真）的种类多么丰富，都难以完美模拟这些情况。为了实现最后阶段的可靠性，现实世界的数据采集仍不可或缺。模拟厨房与充满不可预测的人类工人的混乱工厂车间之间仍存在巨大鸿沟，要弥合这一差距，仅靠更优秀的“数字复制品”是远远不够的。