SimFoundry 實現機器人訓練資料中「缺失環節」的自動化

由 NVIDIA GEAR、李飛飛在史丹佛大學的實驗室，以及喬治亞理工學院組成的聯合研究團隊，推出了 SimFoundry 系統，該系統能根據單一真實世界影片，自動生成可互動且可供訓練的機器人模擬環境。

2分鐘閱讀Posted: 2026年7月6日

NVIDIA GEAR 與李飛飛領導的史丹佛大學研究團隊共同發布了 SimFoundry，這是一套自動化處理流程，能將單一真實世界影片轉化為具備物理模擬能力的互動式模擬環境，且無需人工建模。這解決了具身人工智慧的主要瓶頸：收集真實世界機器人訓練數據的成本過高。透過生成幾乎無窮無盡的實體空間數位複本，該系統使「視覺語言動作」（Vision Language Action）等模型得以在模擬環境中進行訓練，並在零樣本情況下直接轉移至現實世界。

事件概述

這篇題為《SimFoundry：用於策略學習與評估的模組化與自動化場景生成》的論文，由 NVIDIA 通用具身代理研究實驗室、喬治亞理工學院、史丹佛大學、德州大學奧斯汀分校及多倫多大學的研究人員聯盟，於 2026 年 6 月 26 日提交至 arXiv。作者名單匯集了人工智慧機器人領域的主要學術機構，包括朱宇克、徐丹飛、范吉姆和李飛飛。

關鍵在於，SimFoundry 並非一種新的機器人大腦模型，而是一個為機器人大腦構建訓練場地的自動化系統。過往，訓練機器人需要耗資不菲的實體數據收集農場，或是人工設計的模擬環境。SimFoundry 則取代了這兩者。它僅需一段拍攝廚房或倉庫的普通 RGB 影片，便能透過「提取」、「生成」和「增強」這三個階段的處理流程進行處理。

首先，它運用基礎模型對影片中的每個物體進行分割與擷取。透過深度學習技術估算深度並生成點雲，隨後由視覺語言模型及 SAM 3 等分割工具進行解析。接著，系統會生成 3D 網格，推斷抽屜等物件的關節結構，並標註質量和摩擦力等物理屬性，最終將數位孿生匯出至 IsaacLab 物理引擎。最後，系統透過自動改變物件外觀、調整佈局以及衍生新

操作任務。在涵蓋七項操作任務的測試中，完全在 SimFoundry 數據內訓練出的策略，能以零樣本方式轉移至真實機器人，並在未見過的物體上達到高達 100% 的成功率。

「數位表親」的引入是一項重大突破。透過將數位孿生進行修改，以生成「物件表親」（外觀改變但功能不變）、「場景表親」（佈局變動）以及「任務表親」（衍生出新的互動方式），該系統使單一影片的價值呈指數級增長。這創造了一個龐大且由演算法程序生成的訓練課程，使機器人能夠為現實世界的混亂情境做好準備。

為何這很重要

當今人工智慧機器人領域的核心痛點在於數據匱乏。大型語言模型之所以能大規模發展，是因為網際網路免費提供了數兆個文字標記。而具身人工智慧卻缺乏物理互動數據的「網際網路」。傳統的解決方案「Sim2Real」需要大批工程師來建構合成環境，這個過程不僅緩慢、昂貴，且難以擴展。新興的替代方案「Real2Sim」試圖將現實掃描至模擬環境中，但先前的工具僅能解決部分難題：要麼重建缺乏物理模擬的靜態 3D 場景，要麼需要大量的手動配置。

SimFoundry 彌補了這一缺口。它是一條完全自動化的 Real2Sim2Real 管道。現在，僅需一段真實工作空間的影片，即可生成無限的程序化訓練場地。當像 pi zero point five 這樣的「視覺-語言-動作」（Vision Language Action）模型在 SimFoundry 數據上進行微調時，其在保留任務（held-out tasks）的成功率從零躍升至 29%。這意味著機器人公司現在只需透過對目標設施進行基本的視訊掃描，即可合成生成訓練數據，從而無需部署實體數據收集車隊。

對於開發通用型機器人的企業而言，這條工作流程將瓶頸從資料獲取轉移到了運算層面。無需再等待數月才能透過遙控操作收集足夠的

在示範如何教導機器人執行新任務時，工程師可以錄製一段短影片，將其導入 SimFoundry 進行處理，並在一夜之間生成數千種多樣化的訓練情境。這不僅能加速開發週期，也能降低打造專用機器人行為的門檻。

價值觀點

從價值角度來看，SimFoundry 對於訓練成本這項組成部分而言，是一項結構性的通縮事件。目前，資料蒐集是開發通用型機器人策略時最難削減的開銷。透過自動化建立高保真模擬環境，新訓練情境的邊際成本已趨近於執行處理流程所需的運算成本。

此外，評估相關性也相當驚人。SimFoundry 的模擬評估能以 0.911 的平均皮爾遜相關係數預測真實世界中的表現。這意味著硬體公司可在模擬環境中測試新軟體版本，並高度確信結果在實際生產現場同樣成立，從而大幅減少目前延遲部署時程的實體測試週期。這種可預測性使機器人軟體能夠實現持續整合與持續部署管道，與傳統軟體工程中常見的快速迭代週期相呼應。

其經濟影響深遠。若企業能透過模擬可靠地評估新的抓取策略，並以超過 90% 的確定性預知其在真實機器人上的表現，則用於實體測試機隊所需的資本支出將大幅降低。這使得經濟優勢轉向那些能運用龐大運算資源進行模擬的企業，而非那些擁有最大實體設施規模的企業。

全球競爭格局與時間表

為解決模擬數據瓶頸而展開的競逐，在地理與體制層面呈現明確的分界。在美國，其做法以資本密集型且軟體驅動為主。NVIDIA 憑藉 Cosmos 處於領先地位，這是一款

全球基礎模型平台，下載量超過 200 萬次，以及 SimFoundry 等工具。李飛飛創立的初創公司 World Labs 已募得 2.3 億美元，正透過其 Marble 產品將生成式 3D 世界商業化。DeepMind 則正透過 Genie 3 致力於開發生成式互動世界。

在中國，這類技術的發展主要依賴實體數據工廠及政府支持的研究。 AgiBot 和 Unitree 等公司依賴龐大的遙控車隊來收集真實世界的互動數據，將實體數據收集視為一種基礎設施護城河。與此同時，北京人工智慧研究院最近發布了「五界 Physis 0.1」通用世界基礎模型，以推動模擬技術的前沿發展。

SimFoundry 採用即時部署的時程表。作為由 NVIDIA 研究預算支持的開放式研究成果，其程式碼與方法現已開放供各實驗室採用。由於其模組化設計——意即只要有更優異的分割或 3D 生成模型問世，即可直接替換使用——其功能將自動擴展。該專案無需獨立資金支持；透過推動 IsaacLab 和 Omniverse 運算的採用，其價值將回饋至更廣泛的 NVIDIA 生態系統。這項開放式研究策略，使 NVIDIA 成為全球 AI 機器人開發的基礎層。

嚴酷的現實

儘管從模擬到現實的「零樣本遷移」是機器人領域的聖杯，但 SimFoundry 的基準測試仍僅限於實驗室中的特定任務，例如堆疊餐具或存放標記物。工業部署需要處理邊緣案例、感測器雜訊以及硬體劣化等情況，而合成數據——無論這些數位模擬版本有多麼多樣化——都難以完美模擬這些情境。為了確保最後一哩的可靠性，實世界資料收集場仍不可或缺。模擬廚房與充滿不可預測人類工作者的混亂工廠車間之間，差距依然巨大，而要彌合這道鴻溝，光靠更完善的「數位分身」是遠遠不夠的。