SimFoundry、ロボット訓練データにおける「欠落していた一環」を自動化する

NVIDIA GEAR、リー・フェイフェイ氏のスタンフォード大学研究室、およびジョージア工科大学の合同研究チームは、単一の実世界の動画から、対話型で学習可能なロボットシミュレーション環境を自動的に生成するシステム「SimFoundry」を発表した。

読了目安2分Posted: 2026年7月6日

SimFoundry、ロボット訓練データにおける「欠落していた一環」を自動化する

NVIDIA GEARと、スタンフォード大学のFei Fei Li氏の研究グループは、「SimFoundry」を公開しました。これは、実世界の動画1本から、人間によるモデリングを必要とせずに、物理演算対応のインタラクティブなシミュレーション環境を生成する自動化パイプラインです。これにより、体現型AIにおける主要なボトルネックである、実世界のロボット学習データの収集にかかる莫大なコストの問題が解決されます。物理空間のデジタル複製をほぼ無制限に生成することで、Vision Language Action（VLA）システムのようなモデルがシミュレーション環境で学習し、ゼロショットで現実世界へ転移できるようになります。

経緯

「SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation」と題されたこの論文は、2026年6月26日、NVIDIAのGeneralist Embodied Agent Research Lab、ジョージア工科大学、スタンフォード大学、テキサス大学オースティン校、トロント大学の研究者連合によってarXivに投稿されました。著者リストには、Yuke Zhu、Danfei Xu、Jim Fan、Fei Fei Liなど、AIロボティクス分野における主要な研究機関の重鎮が名を連ねている。

重要な点として、SimFoundryは新しいロボット脳モデルではありません。これは、ロボット脳のためのトレーニング環境を構築する自動化システムです。従来、ロボットのトレーニングには、高価な実機データ収集施設か、手作業で構築されたシミュレーション環境のいずれかが必要でした。SimFoundryは、その両方に取って代わるものです。キッチンや倉庫の一般的なRGB動画を、抽出、生成、拡張という3段階のパイプラインにかけて処理します。

まず、ファウンデーションモデルを用いて、動画内のすべてのオブジェクトをセグメンテーションし、抽出します。ディープラーニング技術を活用して奥行きを推定し、点群を生成します。これらは、ビジョン言語モデルやSAM 3のようなセグメンテーションツールによって解析されます。次に、3Dメッシュを生成し、引き出しなどの物体の関節構造を推論し、質量や摩擦力といった物理的特性をアノテーションして、デジタルツインをIsaacLab物理エンジンにエクスポートします。最後に、物体の外観を自動的に変更したり、レイアウトを変更したり、新しいものを導き出したりすることで、デジタルクズンを生成します。

操作タスク。7つの操作タスクにわたるテストにおいて、SimFoundryのデータのみで学習されたポリシーは、ゼロショットで実ロボットに転移され、未見の物体に対しても最大100％の成功率を達成した。

「デジタル・カズン」の導入は大きな飛躍である。デジタルツインを基に、外観は変化するが機能は維持される「オブジェクト・カズン」、レイアウトが変化する「シーン・カズン」、新たな相互作用が派生する「タスク・カズン」を作成することで、このシステムは単一の動画の価値を指数関数的に増幅させる。これにより、現実世界の混沌にロボットを備えさせる、広大で手続き的に生成されたトレーニングカリキュラムが構築される。

その重要性

今日のAIロボティクスにおける最大の課題は、データの不足です。大規模言語モデルが普及したのは、インターネットが数兆ものテキストトークンを無料で提供したからです。一方、身体を持つAIには、物理的な相互作用データの「インターネット」が欠けています。従来の解決策である「Sim2Real」では、合成環境を構築するために大勢のエンジニアを必要としており、このプロセスは時間がかかり、コストも高く、拡張も困難でした。新たに台頭している代替手法「Real2Sim」は、現実をシミュレーションに取り込もうとするものですが、従来のツールはパズルの断片しか解決できず、物理演算のない静的な3Dシーンを再構築するか、多大な手作業による設定を必要とするかのいずれかでした。

SimFoundryはこの課題を解決します。これは完全に自動化されたReal2Sim2Realパイプラインです。実際の作業空間を撮影したたった1本の動画から、無限に生成可能なプロシージャルなトレーニング環境が得られるようになりました。 pi zero point fiveのようなVision Language ActionモデルをSimFoundryのデータで微調整したところ、保留タスクにおける成功率は0％から29％へと跳ね上がりました。これは、ロボット企業が対象施設の基本的な動画撮影から合成トレーニングデータを生成できるようになり、物理的なデータ収集用ロボット群を配備する必要がなくなったことを意味します。

汎用ロボットを開発する企業にとって、このパイプラインにより、ボトルネックがデータ取得から計算処理へと移行します。遠隔操作による十分なデータを収集するために数ヶ月も待つ代わりに、

ロボットに新しいタスクを教えるためのデモンストレーションにおいて、エンジニアは短い動画を録画し、それをSimFoundryで処理することで、一晩で数千もの多様なトレーニングシナリオを生成することができます。これにより、開発サイクルが加速され、特殊なロボット動作を作成するための参入障壁が低くなります。

価値の観点

価値の観点から見ると、SimFoundryはトレーニングコストの構成要素において構造的なデフレ要因となります。現在、汎用ロボットポリシーの開発において、データ取得は最も削減が困難な経費となっています。高忠実度のシミュレーション環境の生成を自動化することで、新しいトレーニングシナリオの限界費用は、パイプラインを実行するための計算コストに近づきます。

さらに、評価の相関性は際立っています。SimFoundryによるシミュレーション評価は、平均ピアソン相関係数0.911で実世界のパフォーマンスを予測します。これは、ハードウェア企業がシミュレーション環境で新しいソフトウェアリリースをテストする際、その結果が実際の工場現場でも確実に再現されるという高い確信を持てることを意味し、現在導入スケジュールを遅らせている実機テストサイクルを大幅に短縮します。このレベルの予測可能性により、ロボット工学ソフトウェアにおいても継続的インテグレーション（CI）および継続的デプロイメント（CD）パイプラインが可能となり、従来のソフトウェア工学で見られるような迅速な反復サイクルが実現されます。

経済的な影響は甚大です。企業がシミュレーションで新しい把持ポリシーを確実に評価し、実際のロボットでの動作を90％以上の確度で予測できれば、実機テスト用ロボット群に必要な設備投資は大幅に削減されます。これにより、経済的な優位性は、物理的な設備規模が最大である企業から、シミュレーションのために膨大な計算リソースを活用できる企業へと移行することになります。

世界的な競争環境とタイムライン

シミュレーションデータのボトルネックを解決するための競争は、地理的および組織的な境界線に沿って明確に二分されている。米国では、資本集約的でソフトウェア主導のアプローチが採られている。NVIDIAは「Cosmos」を軸に主導的な立場にあり、

ダウンロード数が200万回を超える世界的な基盤モデルプラットフォームや、SimFoundryなどのツール。李飛飛氏が自ら立ち上げたスタートアップ「World Labs」は、2億3000万米ドルの資金調達に成功し、自社製品「Marble」を通じて生成型3Dワールドの商用化を進めている。DeepMindは「Genie 3」を用いて、生成型のインタラクティブなワールドの開発に取り組んでいる。

中国では、このアプローチは物理的なデータファクトリーや国家が支援する研究に大きく依存している。 AgiBotやUnitreeといった企業は、実世界の相互作用データを収集するために大規模な遠隔操作フリートを活用しており、物理的なデータ収集をインフラとしての競争優位性（モート）と位置付けている。一方、北京人工知能アカデミーは最近、シミュレーションの最前線を押し広げるべく、「Wujie Physis 0.1」という汎用ワールド基盤モデルを公開した。

SimFoundryは即時のタイムラインで運用されています。NVIDIAの研究予算に裏打ちされたオープンな研究リリースとして、そのコードと手法は各研究所が今すぐ採用可能です。モジュール式であるため、より優れたセグメンテーションモデルや3D生成モデルが開発され次第、それらを簡単に差し替えるだけで済み、その機能は自動的に拡張されます。独立した資金調達は必要なく、IsaacLabやOmniverse Computeの採用を促進することで、その価値はNVIDIAのエコシステム全体に還元される。このオープンリサーチ戦略により、NVIDIAは世界的なAIロボティクス開発の基盤層としての地位を確立している。

厳しい現実

シミュレーションから現実へのゼロショット転移はロボティクスの聖杯ですが、SimFoundryのベンチマークは依然として、食器の積み上げやマーカーの収納といった実験室内の限定的なタスクにとどまっています。産業現場での導入には、エッジケースやセンサーノイズ、ハードウェアの劣化への対応が必要ですが、これらは、デジタルデータがどれほど多様であっても、完全に再現することは困難です。信頼性を確保するための「最後の1マイル」においては、実世界でのデータ収集が依然として不可欠です。シミュレーション上のキッチンと、予測不可能な人間で溢れかえる混沌とした工場現場との間には依然として大きな隔たりがあり、その隔たりを埋めるには、単なる「デジタルクズン」の改良だけでは不十分です。