ロボットは「見る」ことができる。上海のこの研究所は、ロボットに「感じる」ことを教えるための3万時間分のデータを公開したばかりだ。

ロボットにシャツを畳んだり、コネクタをソケットに差し込んだりさせてみると、この10年間のコンピュータビジョン研究では決して解決されなかった問題に気づくことになる。つまり、重要な瞬間はカメラの死角、指と物体の接点で起こっており、そこでの成否は力、滑り、そして質感にかかっているのだ。 7月26日、上海のスタートアップと中国有数の大学が、この「死角」に対する解決策を発表した。その規模こそが注目すべき点だ。

英語名「NeoteAI」として活動するXinzhi Embodied Intelligence Technologyは、復旦大学「信頼性の高い具現化AI研究所」と共同で3つの技術報告書を発表した。これらは、両者が「NeoData」と呼ぶコーパスを基盤としている。 3万時間以上に及ぶ視覚・触覚の同期インタラクション動画、約140万本の操作クリップが含まれており、洗濯物の畳みからコネクタの抜き差しに至るまで、450種類の現実世界の長期タスクを網羅している。報道によると、このリリースには数十億枚の整合されたRGB画像および触覚フレームが含まれているという。 両機関は、データおよびそれに基づいて学習されたモデルの両方をオープンソース化すると述べている。

キャリブレーションに関して言えば、生成AIブームの火付け役となった視覚・言語データセットは、既存のインターネットから収集されたものでした。一方、触覚データにはスクレイピングできるインターネットが存在しません。1時間分のデータを得るためには、計測機器を装備したロボットや、手に持てる収集装置が物理的に物体に接触して収集を行う必要があり、これが、ほとんどの学術的な触覚データセットが数十時間から数百時間程度にとどまっている理由です。 もしNeoDataの規模が精査に耐えれば、これは史上最大級の触覚コーパスの一つとなるだろう。そして、それがシリコンバレーの研究室ではなく、設立から1年の中国のスタートアップによるものであるという事実自体が、エンボディッドAI競争における重要なデータポイントとなる。

なぜ触覚が10年にわたるロボット学習を打ち負かしたのか

少し話を脱線させて、なぜこのコーパスが議論に値するのかを説明しよう。現代のロボット制御アルゴリズムは、主にカメラデータを用いて学習されている

視覚情報と関節位置情報だけで、物体の把持や大まかなピック・アンド・プレースは可能です。しかし、接触の多いタスクでは、3つの複合的な理由により、この手法は通用しなくなります。第一に、オクルージョンです。接触の瞬間、ロボット自身の指が、どのカメラアングルから見ても相互作用を遮ってしまいます。 第二に、動力学：力はミリ秒単位で変化し、これはビジョンパイプラインがフレームを処理する速度よりも速いため、カメラが物体の滑りを捉えた時点では、接触時間においてその失敗はすでに数秒前のものであり、第三に、不可視性：成功を決定づける特性、すなわち摩擦、コンプライアンス、ケーブルの張力などは、画像には一切反映されない。 人間の手は、およそ17,000個の機械受容器と、脳が関与する前から把持力を補正する脊髄反射ループによって、これら3つの問題をすべて解決している。ロボットにはこれに匹敵するものはなく、それを学習するための大規模なデータセットもこれまで存在しなかった。NeoDataは、まさにこの空白を埋めることを目指している。

3つのモデルと1つの主張

今回のリリースでは、3つの技術的アプローチがまとめられており、それらが一体となって単一の主張を形成している。すなわち、「触覚は、視覚の付け足しではなく、独自のスケーリング法則を持つ第一級の知覚モードとして扱われるべきである」という主張だ。

最初の報告書である「NeoForce」は、長年にわたり触覚研究を分断してきた問題、すなわち「センサーごとに異なる言語を話している」という課題に取り組んでいる。異なる触覚ハードウェアからの測定値は互換性がなく、そのためデータセットを統合することができない。 NeoForceは、時間的構造とデバイス間転送を備えた統一的な触覚表現を提案している。これは実質的に、異なるセンサーの信号を投影できる共通の埋め込み空間である。説明どおりに機能すれば、共有トークナイザーがテキストコーパスの統合を可能にしたのと同様に、この分野におけるデータ融合のボトルネックを解決することになる。

2番目の報告であるVTLAは、予測機能を追加しています。従来のアプローチは現在の触覚測定値を使用しますが、これには物理現象に対する遅れが生じます。つまり、滑りが感知される頃には、物体はすでに動いているのです。VTLAモデルは

タッチ操作が今後最大50ステップ先までどのように展開するかを予測し、その予測に基づいてアクションを決定します。 接触を多用する2つのベンチマークで報告された結果――プラグ挿入で85％、キー抜き取りで99％の成功率――は、視覚情報のみに基づくポリシーが日常的に失敗する、地味ながらも高精度が求められるタスクであり、ライバル研究所が真っ先に再現を試みる数値となるだろう。

3番目の報告であるTWAMは、触覚世界モデルであり、ロボットが動作を実行する前に視覚的および触覚的な結果をシミュレートして操作を仮想的にリハーサルするシステムで、シミュレーションによる平均成功率は84.5％と報告されている。 ワールドモデルは、Nvidiaの「Cosmos」からGoogle DeepMindの「Genie」シリーズに至るまで、身体化AIの現在の最前線であるが、そのほぼすべてがピクセルを予測するものに留まっている。 触覚も予測するワールドモデルは極めて珍しいものであり、もしそのシミュレーションによるリハーサルが、報告された成功率に近い水準で物理的なハードウェアに転用できれば、ロボット訓練において最もコストがかかる部分――実物に対する失敗、実際の破損、そしてリアルタイムでの処理――を短縮することになるだろう。

コーパスを開発した企業

NeoteAIは設立間もない小規模な企業であり、意図的にフルスタック型を採用している。復旦大学「信頼性の高い具現化AI研究所」からスピンオフした同社は、 この上海の企業は5月下旬、1億元（約1,400万米ドル）に迫るエンジェルラウンドの調達を発表しており、その戦略は、復旦大学の陳文明研究チームによる研究成果から開発された独自の視触覚センサーから、データ収集、さらには触覚基盤モデルに至るまで多岐にわたる。 同社のデータ収集パイプラインは、実機ロボットと、人間が操作するハンドヘルド型の汎用マニピュレーションインターフェースデバイスの2つの経路で稼働しており、これにより、ロボットアームの倉庫を所有することなく、スタートアップ企業として3万時間のデータを蓄積することが可能となっている。

このフルスタックな体制は戦略的に重要だ。米国のエコシステムにおいては、触覚センシングは依然として主に

センサーを他社のロボット向けに販売する企業からなるコンポーネント事業。NeoteAIは、センサー、データ形式、モデルをすべて所有する企業が、機械の「感覚」に関する標準を確立すると見込んでおり、これはNvidiaがシミュレーション分野で占めている地位に相当する。 オープンソース化の取り組みは、こうした視点から捉えるべきだ。データやモデルを公開することで、自社のフォーマットやベンチマークをエコシステムに浸透させ、その分野のツール群が自社のハードウェアを中心に発展していくようにするのだ。 これは、Unitreeが低コストハードウェアで展開した戦略と同じであり、Ecovacsも今週末、本日別途取り上げるオープンソース化された家庭用ロボットプラットフォームで同様の戦略を展開している。

復旦大学との連携は、中国の「エンボディッドAI」分野がいかに深まりつつあるかというシグナルも示している。 「信頼性の高い具現化AI研究所」は、学術的なロボティクス技術を企業へと転換するために上海が設立した一連の大学附属研究所の一つであり、NeoteAIの軌跡――研究室のセンサーからエンジェルラウンドを経て、14ヶ月以内に注目を集めるデータセットの公開に至るまで――は、設計通りに機能しているテンプレートそのものです。 同じ週末、エコシステム全体で並行して証拠が示された。蘇州でのエコバックスによる家庭用ロボットプラットフォームのオープンソース化や、著名人からの資金が具現化AIベンチャーに流入していることなどであり、これらについても本日別途取り上げている。たった1つの週末に、信頼できる動きを見せる独立したプレイヤーがこれほど密集していること自体が、中国の具現化AIエコシステムがいかに急速に拡大しているかを示す指標となっている。

懐疑的な視点からのチェックリストは単純明快だ。報告書は著者自身によって公開されたものであり、まだピアレビューを受けていない。注目される成功率は著者自身が選んだタスクに基づくものであり、世界モデル内でのシミュレーション上の成功は、生産ラインでの実運用での成功とは異なる。 3万時間の正確な内訳、人間による手動収集とロボットによる体験の割合、そしてどれだけのデータが厳格な整合性チェックを通過するかが、このデータセットが「油田」となるか「ゴミ捨て場」となるかを決定づけるだろう。また、スタートアップによるオープンソース化の公約は、彼らのスケジュールに従って実現されるものであり、

コミュニティによるものです。ダウンロードリンクが公開されるまでは、その公約はあくまでマーケティングに過ぎません。覚えておくべき先例は、ビジョン言語ロボティクスそのものであり、そこではデータセットの発表が、実際に利用可能なリリースの公開より数四半期も先行することがありました。

なぜ「タッチ」が次のデータ競争の焦点になりつつあるのか

これを単なる1つのスタートアップの技術レポート以上のものへと引き上げている背景には、本誌が今月を通じて追跡してきたあるパターンがある。 体現型AIにおける希少なリソースは、計算能力や資本から、物理的に生成されなければならないためスクレイピングできない「体現データ」へと移行しつつある。KAISTとNvidiaは7月26日、臨床グレードの人体動作データから基盤モデルを構築するためのセンターを設立すると発表したが、これについては本日別途報じられた。 中国の国家統計局は、エンボディッドデータインフラの整備を進めており、北京から深センに至る各都市にトレーニング施設が存在するのは、まさにロボットの体験を大規模に作り出すためである。触覚は論理的に次の最前線となる。それは、人間の器用さがロボットの能力を最も上回るモダリティであり、かつ世界中で既存のデータが最も少ないモダリティだからだ。

また、ハードウェア購入者にとって注目すべきサプライチェーン上の影響もある。もし触覚モデルが中国のセンサーや中国のデータ形式に基づいて成熟すれば、触覚センシングはロボットの関節と同じ軌跡をたどる可能性があり、そこでは中国の「4-in-1」アクチュエータモジュールが事実上の世界標準となった。 欧米や日本のセンサーベンダーや巧みなハンドメーカー（この分野には、力・トルクセンシングの有力な既存企業も含まれる）は、NeoForceのような統一表現を単なる論文ではなく、標準化への取り組みとして捉えるべきである。

参入の可否を検討しているロボット工学チームにとって、実践的な手順は明確だ。通常のホスト上で約束されたリポジトリが公開されるのを待ち、公開されたらまずNeoForceの転送性能の主張を検証すべきである。なぜなら、センサーを真に橋渡しする表現形式であるかどうかが

こうしたタイプは、独自の小規模な触覚データセットを保有するあらゆる研究室にとって、即座に有益となるでしょう。VTLAのプラグ挿入およびキー抜き取りに関する数値を引用する前に、独立したハードウェア上でベンチマークを行ってください。 また、NeoDataのライセンス条件を戦略的な情報として扱うべきだ。商用利用が許可されているか、どのような帰属条件が適用されるかによって、NeoteAIが「コモンズ」を構築しているのか、それとも自社のセンサーへの「導管」を築いているのかが明らかになるだろう。

要約するとこうだ。ロボットはインターネットから「見る」ことを学んだが、「触覚のインターネット」は存在しない。したがって、誰かが時間をかけてそれを構築しなければならない。そして、復旦大学がインキュベートしたスタートアップが、これまでに公表された中で最大の先行優位性を確立したと主張したばかりだ。 NeoDataが、具現化AIにとっての「ImageNetの瞬間」となるのか、それとも過大評価されたコーパスに過ぎないのかは、報道ではなく再現性によって決まるだろう。いずれにせよ、機械に「感じる」ことを教える競争には今や明確なベンチマークが示されており、その長さは3万時間に及ぶ。

免責事項：本記事は一般的な情報提供のみを目的としており、投資、法律、または調達に関する助言を構成するものではありません。読者は、ビジネス上の意思決定を行う前に、一次情報源で詳細を確認する必要があります。