Simateは、Roboticsで「GPT-6を上回った」と主張している。同社のリーダーボードによると、その割合は27.96パーセントとなっている。

3月には存在すらしていなかったある企業が、今週、ロボット操作のランキングで首位に立った。そして、最も急速に広まった報道では、同社が「GPT-6-AstraやDeepMindを上回り」、世界1位を獲得したと伝えられた。 その主張にはスコアが一切伴っていなかった。日付も、ランキングへの掲載記録も、何らかの根拠と照らし合わせる手段もなかった。ただ、そうした主張が広まるように仕組まれている通り、情報は拡散していった。

しかし、この主張と共に広まらなかった事実がある。この企業が首位に立ったとされるベンチマークは独自の数値を公表しており、その数値によれば、この分野はまだかろうじて歩み始めたばかりである。人間が同じ操作タスクを完了した場合、現実世界では100％、シミュレーションでは76％のスコアを記録する。 今週のリーダーボード更新前の記録上最高のモデルである「Hy-Embodied-0.5-VLA」というオープンシステムでさえ、シミュレーションでは8.8％のスコアしか達成できなかった。暗記した指示ではなく、聞き慣れない音声指示を理解する必要があるタスクでは、テストされた全モデルを通じた最高スコアは1.67％にとどまった。 これこそが、「GPT-6を打ち負かした」という主張が立脚している、実際の最先端技術の実態である。私の主張は単純明快だ。エンボディッドAIは、まさにその評価者たちがこの分野がまだどれほど道半ばであるかを証明しているまさにその瞬間に、初期の言語モデル・リーダーボードの信用を損なったのと同じ「ベンチマーク・ハイプの失敗パターン」を、そのまま再現してしまったのだ。

誰も繰り返さなかった数字

このベンチマークは「RoboDojo」と呼ばれ、RoboTwinの開発チームによって構築され、7月に正式な論文として発表された。3つの物理ロボットアームを用いた42のシミュレーションタスクと18の実世界タスクを網羅し、汎化能力、記憶、精度、長期計画、および開放的な意味理解という5つの能力次元で評価が行われている。 これは単なるマーケティング用のランキングではない。これは、言語モデルがすでに持っているもの――標準化され、公開され、ピアレビュー可能な難易度曲線――を、体現型AIにも与えようとする試みである。

その曲線は意図的に過酷に設計されており、論文でもそのことが率直に述べられている。つまり、事前に練習されたタスクでは有能に見えるモデルも、指示がわずかに変わっただけで機能しなくなり、そして

ロボットが、訓練を受けていない家庭や倉庫で作業する際、最も重要な側面において、その性能の低下が最も顕著に現れる。そのギャップを浮き彫りにするために構築されたベンチマークは、スコアが低くなれば、その役割を果たしていることになる。問題はベンチマークそのものではない。問題は、そこに新しい数値が付け加えられた瞬間に何が起こるかである。

今週実際に何が変わったのか

9月23日、Simate-betaという新規参入者がRoboDojoのシミュレーションリーダーボードに追加され、スコアは33.95（正規化後27.96％）を記録した。 7月に公表された最高スコアである8.8％と比較すると、これは著しい飛躍であり、私はこの成果を過小評価しないよう注意したい。このモデルのトレーニングパイプラインには、10週間前に存在していたものよりも明らかに優れた要素があるのだ。Simate自体も、この改善が実現してからの歴史はごく短い。 同社は6月、自動運転企業の元幹部、世界モデルを研究するHKUST（香港科技大学）の助教授、そして以前Metaに買収されたフィジカルAIスタートアップの立ち上げに携わったエンジニアによって設立されました。 同社は、3ヶ月間にわたり複数の資金調達ラウンドを通じて、名前を明かしていない投資家から、金額は非公開ながら「数億人民元」（現在の為替レートで数千万米ドル）とだけ説明されている資金を調達した。

これら自体は問題ではない。真の技術的成果を追う「速やかな資金」の流入は、この業界が常に機能してきた仕組みだ。読者が一考すべきは、次の事実である。すなわち、リーダーボード首位という結果の主張が、いかなる独立した第三者機関による再検証も行われる前に公表されてしまったという点だ。 この件について比較的慎重な報道の一つは、その結果を「自己申告によるものであり、独立した再検証は行われていない」と平易な言葉で説明し、Simate自身の技術報告書は後日公開される予定であると指摘していた。 検証されていない27.96％というスコアが、市場では「GPT-6を上回った」と受け止められている。

二つのリーダーボードの物語

これに対し、別の学術チームによる競合ベンチマークであるRoboCasaは、十分な期間運用されており、そこから得られる教訓が蓄積されている。

RoboDojoは、まだ学習する必要がありませんでした。RoboCasa独自の提出ルールでは、クローズドソースのモデルについては、スコアが公開される前に、ベンチマークのメンテナンス担当者にモデルとそのコードへの非公開アクセス権を付与することが義務付けられています。一方、オープンソースの提出物は、コードがプルリクエストに公開されているため、公開の場で検証が行われます。 そのリーダーボードでは、現在3つの異なる検証済みシステムが、タスクセットで70～80パーセントの正答率を達成している。GR00Tのリリース版にワールドモデルアドオンを組み合わせたものが72.6パーセント、Xiaomiが開発したポリシーが74.5パーセント、そして別のシステムが79.2パーセントだ。

この対照を少し考えてみてほしい。 2つのベンチマーク、2つの研究コミュニティ、そして体現型AIがどれほど進歩したかを示す2つの異なる姿。その違いは、主に「どちらのロボットが賢いか」という点にあるわけではありません。それはタスク設計の違い――5つの困難な次元対、よく練られた1つのキッチン――であり、検証の違い――非公開アクセス要件対、依然として非公式なリーダーボードの更新――にあるのです。 RoboDojoの27.96％とRoboCasaの79.2％を比較し、モデルの相対的な品質について何らかの結論を下す読者は、真実を何も理解していない。その比較は「リンゴとオレンジ」の比較ですらない。そもそも「農産物」ですらないのだ。

ハードウェアの実際のコスト

私は、ロボットとは何か、そしてロボットが実際に何をするのかという分類体系を長年にわたり維持してきた経験から、このような誇大宣伝のサイクルに対する精神的な是正策を常に心に留めている。それは、「誰も宣伝していない物語の部分を探し出せ」というものだ。 今回のケースでは、それはアームだ。RoboDojoの実世界でのタスクは、他のプラットフォームの中でも特に、AgileX Robotics社の「Piper X」上で実行されている。これは6軸アームで、同社自身のサイトでは送料・税抜きで1,999米ドルと記載されている。 GPT-6キラーとして称賛されているこのモデルは、その物理的な形態としては、デスクトップPC並みの価格のロボットアームに過ぎず、シミュレーションでは10回中約7回、実世界ではさらに高い失敗率でタスクを実行しています。これはハードウェアへの批判ではありません。この価格帯において、それは真に優れた技術的成果だからです。 これは、読者にそれよりも高度なものを想像させようとする見出しに対する是正である。

明日、工場へと歩み入るヒューマノイドに。

次に注目したいこと

この話の真実を率直に言えば、「中国がロボット工学の分野で西側諸国を追い抜いた」ということではない。「真剣な研究者たちが構築したベンチマークが、まさに設計通りに機能しており、その新たな参加者を巡る報道の流れは、リーダーボードの主張を巡る報道が常にそうであるように、まさにその通りの展開を見せている」ということだ。 私は、評価者たちがホールドアウトテストセットを構築し、人々が実際に信頼できる第三者監査が行われるようになるまでの2年間、言語モデルにおいてまさにこの同じパターンが繰り返されるのを目の当たりにしてきた。現在、具現化AIは、より困難な課題に直面し、記憶も短い中で、この同じ教訓の独自のバージョンを経験している。

私が次に注目したいのは、Simateの数値が維持されるかどうかではない（とはいえ、誰かが検証してくれることを願っているが）。 私が注目しているのは、次なる「ランキング首位」を謳う話題が拡散する前に、RoboDojoのメンテナンス担当者がRoboCasaのような「非公開アクセス要件」を採用するかどうか、そして、そのランキングのトップに立つ次の創業者（ファウンダー）が、見出しが出る「後」ではなく「前」に技術レポートを公開するかどうかだ。 これら2つのうちいずれかが起こるまでは、この分野における「GPT-6を凌駕した」という主張を正直に解釈すれば、その結論は常に同じになるだろう。つまり、「検証されていない」「まだではない」、そして「おそらく表面上の主張とは異なる」ということだ。

本コラムは、2026年9月27日時点の公開ベンチマーク資料、企業声明、および学術論文に対する筆者自身の分析を反映したものです。これは一般的な情報提供のみを目的としており、投資、財務、または法律上の助言を構成するものではありません。

ヒーロー画像：RoboDojoの実世界評価タスクで使用される物理プラットフォームの一つである、AgileX Robotics社のロボットアーム「PiPER-X」。公式製品写真。提供：AgileX Robotics。