Simate宣称在Robotics上“击败了GPT-6”。但其自身的排行榜显示成绩为27.96%。

一家3月份还根本不存在的公司本周登上了机器人操控排行榜的榜首，而传播最广的说法称，该公司已“超越GPT-6-Astra和DeepMind”，夺得全球第一。 这一说法并未附带任何分数。没有日期，没有排行榜条目，也无法通过任何途径进行核实。它就这样传播开来——就像此类说法天生就该那样传播一样。

但有件事并未随之传播开来：这家登顶的公司所参考的基准测试会公布自身数据，而这些数据表明，该领域仍处于蹒跚学步的阶段。在现实世界中，人类完成相同的操作任务得分可达100%，而在模拟环境中则为76%。 在本周排行榜更新之前，有记录的最佳模型——一个名为Hy-Embodied-0.5-VLA的开放系统——在模拟环境中的得分仅为8.8%。在需要理解陌生语音指令（而非背诵过的指令）的任务中，所有受测模型的最高得分仅为1.67%。 这就是“击败GPT-6”这一说法所立足的实际技术现状。我的论点很简单：就在具身AI的评估者们正证明该领域还有多远路要走之际，它却恰恰重蹈了早期语言模型排行榜因“基准测试炒作”而失信的覆辙。

那个无人复现的数字

该基准测试名为RoboDojo，由RoboTwin团队构建，并于7月以正式论文形式发表。它涵盖了三台物理机械臂执行的42项模拟任务和18项真实世界任务，并从五个独立的能力维度进行评分：泛化能力、记忆力、精确度、长时限规划以及开放式语义理解。 这并非一份营销性质的排行榜。其目的是为具身人工智能提供语言模型早已具备的东西——一条标准化、公开发布且可经同行评审的难度曲线。

该难度曲线的设计初衷就是极具挑战性，论文也直言不讳地指出：那些在预先演练的任务中表现出色的模型，一旦指令发生哪怕微小的变化，就会彻底崩溃，而

在对于一台在未经过训练的家庭或仓库环境中工作的机器人而言，最关键的维度上，其表现崩溃最为严重。一个旨在揭示这一差距的基准测试，当得分较低时，就说明它发挥了应有的作用。问题不在于基准测试本身，而在于当一个新数值被硬塞进去的那一刻会发生什么。

本周究竟发生了什么变化

9月23日，一个名为Simate-beta的新参赛者被加入RoboDojo的模拟排行榜，得分33.95，标准化后为27.96%。 与7月公布的8.8%这一最佳成绩相比，这确实是一个巨大的飞跃，我必须谨慎对待，以免抹杀这一成果：该模型的训练流程中，某些环节确实比十周前有了显著提升。Simate本身成立的时间也仅比这一改进稍早一些。 该公司由一位来自自动驾驶公司的高管、一位研究世界模型的香港科技大学助理教授，以及一位曾参与创建一家后来被Meta收购的物理人工智能初创公司的工程师，于6月共同创立。 在短短三个月内，该公司通过多轮融资从未公开身份的投资者处筹集了一笔金额未披露的资金，仅被描述为“数亿元人民币”（按当前汇率折合数千万美元）。

这些情况本身并不构成问题。快钱追逐真正的技术突破，一直是该行业的运作方式。但真正值得读者警惕的是下一个事实：关于取得排行榜榜首成绩的声明，在任何独立第三方重新验证之前就已公之于众。 关于此事的一篇较为审慎的报道直言不讳地指出，该结果系公司自行申报，未经独立重新验证，并指出Simate自己的技术报告将留待日后公布。 这一未经核实的27.96%得分，正被市场解读为“超越GPT-6”。

两个排行榜的故事

相比之下，由另一支学术团队开发的竞争性基准测试RoboCasa已运行足够长时间，足以从中汲取经验教训

RoboDojo 目前尚无需学习。RoboCasa 自身的提交规则要求，任何闭源模型在发布分数之前，必须向基准测试维护者授予对模型及其代码的私有访问权限。开源提交则采用另一种公开验证方式，因为代码就直接放在拉取请求中。 在该排行榜上，目前有三个不同的经过验证的系统在其任务集上达到了 70% 至 80% 的通过率：一个搭配世界模型插件的 GR00T 版本达到 72.6%，小米开发的策略模型达到 74.5%，还有另一个系统达到 79.2%。

请花一点时间细细品味这种对比。 两个基准测试、两个研究社区、两种关于具身人工智能发展程度的截然不同的图景，而其中的差异主要并不在于哪家的机器人更聪明。关键在于任务设计——五个高难度维度与一个经过充分演练的厨房场景之间的对比，以及验证方式——私有访问要求与仍处于非正式阶段的排行榜更新之间的差异。 如果读者将RoboDojo的27.96%与RoboCasa的79.2%进行比较，并据此对模型的相对质量做出任何结论，那他根本没有真正理解问题。这种比较不仅不是“苹果与橘子”的对比，甚至连“水果”都算不上。

硬件的实际成本

对于像这样炒作过度的周期，我心中始终保持着一种矫正机制——这是基于多年来对机器人本质及其实际功能的分类研究而形成的：去寻找故事中那个无人宣传的部分。 在本例中，关键在于机械臂。RoboDojo的实际任务运行在多个平台上，其中包括AgileX Robotics的Piper X——这是一款六轴机械臂，该公司官网标价为1,999美元（不含运费和税费）。 这款被誉为“GPT-6杀手”的机器人，其实体形态其实只是一台价格与台式电脑相当的机械臂，在模拟环境中执行任务时约十次有七次会失败，而在现实世界中的表现甚至更差。这并非对硬件的贬低——以这个价格而言，它确实是一件性能出众的工程杰作。 这只是对某些标题的纠正——那些标题试图让你想象出更接近……

明天将有一位类人机器人走进一家工厂。

接下来我会关注什么

这个故事的真实版本并非“中国在机器人领域实现了跨越式发展，超越了西方”，而是“由严肃的研究人员建立的基准测试正在完全按照其设计目的运行，而围绕其新入围者的媒体炒作，也完全符合围绕排行榜主张的媒体炒作一贯的模式”。 在评估者建立保留测试集并引入真正值得信赖的第三方审计之前，我曾连续两年目睹语言模型领域上演同样的模式。如今，具身人工智能正在经历它自己版本的这一教训——面对更棘手的问题，却拥有更短暂的“记忆”。

接下来我关注的重点并非Simate的数值能否经得起检验——尽管我希望有人能进行核查。 而是RoboDojo的维护者是否会在下一次引发热议的排行榜主张出现之前，采纳类似RoboCasa的私有访问要求；以及下一位登顶该排行榜的创始人是否会在头条新闻发布之前而非之后公布技术报告。 在上述两件事中至少有一件发生之前，对于该领域内任何“击败GPT-6”的声明，诚实的解读都是相同的：未经证实，尚未证实，而且很可能并非表面所言。

本专栏反映了作者对截至 2026 年 9 月 27 日公开基准测试文档、公司声明及学术出版物的独立分析。本文仅供一般信息参考，不构成投资、财务或法律建议。

封面图：AgileX Robotics的PiPER-X机械臂，这是RoboDojo实际评估任务中使用的物理平台之一，官方产品照片。图片来源：AgileX Robotics。