物理人工智慧從模型邁向資料工廠

實體人工智慧的主要限制,正從演算法設計轉移至可靠真實世界互動資料的蒐集與驗證。 近期在深度感測、腦機介面、邊緣推理及模擬等領域的進展,顯示業界正致力建構具備強大能力的具身系統所需之數據基礎架構。最具持久性的技術優勢,將來自於能夠大規模地擷取、標註、模擬、驗證及重複利用實體體驗的能力。

A
4分鐘閱讀Posted: 2026年7月19日
物理人工智慧從模型邁向資料工廠

實體人工智慧正邁入一個要求更嚴苛的階段,在此階段中,模型的發布價值取決於其背後的數據與驗證系統。市場現實是,當機器人的訓練數據缺乏深度、意圖、語境或恢復案例時,它們在執行普通任務時仍會失敗。 這場結構性轉變的關鍵在於建立專用的「數據工廠」,用以捕捉人類示範並將其轉化為可重複使用的訓練素材。這意味著,技術領先者將是那些能將實體經驗組織成可靠且可擴展的流程的公司,而非僅僅宣稱擁有最大模型的公司。

總部位於中國深圳、為機器人及工業人工智慧供應深度攝影機的 3D 視覺公司 Orbbec,以及總部位於麻薩諸塞州、專注於神經意圖解碼與具身人工智慧資料擷取的腦機介面開發商 BrainCo,正從不同角度展現這條新管道。Orbbec 正在開發用於記錄空間互動的硬體設備。 BrainCo 則正在開發旨在同步記錄人類動作意圖與實際動作的介面。兩者皆在解決同一個瓶頸:實體 AI 系統需要的不僅是任務的影片,還需要對環境、動作、情境及結果的結構化記錄。

高保真數據成為稀缺的輸入來源

機器人學的論述往往著重於可見的機器。攝影機聚焦於穿梭倉庫的人形機器人、摺疊布料的機械手臂,或是穿梭走廊的移動底盤。這些影像之所以有用,是因為它們讓技術的承諾變得具體可感。然而,它們並未揭示使行為可靠所需的大量結構化資訊。

機器人需要理解

物體的位置、材質、被觸碰時的移動方式、執行某項任務所需的力道、下一步該採取什麼動作,以及當最初的計畫失敗時該如何應對。一段影片可能只記錄了結果,卻未記錄出該結果的物理關聯性。 在平面視覺資料上訓練的模型,雖然可能學會廣泛的模式,卻可能忽略了透明杯子、反光部件或部分被遮擋的工具所需要的精確幾何結構。

這正是當前技術競賽正轉變為數據基礎設施競賽的原因。 業界正投資於能提供原生深度資訊的感測器、可捕捉人類視角的可穿戴裝置、能記錄手部動作的手套、可偵測意圖的介面,以及能放大稀有真實世界觀察結果的模擬系統。目標是將混亂的物理世界轉化為可跨任務與機器人形態重複使用的訓練素材。

有價值的資料集不僅僅是規模龐大。它必須具有代表性、同步性,並與結果相關聯。其中包含普通情況、邊緣案例、恢復事件,以及證明某項策略在預期環境中確實有效的證據。能夠建立此類資料集的公司,將擁有僅憑發布新架構無法複製的優勢。

深度感測將示範轉化為訓練素材

Orbbec 的 EGO RGB D 系列為這種新型資料擷取層提供了鮮明的範例。這款頭戴式系統專為在實體 AI 及世界模型訓練中,以第一人稱視角擷取 RGB、深度及慣性測量資料而設計。其目的極具實用性:在擷取人類操作員視角的同時,保留機器人最終必須使用的空間測量數據。

該系統結合了該公司的 Gemini 330 相機系列與內建深度運算功能,並搭配專為資料蒐集任務所調整的 LingBot Depth 2.0 版本。 硬體負責記錄原始深度數據,而該模型則協助填補缺失區域、精細化物體邊界,並改善複雜表面周圍的空間資訊。Orbbec 表示,其增強能力在 16 種測試配置中的 12 種達到了最低的均方根誤差。該公司還描述了一個包含約 1.5 億個樣本的訓練資料集。

這些基準測試結果應視為公司報告的性能表現,但其背後的工程難題是不容置疑的。對於機器人而言,透明、反射性及被遮擋的物體極具挑戰性,因為僅憑視覺外觀無法建立穩定的空間模型。 人類即使在反射影像遮蔽物體邊緣的情況下,仍能推斷玻璃物體具有深度。機器人則需要能夠在光線、相機角度及背景條件變化的情況下,仍能可靠地做出相同推斷的數據。

EGO 系統也反映出機器人訓練資料蒐集者身份的轉變。 資料蒐集團隊無需在各種情境下操作已組裝完成的機器人。團隊成員只需配戴裝置,自然地執行任務,即可建立具有空間錨點的工作紀錄。此舉不僅能降低操作任務範例的蒐集成本,更能讓模型接觸到人類行為的豐富多樣性。

其潛在價值不僅限於單一機器人。頭戴式記錄裝置可與手腕級觀察資料、手部與物體的互動,以及機器人執行日誌相互搭配。無論是移動式操作臂、固定式機械臂,還是半類人型平台,皆可運用此技術。即使在

最終的機器會有所變更。
意圖可成為資料通道

BrainCo 的平台將數據應用範圍擴展至動作控制之外。該公司展示了一套系統:透過腦電圖(EEG)頭戴裝置擷取神經訊號,由人工智慧解碼預期的運動或控制動作,並在 200 毫秒內將指令傳送至機器人。在 WAIC 展會上的示範中,機械手臂成功執行了抓取杯子或撿起蘋果等精準動作。

腦機介面並不能解決機器人技術的所有問題。 人類的神經訊號存在雜訊,個體差異相當顯著,且要實現有效的控制需要仔細校準。該平台更為關鍵的貢獻,或許在於其在資料蒐集方面的作用。BrainCo 描述了一套系統,該系統整合了雙臂輪式資料蒐集平台、高精度手套、機器人執行資料、人類示範、虛擬模擬以及腦電圖(EEG)資料。

這種組合能產生比單純動作捕捉記錄更豐富的觀察資料。手套可記錄手指與手部的動作;攝影機則可記錄物體與場景。 機器人可記錄執行路徑;腦電圖(EEG)通道則能提供關於操作者預定動作的訊號;虛擬模擬則能將數據延伸至實體環境中難以收集的變體情境。這些層面相互結合,有助於模型區分「實際發生的動作」與「驅動該動作的目標」之間的差異。

在複雜任務中,意圖數據的價值尤為顯著。人類伸手取物可能出於多種原因。最終的抓握方式、路徑與施力程度,取決於該物體是為了移動、檢查、分類、開啟,還是要交給他人。若模型僅觀察手部動作

路徑必須間接推斷目標。若系統能記錄更強烈的意圖訊號,便可能建立出更實用的情境與動作對應關係。

當前的商業挑戰在於判斷,這種額外的擷取複雜度在何種情況下值得投入成本。它可能在變異性高、操作精細,或錯誤代價極大的任務中最具價值。這項技術無需取代一般的機器人編程就能發揮作用,它需要做的是縮短教導機器一項有價值新技能所需的時間。

模擬技術能放大實地擷取的效益

實體數據成本高昂。示範需要時間。機器人試驗可能造成安全風險。某些罕見的故障可能數千小時才會發生一次。模擬是必要的倍增器,能將稀缺的實際經驗轉化為更廣泛的訓練與驗證資源。

NVIDIA 推出了 Cosmos 3 Edge,這是一個擁有 40 億個參數的模型,旨在將視覺推理與機器人策略生成功能帶入 Jetson 系統。邁向裝置端推理的趨勢至關重要,因為當機器人必須對移動物體、變化的工作空間或安全事件做出反應時,它無法總是等待遠端的雲端處理。 本地推論可降低延遲,並讓操作員將敏感的任務資料保留在更接近現場的位置。

圍繞此次發布的更廣泛生態系統同樣至關重要。 NVIDIA 表示,AIRoA、FANUC、富士通、日立、川崎重工業、久保田、NEC、軟銀、索尼及安川電機均有意加入其「Cosmos 聯盟」。富士通正與 FANUC、安川電機及川崎重工業共同探索一套協作控制平台,該平台將整合模型、模擬、數位孿生、機器人學習等技術,

從模擬到實際工作流程,以及驗證。

這並非一則泛泛的合作聲明,而是具體闡明了讓實體人工智慧發揮實用價值所需的技術交接環節。 模型需要一個數位孿生來進行測試。這個孿生需要精確的工廠數據。相關策略必須從模擬環境轉移到實際設備上。實際設備需要能揭露故障模式的遙測數據。所產生的數據需要回流至訓練迴路中。只有當每個步驟都保持足夠的保真度以供下一個步驟使用時,系統才能正常運作。

工廠車間即是最終的資料集

實體人工智慧系統的最終考驗,既非基準測試,亦非會議展示。而是機器必須在實際運作環境中反覆、安全地執行任務,並具備可理解的恢復路徑。這項測試將工廠車間轉化為最終的資料集。

每次部署都能產生寶貴的資訊:任務耗時多久、何時會漏檢物件、哪些照明條件會降低感知準確度、工人如何適應,以及哪些恢復措施奏效。這些資訊比籠統的模型宣稱更具商業價值,因為它們能告訴機器人製造商,在下次安裝前必須做出哪些調整。

該產業即將分化為兩大陣營。一派將著重收集令人印象深刻的示範,並宣傳其通用能力;另一派則會建立嚴謹的流程,詳實記錄每次互動、模擬相關變數、驗證運作策略,並將所學應用於下一個客戶環境。後者將因此建立起複利式的競爭優勢。

一名現場工程師調整頭戴式深度感測器,引導機器人完成一項陌生的組裝任務,觀察機器如何從零件擺放錯誤的情況中恢復運作,並在訓練流程中新增一個高價值的作業序列。

本分析綜合了公司聲明與公開市場動態。