Physikalische KI entwickelt sich von Modellen hin zu Datenfabriken
Die größte Herausforderung im Bereich der physischen KI verlagert sich zunehmend vom Algorithmusdesign hin zur Erfassung und Validierung zuverlässiger Interaktionsdaten aus der realen Welt. Jüngste Entwicklungen in den Bereichen Tiefensensorik, Schnittstellen zwischen Gehirn und Roboter, Edge-Inferenz und Simulation zeigen, dass die Branche dabei ist, die für leistungsfähige verkörperte Systeme erforderliche Dateninfrastruktur aufzubauen. Der nachhaltigste technische Vorteil wird sich aus der Fähigkeit ergeben, physische Erfahrungen in großem Maßstab zu erfassen, zu kennzeichnen, zu simulieren, zu validieren und wiederzuverwenden.

Die physische KI tritt in eine anspruchsvollere Phase ein, in der die Ankündigung eines Modells nur so nützlich ist wie die dahinter stehenden Daten und das Validierungssystem. Die Realität auf dem Markt sieht so aus, dass Roboter bei alltäglichen Aufgaben nach wie vor versagen, wenn es ihren Trainingsdaten an Tiefe, Absicht, Kontext oder Beispielen für die Fehlerbehebung mangelt. Der strukturelle Wandel besteht in der Schaffung spezieller „Datenfabriken“, die menschliche Vorführungen erfassen und in wiederverwendbares Trainingsmaterial umwandeln. Daraus folgt, dass diejenigen Unternehmen die technischen Vorreiter sein werden, die physische Erfahrungen in einer zuverlässigen, skalierbaren Pipeline organisieren – und nicht diejenigen, die lediglich das größte Modell für sich beanspruchen.
Orbbec, ein in Shenzhen, China, ansässiges 3D-Vision-Unternehmen, das Tiefenkameras für Robotik und industrielle KI liefert, sowie BrainCo, ein in Massachusetts ansässiger Entwickler von Gehirn-Computer-Schnittstellen, der an der Dekodierung neuronaler Absichten und der Erfassung verkörperter KI-Daten arbeitet, veranschaulichen die neue Pipeline aus unterschiedlichen Blickwinkeln. Orbbec entwickelt Hardware zur Aufzeichnung räumlicher Interaktionen. BrainCo entwickelt Schnittstellen, die darauf abzielen, die motorische Absicht des Menschen parallel zur Handlung zu erfassen. Beide Unternehmen befassen sich mit demselben Engpass: Ein physisches KI-System benötigt mehr als nur ein Video einer Aufgabe. Es benötigt eine strukturierte Aufzeichnung der Umgebung, der Handlung, des Kontexts und des Ergebnisses.
Hochpräzise Daten werden zum knappen Input
In der Robotik wird oft die sichtbare Maschine in den Vordergrund gestellt. Kameras richten sich auf einen Humanoiden, der durch ein Lagerhaus geht, einen Roboterarm, der Stoff faltet, oder eine mobile Plattform, die durch einen Korridor navigiert. Diese Bilder sind nützlich, weil sie das Versprechen greifbar machen. Sie geben jedoch keinen Aufschluss über die Menge an strukturierten Informationen, die erforderlich ist, um das Verhalten zuverlässig zu gestalten.
Ein Roboter muss verstehen
Wo sich ein Objekt befindet, woraus es besteht, wie es sich bei Berührung bewegt, wie viel Kraft eine Aufgabe erfordert, welche Handlung als Nächstes folgt und was zu tun ist, wenn der erste Plan scheitert. Ein einzelnes Video kann zwar ein Ergebnis festhalten, ohne jedoch die physikalischen Zusammenhänge aufzuzeichnen, die dazu geführt haben. Ein Modell, das anhand zweidimensionaler Bilddaten trainiert wurde, kann zwar allgemeine Muster erlernen, verpasst jedoch möglicherweise die präzise Geometrie, die für einen durchsichtigen Becher, ein reflektierendes Teil oder ein teilweise verdecktes Werkzeug erforderlich ist.Aus diesem Grund entwickelt sich der aktuelle technologische Wettlauf zu einem Wettlauf um die Dateninfrastruktur. Die Branche investiert in Sensoren, die native Tiefeninformationen liefern, in tragbare Geräte, die den Blickwinkel eines Menschen erfassen, in Handschuhe, die Handbewegungen aufzeichnen, in Schnittstellen, die Absichten erkennen, sowie in Simulationssysteme, die seltene Beobachtungen aus der realen Welt vervielfachen. Das Ziel besteht darin, die unübersichtliche physische Welt in Trainingsmaterial zu verwandeln, das über verschiedene Aufgaben und Roboterformen hinweg wiederverwendet werden kann.
Der wertvolle Datensatz ist nicht einfach nur umfangreich. Er ist repräsentativ, synchronisiert und mit einem Ergebnis verknüpft. Er umfasst gewöhnliche Fälle, Grenzfälle, Wiederherstellungsereignisse sowie den Nachweis, dass eine Vorgehensweise in der beabsichtigten Umgebung funktioniert hat. Die Unternehmen, die in der Lage sind, diese Art von Datensatz aufzubauen, werden einen Vorteil haben, der sich nicht allein durch die Veröffentlichung einer neuen Architektur nachahmen lässt.
Tiefenerfassung verwandelt Demonstrationen in Trainingsmaterial
Die EGO RGB D-Serie von Orbbec bietet ein anschauliches Beispiel für die neue Datenerfassungsschicht. Das am Kopf befestigte System ist für die Erfassung von RGB-, Tiefen- und Inertialmessdaten aus der Ich-Perspektive im Rahmen des Trainings physischer KI- und Weltmodelle konzipiert. Der Zweck ist praxisorientiert: Die Perspektive eines menschlichen Bedieners zu erfassen und dabei die räumlichen Messwerte beizubehalten, die ein Roboter letztendlich nutzen muss.
Das System kombiniert die Kameraserie „Gemini 330“ des Unternehmens mit einer integrierten Tiefenberechnung. Es wird mit einer für Erfassungsaufgaben angepassten Version von „LingBot Depth 2.0“ kombiniert. Die Hardware erfasst native Tiefendaten, während das Modell dabei hilft, fehlende Bereiche zu vervollständigen, Objektgrenzen zu verfeinern und die räumlichen Informationen rund um schwierige Oberflächen zu verbessern. Orbbec berichtete, dass seine Verbesserungsfunktion in 12 von 16 Testkonfigurationen den niedrigsten quadratischen Mittelwertfehler erzielte. Das Unternehmen beschrieb zudem einen Trainingsdatensatz mit etwa 150 Millionen Datensätzen.Diese Benchmark-Ergebnisse sollten zwar als vom Unternehmen angegebene Leistungswerte betrachtet werden, doch das zugrunde liegende technische Problem ist unbestreitbar. Transparente, reflektierende und verdeckte Objekte stellen für Roboter eine Herausforderung dar, da das visuelle Erscheinungsbild allein kein stabiles räumliches Modell liefert. Ein Mensch kann ableiten, dass ein Glasobjekt Tiefe besitzt, selbst wenn Reflexionen dessen Kanten verdecken. Ein Roboter benötigt Daten, die dieselbe Schlussfolgerung unter wechselnden Licht-, Kamerawinkel- und Hintergrundbedingungen zuverlässig ermöglichen.
Das EGO-System spiegelt zudem einen Wandel hinsichtlich der Frage wider, wer die Trainingsdaten für Roboter erfasst. Ein Datenerfassungsteam muss nicht in jeder Situation einen fertigen Roboter bedienen. Es kann ein Gerät tragen, eine Aufgabe auf natürliche Weise ausführen und eine räumlich verortete Aufzeichnung der Arbeit erstellen. Dies kann die Kosten für die Erfassung von Beispielen für Manipulationsaufgaben senken und gleichzeitig das Modell der großen Vielfalt menschlichen Verhaltens aussetzen.
Der potenzielle Nutzen geht über einen einzelnen Roboter hinaus. Eine am Kopf befestigte Aufzeichnung kann mit Beobachtungen auf Handgelenkebene, Interaktionen zwischen Hand und Objekt sowie Ausführungsprotokollen des Roboters kombiniert werden. Sie kann für einen mobilen Manipulator, einen feststehenden Arm oder eine halbhumanoide Plattform verwendet werden. Die Datenebene wird zu einer gemeinsamen Ressource, selbst wenn
Die endgültigen Maschinenänderungen.Absicht kann zu einem Datenkanal werden
Die Plattform von BrainCo erweitert die Datenfrage über die Bewegung hinaus. Das Unternehmen demonstrierte ein System, bei dem ein EEG-Headset neuronale Signale erfasst, eine KI beabsichtigte motorische oder Steuerungsaktionen entschlüsselt und Befehle in weniger als 200 Millisekunden an einen Roboter übermittelt werden. Die Demonstration auf der WAIC zeigte einen Roboterarm, der präzise Aktionen wie das Greifen einer Tasse oder das Aufheben eines Apfels ausführte.
Eine Gehirn-Computer-Schnittstelle löst nicht das gesamte Problem der Robotik. Menschliche Nervensignale sind verrauscht, die individuellen Unterschiede sind erheblich, und eine sinnvolle Steuerung erfordert eine sorgfältige Kalibrierung. Der bedeutendere Beitrag könnte in der Rolle der Plattform bei der Datenerfassung liegen. BrainCo beschrieb ein System, das eine zweiarme, radgetriebene Datenerfassungsplattform, einen hochpräzisen Handschuh, Roboterausführungsdaten, menschliche Demonstrationen, virtuelle Simulationen und EEG-Daten kombiniert.
Diese Kombination ermöglicht eine umfassendere Beobachtung als eine einfache Motion-Capture-Aufzeichnung. Ein Handschuh kann Finger- und Handbewegungen erfassen. Eine Kamera kann das Objekt und die Umgebung aufzeichnen. Ein Roboter kann den Ausführungsweg aufzeichnen. Ein EEG-Kanal kann ein Signal über die beabsichtigte Handlung des Bedieners hinzufügen. Virtuelle Simulationen können die Daten um Varianten erweitern, die physisch nur schwer zu erfassen sind. Zusammen können diese Ebenen einem Modell helfen, zwischen einer tatsächlich stattgefundenen Bewegung und dem Ziel, das sie motiviert hat, zu unterscheiden.
Der Wert von Absichtsdaten wird besonders bei komplexen Aufgaben deutlich. Ein Mensch kann aus verschiedenen Gründen nach einem Objekt greifen. Der endgültige Griff, der Bewegungsweg und die Kraft hängen davon ab, ob das Objekt bewegt, untersucht, sortiert, geöffnet oder einer anderen Person übergeben werden soll. Ein Modell, das nur die Hand sieht
Der Pfad muss das Ziel indirekt ableiten. Ein System, das ein stärkeres Signal der Absicht erfasst, kann möglicherweise eine nützlichere Zuordnung zwischen Kontext und Aktion erlernen.Die unmittelbare wirtschaftliche Herausforderung wird darin bestehen, zu ermitteln, wo sich diese zusätzliche Komplexität bei der Erfassung lohnt. Am nützlichsten könnte sie bei Aufgaben mit hoher Varianz, feiner Manipulation oder hohen Fehlerstrafen sein. Die Technologie muss die herkömmliche Roboterprogrammierung nicht ersetzen, um von Bedeutung zu sein. Sie muss die Zeit verkürzen, die erforderlich ist, um einer Maschine eine wertvolle neue Fähigkeit beizubringen.
Simulation vervielfacht die vom Feld erfassten Daten
Physikalische Daten sind kostspielig. Eine Demonstration nimmt Zeit in Anspruch. Ein Robotertest kann Sicherheitsrisiken bergen. Ein seltener Fehler tritt möglicherweise nur einmal in Tausenden von Stunden auf. Die Simulation ist der notwendige Multiplikator, der knappe reale Erfahrungen in eine umfassendere Trainings- und Validierungsressource verwandelt.
NVIDIA stellte „Cosmos 3 Edge“ vor, ein Modell mit vier Milliarden Parametern, das darauf abzielt, visuelles Schlussfolgern und die Generierung von Roboterrichtlinien auf Jetson-Systeme zu bringen. Der Schritt hin zum Schlussfolgern auf dem Gerät selbst ist wichtig, da ein Roboter nicht immer auf eine entfernte Cloud-Verarbeitung warten kann, wenn er auf ein sich bewegendes Objekt, einen sich verändernden Arbeitsbereich oder ein Sicherheitsereignis reagieren muss. Lokale Inferenz kann die Latenz verringern und es einem Bediener ermöglichen, sensible Aufgabendaten näher am Einsatzort zu halten.
Ebenso wichtig ist das umfassendere Ökosystem rund um diese Veröffentlichung. NVIDIA gab bekannt, dass AIRoA, FANUC, Fujitsu, Hitachi, Kawasaki Heavy Industries, Kubota, NEC, SoftBank, Sony und Yaskawa beabsichtigen, der Cosmos Coalition beizutreten. Fujitsu untersucht gemeinsam mit FANUC, Yaskawa und Kawasaki eine kollaborative Steuerungsplattform, die Modelle, Simulationen, digitale Zwillinge und Roboterlernen kombiniert,
Simulation in reale Arbeitsabläufe sowie Validierung.Hierbei handelt es sich nicht um eine allgemeine Ankündigung einer Partnerschaft. Vielmehr werden die technischen Schnittstellen aufgezeigt, die erforderlich sind, um physische KI nutzbar zu machen. Ein Modell benötigt einen digitalen Zwilling, in dem es getestet werden kann. Der Zwilling benötigt genaue Anlagendaten. Die Richtlinien müssen von der simulierten Umgebung auf die reale Anlage übertragen werden. Die reale Anlage benötigt Telemetriedaten, die Fehlermodi aufzeigen. Die daraus resultierenden Daten müssen zurück in den Trainingszyklus fließen. Das System funktioniert nur, wenn jeder Schritt genügend Genauigkeit für den nächsten Schritt bewahrt.
Die Fertigungshalle ist der endgültige Datensatz
Der entscheidende Test eines physischen KI-Systems ist weder ein Benchmark noch eine Demonstration auf einer Konferenz. Es ist eine reale Betriebsumgebung, in der die Maschine wiederholt, sicher und mit einem nachvollziehbaren Wiederherstellungspfad arbeiten muss. Dieser Test verwandelt die Fertigungshalle in den endgültigen Datensatz.
Jeder Einsatz kann wertvolle Informationen liefern: wie lange eine Aufgabe dauert, wann Objekte übersehen werden, welche Lichtverhältnisse die Wahrnehmungsgenauigkeit beeinträchtigen, wie sich die Mitarbeiter anpassen und welche Wiederherstellungsmaßnahmen erfolgreich sind. Diese Informationen sind wirtschaftlich wichtiger als allgemeine Modellversprechen, da sie einem Roboterhersteller Aufschluss darüber geben, was vor der nächsten Installation geändert werden muss.
Die Branche wird sich bald in zwei Gruppen aufteilen. Die eine Gruppe wird beeindruckende Vorführungen sammeln und allgemeine Leistungsfähigkeit bewerben. Die andere wird disziplinierte Arbeitsabläufe aufbauen, die jede Interaktion erfassen, die relevanten Variationen simulieren, die Vorgehensweise validieren und das Gelernte in die nächste Kundenumgebung übertragen. Die zweite Gruppe wird sich einen sich verstärkenden Wettbewerbsvorteil verschaffen.
Ein Außendiensttechniker justiert einen am Kopf befestigten Tiefensensor, führt einen Roboter durch eine ihm unbekannte Montageaufgabe, beobachtet, wie sich die Maschine von einem falsch platzierten Bauteil erholt, und fügt der Trainingspipeline eine weitere hochwertige Sequenz hinzu.Diese Analyse fasst Unternehmensaussagen und öffentliche Marktaktivitäten zusammen.












