Orbbec stellt auf der ROSCon JP 2026 eine roboterunabhängige Datenplattform in Japan vor

Orbbec stellte auf der ROSCon JP 2026, die am 4. und 5. August 2026 in Tsukuba stattfand, erstmals in Japan eine roboterunabhängige Hardwareplattform zur Datenerfassung für „Physical AI“ vor. Im Mittelpunkt der Plattform stehen drei Geräte namens EGO, UMI und WristCam, die die Beobachtung aus der Ich-Perspektive, die Erfassung von Interaktionen zwischen Hand und Objekt sowie die Nahfeld-Datenerfassung auf Handgelenkebene zum Training von Roboterfähigkeiten unterstützen.

Das Unternehmen demonstrierte einen „Dual Ego“-Prototyp mit zwei 2-Megapixel-Fischaugenkameras, einer Synchronisationsgenauigkeit von einer Millisekunde, einer 1.000-Hertz-Sechs-Achsen-IMU und einem Gesamtgewicht von etwa 200 Gramm. Die EGO-RGB-D-Serie bietet Tiefenausgabe auf Chip-Ebene in Kombination mit einem Algorithmus namens „LingBot Depth“, um transparente und reflektierende Oberflächen zu verarbeiten, wie sie im Einzelhandel und im Gesundheitswesen häufig vorkommen.

Orbbec hat seinen Hauptsitz in Shenzhen und hat sich im Bereich der 3D-Bildverarbeitung für Robotik, Logistik und Einzelhandelssysteme einen Namen gemacht. Das Unternehmen produziert Tiefenkameras und Sensoren, die in Wahrnehmungsstacks von Robotern integriert werden können, und erweitert nun sein Angebot in Richtung Datenerfassung für „Physical AI“. Die Produkte des Unternehmens kommen bereits in Hitachis „CO URIBA“-System für freihändiges Einkaufen sowie in einem autonomen Krankenhauslogistikroboter eines der drei führenden japanischen Automobilhersteller zum Einsatz, wodurch Orbbec direkten Einblick in die realen betrieblichen Rahmenbedingungen in Japan erhält.

Orbbec positioniert am Körper getragene Sensorik als neues Arbeitspferd für Roboterdaten

Die Kernidee ist einfach und wirtschaftlich pragmatisch. Anstatt sich auf große Flotten teurer Roboter zu verlassen, um Interaktionsdaten zu generieren, werden leichte, synchronisierte Sensoren an menschliche Mitarbeiter und Forschungsteilnehmer angelegt, um anschließend stundenlange, gut beschriftete egozentrische Sequenzen zu erfassen, mit denen Manipulations- und Navigationsstrategien trainiert werden können. Einfach ausgedrückt handelt es sich hierbei um eine Art Dashcam und Maßband für den menschlichen Körper.

Physikalische KI-Modelle benötigen gepaarte Beobachtungen dessen, was der Träger gesehen hat, was seine Hände getan haben und was die Umgebung enthielt – und zwar mit hoher zeitlicher Auflösung. Orbbecs EGO liefert einen RGB-D-Stream aus der Ich-Perspektive sowie UMI

Der Prototyp zielt auf Ansichten der Interaktion zwischen Hand und Objekt ab, während die WristCam Nahaufnahmen von Szenen erfasst, die häufig durch Sichtbehinderungen gekennzeichnet sind und Robotern oft Schwierigkeiten bereiten. Der „Dual Ego“-Prototyp sorgt für eine enge Synchronisation, was bei der Zusammenführung von Daten aus mehreren Blickwinkeln für Aufgaben wie kontaktintensive Manipulationen oder schnelles erneutes Greifen von entscheidender Bedeutung ist.

Für japanische Entwickler, die Serviceroboter bauen, senkt dieser Ansatz die Vorlaufkosten und die Komplexität bei der Erstellung von Datensätzen. Universitäten und Unternehmenslabore können mit Menschen und Sensoren beginnen, anstatt vollständige Roboter in Krankenhäusern, Geschäften oder Fabriken einzusetzen. Dies reduziert den Aufwand für Sicherheitszulassungen und beschleunigt die Iteration, was der bedächtigen, aber anspruchsvollen Beschaffungskultur in Japan entgegenkommt.

Das Unternehmen stützt die Plattform auf EGO UMI und WristCam

EGO ist eine am Kopf befestigte Einheit, die für die egozentrische Erfassung mit RGB-D-Ausgabe auf Chipebene konzipiert ist. Diese Tiefenerfassung auf Chipebene ist von Bedeutung, da sie den Stromverbrauch und die Latenz im Vergleich zur Auslagerung der Tiefenberechnung auf einen Allzweckprozessor senkt. Orbbec kombiniert dies mit LingBot Depth, einer Optimierungs-Pipeline, die darauf abzielt, Tiefeninformationen auf glasartigen und glänzenden Objekten wiederherzustellen, die bisher Stereo- und Strukturlichtsysteme vor große Herausforderungen stellten.

UMI zielt auf die Hände und den feinkörnigen Bereich ab, in dem Werkzeuge und Produkte miteinander interagieren. Dies ist der Mikrobereich der Manipulation, in dem der Blickwinkel am wichtigsten ist. Die Anbringung einer zweiten Kamera mit weitem oder engem Sichtfeld näher an den Händen erhöht die Chance, genau den Moment zu erfassen, den ein Greifer sehen müsste – wie beispielsweise das Drehen eines Flaschenverschlusses oder die Ausrichtung eines Reißverschlusses.

WristCam bietet einen noch näheren Blickwinkel. Kameras auf Handgelenkhöhe mögen überflüssig erscheinen, liefern jedoch oft die nützlichsten Daten für das Greifen und Einführen, da sie unterhalb der Sichtlinie einer am Kopf befestigten Einheit sehen. WristCam-Daten helfen dabei, Regeln zur Auflösung von Verdeckungen zu erlernen und Bewegungsbahnen zu planen, die Selbstkollisionen oder Tischkanten vermeiden.

Der „Dual Ego“-Prototyp rundet die Hardware-Lösung ab. Zwei synchronisierte 2-Megapixel-Fischaugen-Kameras, die auf eine

Die Präzision im Millisekundenbereich in Verbindung mit einer 6-Achsen-IMU mit 1.000 Hertz sorgt für eine Zeitabgleichung auf Laborniveau. Dieses Maß an Synchronisation gibt Forschern Sicherheit bei der Korrelation schneller Handbewegungen mit visuellen Veränderungen, was für das Training von Modellen, die auf einer präzisen zeitlichen Kopplung von Aktion und Beobachtung beruhen, von entscheidender Bedeutung ist.

Tiefenmessung auf Chip-Ebene mit LingBot-Optimierung bewältigt Glas und Reflexionen

Transparente und reflektierende Materialien stellen für Tiefensensoren eine notorische Fehlerquelle dar. Verkaufsregale mit Schrumpffolie, Apotheken-Theken mit Acryl-Trennwänden und Krankenhauswagen aus Edelstahl können ungültige Tiefenmesswerte liefern. Orbbec setzt darauf, dass eine integrierte Tiefenverarbeitungs-Pipeline in Kombination mit einer proprietären Verbesserung diese Lücken so weit schließen wird, dass Modelle nicht übermäßig an ideale Szenen angepasst werden.

Tiefenmessung auf Chipebene setzt einen dedizierten Tiefenverarbeitungsblock neben dem Sensor voraus, was Jitter und Latenz reduzieren dürfte. Dies ermöglicht eine stabilere Kompensation der Eigenbewegung und eine sauberere Abstimmung mit IMU-Daten – beides entscheidend für die Odometrie und die Rekonstruktion kurzlebiger Kontaktereignisse. Die „LingBot Depth“-Verbesserung wird als zusätzliche Ebene beworben, die gelernte A-priori-Informationen nutzt, um schwierige Oberflächen auszufüllen, ohne dabei grobe Fehler zu erzeugen.

Der japanische Markt ist ein ideales Testfeld für diese Behauptung. Einzelhändler legen Wert auf eine gepflegte Präsentation, und Krankenhäuser halten hohe Hygienestandards mit glänzenden Einrichtungsgegenständen ein. Wenn EGO-Einheiten unter diesen Bedingungen konsistente Punktwolken erzeugen können, sparen Entwickler Stunden an Aufräumarbeit bei der Annotation und beim Debugging von Richtlinien. Ist dies nicht der Fall, werden die auf diesen Daten aufbauenden Systemstacks eine Anfälligkeit erben, die sich später in Pilotprojekten bemerkbar macht.

Japan bietet ein praktisches Testfeld für die Datenerfassung im Bereich der physikalischen KI

Japans demografische Entwicklung und industrielle Struktur schaffen einen starken Anreiz für die Automatisierung von Dienstleistungen. Eine alternde Bevölkerung und anhaltender Arbeitskräftemangel im Einzelhandel, in der Logistik und im Gesundheitswesen zwingen Unternehmen dazu, Assistenzsysteme einzuführen, die repetitive Belastungen reduzieren und Mitarbeiter entlasten, damit diese

kundenorientierte Aufgaben. Gleichzeitig sind die Erwartungen hinsichtlich Zuverlässigkeit und Sicherheit hoch, und die Beschaffungszyklen erfordern Nachweise, die unter den vor Ort herrschenden Bedingungen erbracht wurden.

Die ROSCon JP verkörpert diesen Pragmatismus. Es handelt sich um eine Fachveranstaltung, bei der Forscher, Integratoren und Forschungs- und Entwicklungsteams von Unternehmen Erfahrungen darüber austauschen, was bei ROS-basierten Implementierungen funktioniert und was nicht. Die Präsentation synchronisierter, egozentrischer Messsysteme und Tiefenkameras, die sich bereits in einem Hitachi-Einzelhandelsexperiment und bei einem Logistikroboter für Krankenhäuser bewährt haben, verleiht Orbbec mehr Glaubwürdigkeit als eine reine Präsentation per Folien.

Auch Tsukuba spielt eine wichtige Rolle. Die Stadt beherbergt führende Forschungseinrichtungen und Unternehmenslabore mit den Schwerpunkten Robotik und Materialwissenschaften. Die Nähe zu Universitäten und nationalen Forschungslabors erhöht die Wahrscheinlichkeit, dass die Plattform anhand realer Bewertungsrahmen getestet wird, wie beispielsweise Manipulations-Benchmarks und Navigation in strukturierten Gebäuden. Japanische Entwickler sind dafür bekannt, dass sie die Hardware von Anbietern vor jeder Kaufentscheidung strengen Belastungstests unterziehen.

Einzelhandel und Krankenhäuser zeigen Anzeichen für kurzfristige Nachfrage

Das „Hands-Free-Shopping“-Programm von CO URIBA deutet auf einen Weg zur Skalierung hin. Systeme zum kontaktlosen Einkauf erfordern eine zuverlässige Identifizierung der Kunden, die Erfassung des Regalbestands sowie das Verständnis des Kundenverhaltens, um Warenschwund zu minimieren und die Abrechnung korrekt durchzuführen. Egozentrische Daten sind ein wirkungsvolles Mittel, um Modelle so zu trainieren, dass sie Objektinteraktionen aus der Kundensicht verfolgen; diese Informationen fließen dann in Kameramodelle für den Laden ein, die dieselben Interaktionen ohne das Tragen von Sensoren erkennen sollen.

Krankenhäuser bieten ein anderes, aber ebenso relevantes Nachfrageprofil. Autonome Logistikroboter müssen mit Wagen, Türen und Aufzügen umgehen und dürfen den Personalbetrieb nicht stören. Um einen Roboter darauf zu trainieren, Griffe zu erfassen oder sich durch überfüllte Flure zu bewegen, liefern egozentrische Aufzeichnungen von Pflegekräften und Pflegebegleitern Referenzdaten zu Zeitabläufen und Bewegungsmustern, die von am Boden montierten Kameras nicht erfasst werden. WristCam- und UMI-Module könnten die benötigten handzentrierten Daten liefern

für den robusten Umgang mit Infusionsständern, Behältern und Tabletts.

Japans führende Automobilhersteller investieren zunehmend in Krankenhausroboter als Testumgebungen für fortgeschrittene Autonomie. Die Krankenhausumgebung weist strukturierte, aber variable Muster auf, die Wahrnehmung, Planung und die Mensch-Roboter-Interaktion auf die Probe stellen. Einer der drei führenden Automobilhersteller, der Orbbec-3D-Vision in einem Krankenhausroboter einsetzt, weist darauf hin, dass die Sensoren des Unternehmens die grundlegenden Anforderungen an Haltbarkeit und Kalibrierung erfüllen. Die Einbindung eines vom Menschen getragenen Datenstacks dient als Vorstufe für das Training von Verhaltensregeln für die nächste Generation von Manipulatoren.

Die Auswirkungen auf die Lieferkette erstrecken sich über Optik, Trägheitssensoren und Rechenleistung

Der Aufbau eines synchronisierten, leichten, egozentrischen Systemstacks ist ebenso sehr eine Herausforderung für die Lieferkette wie für die Algorithmik. Doppelte Fischaugenmodule erfordern zuverlässige Linsenlieferanten und eine präzise Kalibrierung. Japanische Unternehmen wie Tamron und Kowa konkurrieren bei diesen Komponenten mit chinesischen Anbietern wie Sunny Optical und Ofilm. Das Gleichgewicht zwischen lokaler Beschaffung in Japan und Massenfertigung in China wird von Unternehmenskunden genau beobachtet werden.

Die Auswahl und Integration von IMUs birgt eigene Risiken und Chancen. Sechsachsige Datenströme mit 1.000 Hertz stammen häufig aus Bauteilen von TDK InvenSense, was Orbbec einen potenziellen Vorteil als lokaler Partner in Japan verschafft. Hochgeschwindigkeits-IMUs verbrauchen mehr Strom und erzeugen Wärme, sodass Energieverwaltung und Wärmeableitung den Formfaktor und den Tragekomfort beeinflussen. Akkupacks müssen die japanische PSE-Zertifizierung bestehen, was eine weitere Compliance-Hürde darstellt.

Auch die Wahl der Edge-Computing- und Speicherlösungen spielt eine Rolle. Während die Tiefenverarbeitung auf dem Chip erfolgt, müssen egozentrische Aufbauten weiterhin Multistream-Videos mit synchronisierten Metadaten komprimieren und speichern. Dies spricht für eingebettete Prozessoren und NVMe-Speicher mit ausreichendem Durchsatz für Fisheye-Streams mit hoher Bildrate. Die Integration von ROS-kompatibler Middleware direkt auf dem Gerät oder über eine Kabelverbindung wird die Akzeptanz beeinflussen, da Forscher großen Wert auf Zeitstempel und die Integrität der Bag-Dateien legen.

Die Wartungsfreundlichkeit ist kein nebensächliches Thema. Vor Ort austauschbare Kabel und Halterungen, schweißbeständige Gehäuse sowie das Laden über Schnellladestationen können über den Erfolg oder Misserfolg von Pilotprojekten entscheiden. Sollte Orbbec die Produkte EGO, UMI und WristCam als modulare Bausätze mit Ersatzteilen und Kalibrierungswerkzeugen anbieten, würde dies Einwände seitens der Beschaffungsabteilungen abbauen. Erfordern die Bausätze jedoch eine häufige Neukalibrierung im Werk, steigen die Gesamtbetriebskosten, und japanische Einkäufer neigen dazu, die Lebenszykluskosten streng zu kalkulieren.

Der Wettbewerbsdruck durch globale und inländische Anbieter von Bildverarbeitungssystemen nimmt zu

Orbbec ist nicht das einzige Unternehmen, das egozentrische Daten für das Robotertaining nutzt. Stereolabs vermarktet ZED-Kameras, die am Kopf befestigt werden können. Luxonis wirbt für OAK-Module mit integrierter KI-Beschleunigung. Die RealSense-Produktreihe von Intel hat trotz einer Verlagerung des Unternehmensschwerpunkts nach wie vor eine große Anhängerschaft in Forschungslabors. Sony und Panasonic verfügen über ein umfangreiches Bildverarbeitungsportfolio und eine starke Vertriebspräsenz in Japan und könnten Sensoren mit Unternehmensdienstleistungen bündeln.

Über die Hardware hinaus hat die Forschung großer Technologieunternehmen den Markt mit egozentrischen Datensätzen und Vorgehensweisen versorgt. Projekte wie Ego4D und trainierte Manipulationsmodelle von Google, NVIDIA und Universitätslabors prägen die Erwartungen an Datenformate und Beschriftungskonventionen. Sollten sich Käufer für eine Standardisierung auf diese Ökosysteme entscheiden, hängt der Wert von Orbbec davon ab, wie effizient sich seine Datenströme in gängige Toolchains integrieren lassen. ROS-Kompatibilität ist dabei hilfreich, doch Entwickler achten vor allem auf die Qualität der Treiber, die Stabilität der Firmware und die Unterstützung durch die Community.

Auch lokale etablierte Akteure spielen eine Rolle. Preferred Networks und die Forschungsabteilungen von Toyota haben interne Datenpipelines für die Datenverarbeitung und autonome Mobilität aufgebaut. Sie könnten sich für hauseigene Systeme und maßgeschneiderte Kalibrierungen entscheiden, um geistiges Eigentum und Qualität zu kontrollieren. Damit bleibt ein Marktsegment offen für Standard-Kits an Universitäten, bei Start-ups und bei Tier-2-Integratoren. Orbbecs Weg zur Marktdurchdringung in Japan führt wahrscheinlich über diese Gruppen und über Partnerschaften mit Systemintegratoren.

Haftungsausschluss: Dieser Artikel dient ausschließlich zu Informationszwecken.

und stellt keine Finanz- oder Anlageberatung dar.