Visual Perception System

Andrea Gillhuber,

Visual Perception System steuert Roboter

Um Industrie- und Serviceroboter mit visueller Wahrnehmung auszustatten, wurde das 3D-Visual-Perception-System Viper entwickelt. Alle Aufgaben zur Objekterkennung und -klassifizierung werden auf einem Prozessor des Embedded-Vision-Systems verlagert, und die Rechenkapazitäten des Roboterprozessors bleiben für die Roboternavigation reserviert. 

3D-Visual-Perception-System Viper. © Rubedos Sistemos

Lange Zeit war die Bildverarbeitungstechnologie bekannt für ihre Komplexität bei Entwicklung und Integration. Selbst heute noch benötigen viele Machine-Vision-Lösungen spezielle Fähigkeiten oder Unterstützung durch mitunter teure Integrationsleistungen, etwa bei der Implementierung von Bildverarbeitung in Robotikanwendungen. Im Kontext von Industrie 4.0 und zunehmender Automatisierung steigt jedoch die Nachfrage nach standardisierten und bezahlbaren Bildverarbeitungslösungen, die einfach zu integrieren sind und die Wahrnehmungsfähigkeit eines Industrieroboters verbessern. Darüber hinaus sind solche Systeme auch Voraussetzung für die Eroberung neuer Anwendungsfelder außerhalb der Fabrikhalle, die üblicherweise unter dem Begriff „Servicerobotik“ zusammengefasst werden. In diesem Bereich konnten in den letzten zehn Jahren deutliche Fortschritte erzielt werden, etwa bei unbemannten Luftfahrzeugen (UAVs) wie Drohnen und unbemannten Bodenfahrzeugen (UGVs), die durch den Einsatz komplexer Algorithmen und Sensoren einen deutlich höheren Grad an Autonomie erreicht haben. Beschleunigt wurde die Integration von Computer-Vision-Systemen auch durch die zunehmende Miniaturisierung von Komponenten, welche Embedded-Vision-Systeme erst ermöglichte. Wirklich verlässlich funktionierende Systeme mit „sehenden Robotern“ stehen aber noch immer vor großen Herausforderungen, zu denen beispielsweise die Erkennung, Klassifizierung und Umgehung von Hindernissen gehören.

Anzeige

In den letzten Jahren wurden Grafikprozessoren (GPU) deutlich leistungsfähiger und erschwinglicher. Die von Nvidia entwickelte CUDA-Technologie ermöglicht den vielseiteigen Einsatz von Embedded-Systemen, die bis dahin nicht in der Lage waren, rechenintensive Aufgaben nahezu in Echtzeit durchzuführen. Das litauische Unternehmen Rubedos ist spezialisiert auf mobile Robotiklösungen und hat sich die Nvidia-Technologie bei der Entwicklung ihres 3D-Visual-Perception-Systems Viper speziell für visionbasierte, unabhängig agierende Robotikanwendungen zunutze gemacht. Als Ergebnis mehrjähriger Forschung und Entwicklung hat Rubedos Algorithmen entwickelt, die dem Roboter ein Umgebungsbewusstsein verschaffen und so eine unabhängige Navigation des Roboters ermöglichen, bis hin zur 3D-Objekterkennung und Klassifizierung der Objekte in Kategorien.

Visualisierung durch das Viper-System. © Rubedos Sistemos

Das Viper-System ist eine Kombination aus 3D-Sensorik und flexibel nutzbarer Recheneinheit. Es besteht aus einem synchronisierten Paar handelsüblicher 2D-Sensoren, einer auf der kundenspezifisch ausgestalteten Trägerplatte integrierten Embedded-GPU-Computerplattform mit allen relevanten Industrieschnittstellen sowie einer sorgfältig abgestimmten Basissoftware. Letztere wurde so konzipiert, dass sie durch Standardmodule oder maßgeschneiderte Perception-Module erweitert werden kann. Diese Module werden auch als „Perception Apps“ bezeichnet, da sie wie im Smartphone-App-Store verfügbar sind und sich einfach integrieren lassen. Diese Software-Grundlage bildet die leis-tungsstärkste Funktion von Viper: Damit kann ein aufgenommenes 3D-Bild bereits im Viper-System zusätzlich je nach Anwendung interpretiert und qualifiziert werden. Dem Host-System können lediglich die für die Auswertung relevanten Bilddaten weitergegeben werden. So kann beispielsweise das ursprüngliche 3D-Bild analysiert und in das roboterseitig genutzte Laserscan-Signal umgewandelt werden. Damit wird das vom Nutzer definierte Segment des 3D-Bildvolumens fast in Echtzeit in eine 2D-LiDAR-Signaldarstellung konvertiert. Ein weiterer Anwendungsfall ist die Palettenplatzerkennung. Hier kann Viper lediglich die relevanten 3D-Koordinaten der Palette ausgeben, nachdem sie vor einem selbstfahrenden Gabelstapler erfasst wurde.

Das Herzstück der 3D-Erkennung von Viper ist eine passive Stereokamera, die synchronisierte Bilder mit einem bestimmten Offset aufnimmt und mit dem schnellen On-Board-Computing ein 3D-Bild der Umgebung als Punktewolke rekonstruiert. Das Stereo-Vision-System mit zwei 3,4-MP-Low-Light-Kameras misst kontinuierlich die Umgebungstiefe in 3D mit einer Tiefenbildrate von bis zu 40 Hz über Entfernungen bis zu 50 Metern. Die zuverlässige Erfassung der dritten Dimension macht das 3D-Computer-Vision-System immun gegen negative Umgebungsfaktoren, die üblicherweise 2D-Systeme beeinträchtigen können, also zum Beispiel mangelnde Beleuchtung oder Kontrast sowie der variable Abstand zum Objekt des Interesses.

Viper korrigiert zunächst Bilddisparitäten durch Methoden wie Echtzeit-Objektivkorrektur, Filterung, Bildentzerrung und weitere Bildfehlerkorrekturen und entlastet somit den Onboard-Prozessor von Low- und High-Level-Bildverarbeitungsaufgaben. Darüber hinaus ist ausreichend Leistung im System, um lokal maschinelle Lernverfahren wie neuronale Netze laufen zu lassen und darüber Stereobilddaten zu verarbeiten. Einen solchen Ansatz verwendet Viper etwa zur Erkennung von Menschen und zur Berechnung ihrer relativen 3D-Position im Bild. Dies ermöglicht intelligente Funktionen auf den mobilen Roboterplattformen wie etwa einer „Follow the human“-Funktion. Ebenso kann damit beispielsweise ein Alarm ausgelöst werden, wenn ein Mensch in die vorab definierte sicherheitskritische Zone eintritt. Um diese Funktionalität zu ermöglichen, aktiviert der Nutzer eines der Erweiterungsmodule von Viper, wie zum Beispiel die Perception-App „Follow-me“. Die App kombiniert dann die Fähigkeit zur Personenerkennung (2D) und zur Entfernungsmessung (3D), um das Hostsystem über jede Änderung der Entfernung zur visuell registrierten Person zu informieren. Der mobile Roboter kann so situationsbedingt verlangsamen, bremsen oder beschleunigen und ermöglicht auf diese Weise eine „virtuelle Abstandsleine“. Zusätzlich zur Personenverfolgung kann die App auch andere Arten von Objekten oder spezielle Tags wie ArUco-Tags verfolgen. Letzteres ermöglicht die Anordnung eines Konvois aus mehreren UGVs (Unmanned Ground Vehicle; unbemanntes Bodenfahrzeug), die einander folgen, während das vorderste UGV einer Person folgt.

Visionbasierte mobile Roboterplattform. © Rubedos Sistemos

Eine der Schlüsselentwicklungen in Viper ist die Anwendung des Semi-Global Block Matching (SGBM) Stereo-Matching-Algorithmus, der von Rubedos für die Nvidia-Jetson-Familie von Embedded-Systemen optimiert wurde. Da die Geschwindigkeit ein entscheidendes Kriterium bei der Anwendung von bildverarbeitungsgesteuerter Robotik ist, konzentriert sich die Konfiguration der Algorithmen auf den Geschwindigkeitsaspekt des Stereo-Matching und behandelt wo immer nötig die Genauigkeit nachrangig. Viper erlaubt es jedoch, die standardmäßige Konfiguration der Präferenz „Geschwindigkeit“ zu ändern oder den voreingestellten Stereo-Matching-Algorithmus durch einen benutzerdefinierten Algorithmus zu ersetzen. Mit dieser Flexibilität ist Viper ein interessantes stereoskopisches Bildverarbeitungsinstrument für alle Entwickler von Robotik-lösungen. Standardmäßig ist Viper erhältlich als eigenständiges, IP-geschütztes und anschraubbares System von „Eyes“ und „Brain“ für mobile Roboter. Darüber hinaus steht eine OEM-Version für Lösungsentwickler zur Verfügung, die mit Viper eine nahtlose Integration in ihr System-Design anstreben. Mit einem Gewicht von unter 250 Gramm und einem Stromverbrauch von weniger als 10 Watt bietet das OEM-Kit dieselben Perception-Eigenschaften wie die Standalone-Variante. Allerdings ist das OEM-Kit besser geeignet für kleinere UGVs und UAVs wie etwa professionellen Drohnen, die meist eine geringere Leistungs- und Nutzlastkapazität aufweisen.

Mit all diesen Funktionen ermöglicht das Viper-System eine intelligente Automatisierung mit einem schlüsselfertigen Satz von Hardware und Embedded Computing. Es kann in einer Vielzahl von Applikationen angewendet werden, um Industrie- und Servicerobotik mit Visual Perception auszustatten.

Linas Vaitulevičius, Rubedo Sistemos, und Andreas Breyer, Vision Communications / ag

Anzeige

Das könnte Sie auch interessieren

Anzeige
Anzeige
Anzeige

Humanoide Greifsysteme

Geschickte Hände

Die menschliche Hand gilt bis heute als Maßstab, wenn es um die Flexibilität von Greifwerkzeugen geht. Vor allem in der Service- und Assistenzrobotik werden künftig vermehrt humanoide Manipulatoren gefragt sein, die unterschiedlichste Griffvarianten...

mehr...
Anzeige

Bin-Picking-System

Drei 3D-Objekterkennungssysteme

Für das Werkstückhandling bietet Liebherr drei verschiedene 3D-Objekterkennungssysteme an. Beim 3D-Visionssystem mit Laser-Laufzeitverfahren handelt es sich um einen Rotlicht-Laser, der unabhängig von Umgebungslicht und Verschmutzungsgrad arbeitet.

mehr...
Anzeige
Anzeige
Anzeige

Firmenjubiläum in Haiger

100 Jahre Cloos

Am 6. Mai gründete vor 100 Jahren der Ingenieur Carl Cloos ein Unternehmen zur Herstellung von Acetylenentwicklern. Heute zählt das Unternehmen zu den weltweiten Technologieführern in der Schweiß- und Robotertechnik.

mehr...

Safety

Sicherheitslösungen für Roboter

Mit Safety-Option Melfa Safe Plus II von Mitsubishi Electric kann die Geschwindigkeit eines Roboters gesteuert werden. So können Taktzeiten erhöht und der Arbeitsabstand zwischen Mensch und Roboter verringt werden.

mehr...

Newsletter bestellen

Immer auf dem Laufenden mit dem SCOPE Newsletter

Aktuelle Unternehmensnachrichten, Produktnews und Innovationen kostenfrei in Ihrer Mailbox.

AGB und Datenschutz gelesen und bestätigt.
Zur Startseite