Embedded-Vision-Assistenzsystem

Andreas Mühlbauer,

Unfälle vermeiden mit Embedded Vision

Ein schwedisches Forscherteam hat aus einer intelligenten Stereokamera ein vollintegriertes Fahrerassistenzsystem entwickelt und bietet es jetzt auch kommerziellen Nutzern an. Es verbessert die Personensicherheit im Umfeld von mobilen Maschinen und beruht auf der Detektion von Warnwesten. Mit der Embedded-Bildverarbeitung ist es kompakt und ausfallsicher. 

Vision Components bietet Embedded Vision in vielen kompakten Formaten und mit diversen Bildsensoren. © Vision Components

Wo Menschen und Schwermaschinen sich in derselben Umgebung bewegen, zählen Unfälle leider noch zum Alltag. Im Bergbau, auf Baustellen, in der Logistik und anderswo navigieren Fahrzeugführer schwer einsehbare Bereiche mit Maschinen, die sehr große tote Winkel haben. Unternehmen suchen nun vermehrt nach sensorischen Hilfsmitteln, um die Arbeitssicherheit zu gewährleisten. Verschiedene Lösungen stehen im Wettbewerb, gestützt auf Radar, Lidar, Ultraschall, RFID oder Kameras. Retenua hat ein vollintegriertes System zur Montage an Fahrzeugen vorgestellt, das Reflektoren auf Warnwesten detektiert. Es beruht auf einer Infrarotkamera und kann direkt Alarme und Bremsvorgänge auslösen. Vision Components steuert die intelligente Stereokamera bei. Dieses Embedded-Vision-System mit einem leistungsstarken integrierten Prozessor erfasst die Bilder und wertet sie auch gleich selbst aus. So sind keine Peripheriegeräte für die Bildverarbeitung nötig, und die Lösung ist sowohl mechanisch als auch funktional extrem robust.

NIR-3D-Personendetektion

Retenua hat ein Verfahren zur Detektion von Retroreflektoren – den reflektierenden Streifen auf Warnwesten und Schutzkleidung – patentiert und auf dieser Grundlage das Fahrerassistenzsystem Emitrace entwickelt. Dieses besteht aus einer Sensor- und Recheneinheit, die üblicherweise am Heck von industriellen Fahrzeugen montiert wird. In der Fahrerkabine befindet sich ein optoakustisches Signalgerät. Weitere Geräte sind nicht nötig. Das integrierte Embedded-Vision-System detektiert Reflektoren, berechnet aus den Stereobildern die 3D-Position und Geschwindigkeit von Personen und löst bei Unfallgefahr einen Alarm in der Kabine aus. Es ist darüber hinaus sogar möglich, Emitrace direkt in die Fahrzeugsteuerung einzukoppeln, sodass es automatisch eine Bremsung veranlassen kann.

Anzeige

Die Module sind hochgradig robust und sind in einem weiten Temperaturbereich von –30 bis 60 °C einsetzbar. Die Sensoreinheit hat frontseitig die Schutzart IP69K und am Kabelanschluss IP67 und lässt sich leicht reinigen. Die Sichtfenster sind aus gehärtetem, kratzfestem Glas. Der starke NIR-Blitz (Nahinfrarot) erlaubt kurze Belichtungszeiten, bei denen der Einfluss von Infrarotstrahlung in der Umwelt minimal bleibt. Der Blitz stört Personen im Umfeld nicht, gewährleistet jedoch eine stabile Detektionsleistung bei jeglicher Beleuchtung. Emitrace eignet sich für den Einsatz im Innen- und Außenbereich, bei Tag und Nacht und könnte speziell in Bergbau-Anwendungen zum Standard werden.

Bedarfsgetriebene Entwicklung

Rafael Mosberger und Henrik Andreasson forschten an der Universität Örebro in Schweden zur Personendetektion mit industriellen Fahrzeugen. Sie entwickelten dort ihr neues Verfahren zur Detektion von Retroreflektoren mit einer Infrarotkamera. Unterstützt wurde die Arbeit sowohl durch EU-Fördermittel als auch von Industrieunternehmen, was die beiden Wissenschaftler 2015 zur Gründung von Retenua bewog. Das Start-up stellte mehreren Fahrzeugherstellern eine frühe Version von Emitrace als Developer Kit zur Verfügung. Es gab einen regen Austausch mit deren Konstruktionsabteilungen, um den Bedarf zu erfassen und zum aktuellen Plug-and-Play-Standardprodukt mit voreingestellten Parametern zu kommen.

Emitrace ist für raue industrielle Umgebungen konzipiert. © Retenua

Emitrace ist für einen einfachen Retrofit an verschiedenen mobilen Maschinen und für einen wartungsfreien Betrieb konzipiert und wurde bereits erfolgreich im Feld getestet. Retenua arbeitet für Installation und Inbetriebnahme mit Vertriebspartnern zusammen. Das sind zum Beispiel Hersteller von Gabelstaplern, Verleiher und Service-Anbieter. Retenuas C++-Vision-Bibliothek und die bereitgestellte API erlauben eine flexible Integration in unterschiedliche Software-Umgebungen. So lassen sich Rohdaten und Bildverarbeitungsergebnisse auch anderen Systemen zur Weiterverarbeitung oder Dokumentation übergeben.

Vergleich mit Lidar, RFID und Kamera

Emitrace erhöht die Personensicherheit im Umfeld von Schwermaschinen. Lidar, Radar und Ultraschall hingegen können Menschen und Objekte nicht zuverlässig unterscheiden. Im industriellen Umfeld, das durch enge Pfade gekennzeichnet ist, würden sie ständig falsche Alarme ausgeben. Einige Produkte beruhen auf RFID. Das ist eine praktische Alternative beispielsweise zu Lidar und hat den Vorteil, dass die Transponder selbst dann detektiert werden, wenn sie durch Hindernisse verdeckt sind. Allerdings können erhebliche Kosten anfallen, weil das Personal und der Fahrzeugpark mit Transpondern und Lesegeräten ausgestattet werden müssen.

Außer Emitrace sind alle bestehenden kamerabasierten Produkte darauf trainiert, Menschen anhand der Silhouette zu erkennen. Im Gehen und Stehen ist das mit Algorithmen gut zu lösen. Andere Körperhaltungen wie Knien, Sitzen oder Liegen überfordern die Rechenleistung derzeit noch. Zuverlässige Algorithmen brauchen hier teilweise mehrere Sekunden, um ein einzelnes Bild zu verarbeiten. Es wird noch einige Jahre dauern, bis auch diese Fähigkeit in Echtzeit umsetzbar ist. Da Emitrace ausschließlich auf Retroreflektoren trainiert ist, stellt die Körperhaltung keine Hürde für das System dar.

Das Fahrerassistenzsystem detektiert Personen im toten Winkel und bremst das Fahrzeug bei Bedarf direkt aus. © Retenua

Es gibt noch weitere Besonderheiten: Bisherige Kamera-lösungen nutzen das sichtbare Lichtspektrum und separate Bildverarbeitungsrechner. Sie sind empfindlich gegenüber Sonnenlicht und bieten keine stabile Leistung bei fehlendem Licht. Die Personendetektion muss jedoch auch im Dunkeln und unter ungünstigen Lichtverhältnissen zuverlässig funktionieren. So gibt es insbesondere in Bergwerken viele schlecht ausgeleuchtete Bereiche. Der zusätzliche PC erhöht zudem den Installations- und Instandhaltungsaufwand und beansprucht mehr Raum. Emitrace dagegen vereint die Sensorik und Datenverarbeitung in einem kompakten Gehäuse. Als einzige Zusatzanforderung setzt es voraus, dass Personen im Arbeitsbereich Warnkleidung tragen. Die maximalen Reichweiten der unterschiedlichen genannten Produkte bewegen sich im Bereich von 6 bis 10 m, auf den Emitrace ebenfalls eingerichtet ist.

Das Embedded-Vision-System

Emitrace hat eine Reichweite von 1 bis 6 m, im Zentrum sogar 1 bis 10 m und einen Blickwinkel von 90° horizontal und 67,5° vertikal. © Retenua

Das vollintegrierte Fahrerassistenzsystem benötigt keine zusätzlichen Geräte zur Datenverarbeitung. Die Entwickler suchten gezielt nach Embedded-Vision-Systemen für die Echtzeit-Stereo-Bildverarbeitung und landeten so bei Vision Components. „Die Fahrzeugindustrie bevorzugt kompakte Sensoren, die sich einfach und schnell installieren lassen“, sagt Rafael Mosberger, Geschäftsführer von Retenua. Die Stereokamera der VC-Z-Serie erfüllt alle Spezifikationen: Sie ist als Platinenkamera mit zwei abgesetzten Sensorplatinen einfach zu integrieren und bietet ein Xilinx-Zynq-SoC mit einem Dual-Core-ARM-Prozessor, der die gesamte Bilddatenverarbeitung ausführt.

Eine Blitztrigger- und eine 1-Gbit-Ethernet-Schnittstelle sorgen für die optimale Anbindung. Die Kamera mit Linux-Betriebssystem und die VCLib-Software-Bibliothek erleichterten den Entwicklern die Arbeit, bestätigt auch Mosberger: „Das ist für uns ein enormer Vorteil, weil wir sofort loslegen konnten. Wir verwenden für die Sensorkonfiguration und das Auslesen der Bilder die Funktionen in den mitgelieferten Komponenten VCLinux und VCLib. Zurzeit wird unser Programm komplett auf dem ARM-Prozessor ausgeführt. Wir eruieren aktuell mit Vision Components, wie wir den Algorithmus beschleunigen können, indem wir rechenintensive Schritte auf das FPGA verlagern.“ Das FPGA ist Teil des Zynq-SoC-Moduls, des Kernstücks der VC-Embedded-Kameras. Dieser Schaltkreis ermöglicht höhere Verarbeitungsgeschwindigkeiten und lässt sich mit einer Hardware-Beschreibungssprache frei programmieren.

Miriam Schreiber, Marketing & PR Manager, Vision Components / am

Anzeige

Das könnte Sie auch interessieren

Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige
Anzeige

Newsletter bestellen

Immer auf dem Laufenden mit dem SCOPE Newsletter

Aktuelle Unternehmensnachrichten, Produktnews und Innovationen kostenfrei in Ihrer Mailbox.

AGB und Datenschutz gelesen und bestätigt.
Zur Startseite