Intelligente Kameras ergänzen menschliche Wahrnehmung

FAU-Team entwickelt kosteneffiziente und hochauflösende Multispektralkamera

Intelligente Kameras gelten als nächster Meilenstein in der Bild- und Videosignalverarbeitung. Ein Forschungsteam am Lehrstuhl für Multimediakommunikation und Signalverarbeitung der FAU hat eine intelligente Kamera entwickelt, die sowohl eine hohe örtliche als auch zeitliche und spektrale Auflösung erreicht. Die Einsatzbereiche sind vielfältig und können den Umwelt- und Ressourcenschutz ebenso verbessern wie das autonome Fahren oder die moderne Landwirtschaft. Die Forschungsergebnisse sind als Open-Access-Publikation erschienen.

„Bisher wurde in der Forschung das Augenmerk hauptsächlich auf die Erhöhung örtlicher und zeitlicher Auflösung – also auf Megapixel und Bilder pro Sekunde – gelegt“, erklärt Privatdozent Dr. Jürgen Seiler. „Die spektrale Auflösung – also die Wellenlänge und damit die Wahrnehmung der Farben – wurde bei der Entwicklung von Kameras weitgehend auf die menschlichen Sinne angepasst, was lediglich einer Messung der Farben Rot, Grün und Blau entspricht. Im Spektrum des Lichts steckt aber viel mehr Information, die für verschiedenste Aufgaben genutzt werden kann. Aus dem Tierreich wissen wir beispielsweise, dass manche Tiere zusätzliche Lichtspektren für ihre Jagd und die Futtersuche nutzen.“

Drei Auflösungen in einer Kamera

Der Elektrotechniker hat deshalb mit seinem Team am Lehrstuhl für Multimediakommunikation und Signalverarbeitung (LMS) von Prof. Dr. Kaup an der FAU eine hochauflösende Multispektralkamera entwickelt, die die menschliche Wahrnehmung ergänzt. Sie verbindet alle drei Auflösungen – die örtliche, zeitliche und spektrale – miteinander und leistet dies kosteneffizient. „Bisher gab es lediglich für spezielle industrielle Ansätze sehr teure und komplizierte Methoden, um den ultravioletten oder infraroten Bereich des Lichts oder einzelne Spektralbänder zu messen“, sagt Seiler. „Wir haben nach einem kosteneffizienten Modell gesucht und konnten die multispektrale Kamera sehr preisgünstig umsetzen.“

Dafür haben die Wissenschaftlerinnen und Wissenschaftler mehrere günstige Standardkameras mit verschiedenen Spektralfiltern zu einem multispektralen Kamera-Array verbunden. „Hieraus wird anschließend ein Bild errechnet, um die verschiedenen spektralen Informationen von jedem Sensor zu vereinen“, erklärt Nils Genser, wissenschaftlicher Mitarbeiter am LMS. „Durch dieses neuartige Konzept lässt sich für jedes aufgezeichnete Objekt eine exakte Materialbestimmung durchführen. Und das durch eine einzige Aufnahme.“

Gleichzeitig ist die neu entwickelte Kamera in Hinblick auf Orts-, Zeit- und Spektralauflösung existierenden Systemen weit überlegen. Da die Umgebung wie beim menschlichen Sehen von mehreren Augen erfasst wird, ist zusätzlich eine präzise Tiefenschätzung möglich. So können für aufgenommene Objekte nicht nur die Farbe und gewisse Materialeigenschaften, sondern auch deren Entfernung zur Kamera, exakt bestimmt werden.

Ideal für autonomes Fahren und Umwelttechnik

Ein möglicher Einsatzbereich für die neuen intelligenten Kameras ist das autonome Fahren. „Dank unserer neuen Technik eröffnet sich eine ganze Reihe von Problemlösungen“, freut sich Seiler. „Im Infrarot-Bereich können wir zum Beispiel anhand der Wärmesignatur echte Personen von Plakaten unterscheiden. Und bei einer Nachtfahrt können wir frühzeitig Wildwechsel detektieren.“

Auch für den Umwelt- und Ressourcenschutz können die hochauflösenden Multispektralkameras eingesetzt werden. „Viele Kunststoffe unterscheiden sich in verschiedenen Bereichen des Spektrums deutlich voneinander – und das erkennt die neue intelligente Kamera zielsicher“, betont Genser. „Bisher werden große Mengen an Kunststoffen einfach verbrannt, da sie sich optisch stark ähneln. Jetzt können wir sie eindeutig voneinander trennen.“

Weitere Informationen:

https://ieeexplore.ieee.org/document/9205584

PD Dr. Jürgen Seiler
Lehrstuhl für Multimediakommunikation und Signalverarbeitung
Tel.: 09131/85-27102
juergen.seiler@fau.de