Mit Hilfe von Smileys Emotionen erkennen
FAU-Student Benedikt Lorch entwickelt eine App für Autisten
An der FAU bringen viele kluge Köpfe innovative Ideen hervor. Benedikt Lorch ist einer davon. Er ist Masterstudent der Informatik und hat eine App entwickelt, die Autisten hilft Emotionen zu erkennen. Beim „Neue Nähe“-Hackathon von Microsoft und Aktion Mensch hat er 2016 zusammen mit dem Team der Metrilus GmbH, bei der er Werkstudent ist, einen Preis gewonnen. Im Interview erklärt er seine App und wie er auf die Idee gekommen ist.
Herr Lorch, wie funktioniert Ihre App?
Die Anwendung richtet sich an Menschen mit Schwierigkeiten Emotionen wahrzunehmen und zu deuten. Mithilfe einer Augmented Reality-Brille wird dem Benutzer durch Gesichts- und Emotionserkennung der Gesichtsausdruck der anderen Menschen im Sichtfeld in Form eines passenden Smileys angezeigt. Erkennt die Kamera ein fröhliches Gesicht, wird ein lachender Smiley angezeigt, bei einem traurigen Gesichtsausdruck erscheint ein Smiley mit Träne. Außerdem analysieren wir wie der Träger der Brille und die Gesprächspartner etwas sagen, und zeigen dem Träger der Brille die aus der Sprache erkannte Emotion ebenfalls in der Brille an.
Wie sind Sie auf diese Idee gekommen?
Ursprünglich hatten wir den Gedanken eine Anwendung zu entwerfen, die Menschen mit Sehbehinderung beim Einkaufen im Supermarkt unterstützt, z.B. durch Audiokommentare, vor welchen Objekten man gerade steht. Die ersten Versuche mit Objekterkennung funktionierten allerdings nicht so gut wie gehofft. Auf die Idee mit der Veranschaulichung von Emotionen durch Smileys kamen wir letztendlich durch einen der Einführungsvorträge zu den Microsoft Cognitive Services, einer Reihe von bereitgestellten Diensten wie Sprach-, Bild- und eben Emotionserkennung.
Was passiert bei einem Hackathon?
Bei einem Hackathon kommen vor allem Technikbegeisterte mit unterschiedlichsten Hintergründen zusammen, um sich in Kleingruppen eine Idee zu überlegen und diese in 24 Stunden in einen Prototyp umsetzen. Fokus des „Neue Nähe“ Hackathons von Microsoft und Aktion Mensch war es, Ansätze für mehr Teilhabe und Inklusion für Menschen mit Behinderung im Alltag zu entwickeln.
Warum eine Anwendung für Autisten?
Heutzutage finden sich Techniken wie Gesichts- und Spracherkennung auf jedem Smartphone. Die Möglichkeit mithilfe der Cognitive Services auf einfache Weise Gesichtsausdrücke zu klassifizieren ist hingegen relativ neu. Mit dieser Technologie hat sich die Idee ergeben an einer Anwendung für Autisten zu arbeiten.
Sie sind bei Metrilus Werkstudent. Die Firma entwickelt Anwendungen für 3D Kameras. An welchen Projekten arbeiten Sie?
Zu den Kompetenzen von Metrilus zählt neben der Anwendungsentwicklung auch die Ideenfindung und Konzeptionierung. Vielen sind die vielseitigen Anwendungsmöglichkeiten von 3D Kameras gar nicht bewusst. Daher ist es wichtig, die technischen Möglichkeiten zu klären, auch mal „herumzuspinnen“ und schnell einen Prototyp zu basteln, ähnlich wie bei einem Hackathon. Aktuell arbeite ich daran 3D-Kameras in der Logistik einzusetzen. Wir entwickeln eine App, mit der man Pakete und sogar komplette Paletten dimensionieren kann, um deren Länge, Breite und Höhe innerhalb von Sekunden zu berechnen. Beim Abgeben eines Pakets an der Poststelle beispielsweise wird das Paket auf einen Tisch gelegt, wo es automatisch vermessen und gewogen wird. Damit erspart man sich das Messen mit dem Zollstock. In der Logistik sind diese Werte enorm wichtig, denn wenn sie falsch oder gar nicht ermittelt werden, führt das zu vielen Problemen beim Transport.
Vielen Dank für das Gespräch, Herr Lorch.
Auf der Homepage des Hackathons finden Sie zudem ein Video über Benedikt Lorch und seine App.