Deepfakes auf der Spur

Christian Riess und Sandra Bergmann entwickeln gemeinsam mit der secunet AG ein Tool, das KI-generierte Bildfälschungen automatisch und zuverlässig erkennt.

Der Fall scheint eindeutig: Durch die Scheibe des Wintergartens zieht sich ein langer Riss. Schaden: rund 3.000 Euro. Der Geschädigte hat das Beweisfoto per Mailgeschickt. Ein Sachbearbeiter der Versicherung macht vorsichtshalber ein sogenanntes Pre-Screening und sucht nach Spuren, die darauf hinweisen, dass das Bild KI-generiert wurde. Sollte das der Fall sein, handelt es sich vermutlich um dreisten Versicherungsbetrug. „Das hört sich wahrscheinlich nach Science- Fiction an, aber genau so sieht die Praxis bereits aus“, sagt Christian Riess. „Wir haben vor einigen Jahren eine Kooperation mit der Nürnberger Versicherung gestartet und gemeinsam ein solches Programm entwickelt, das wir immer weiter verfeinern.“ Das generelle Problem dabei: Man läuft immer einen Schritt hinterher, weil beinahe monatlich neue Bildgeneratoren auf den Markt kommen, auf die man reagieren muss.

Fälschungen oft nicht mehr zu erkennen

Riess ist Leiter der Forschungsgruppe Multimedia Security am Lehrstuhl für IT-Sicherheitsinfrastrukturen an der FAU. Er zählt zu den Topexperten in Deutschland, wenn es um Bildforensik geht, also die Untersuchung von Fotos, die aus kriminellen Motiven manipuliert worden sind. Bereits als Doktorand hat er in Erlangen an neuen Technologien geforscht, mit denen die Qualitätsprüfung von Banknoten verbessert werden kann. Bildfälschern ist Christian Riess also schon seit vielen Jahren auf der Spur. In den allermeisten Fällen steckt hinter KI-generierten Bildern keine kriminelle Energie: Sie werden erstellt, um journalistische und wissenschaftliche Beiträge zu illustrieren, noch häufiger aber, um die Social-Media-Community zu unterhalten. „Fotos und Videos mit manipulierten Inhalten verbreiten sich rasant, und sie wirken immer echter“, sagt Sandra Bergmann, Doktorandin in der Riess-Gruppe. „Oft sind Fälschungen als solche nicht mehr zu erkennen.“ Der Papst als DJ mag da noch harmlos sein. Brisant wird es, wenn Politiker oder Prominent ein kompromittierende Kontexte gesetzt werden. In einem 2024 gestarteten Projekt arbeiten Bergmann und Riess an einer Lösung für dieses Problem: Gemeinsam mit der secunet Security Networks AG entwickeln die Erlanger IT-Spezialisten einen universalen Prototyp, der Deepfakes verschiedener KI-Generatoren zuverlässig erkennen soll. Gefördert wird das Vorhaben von SPRIN-D, einer Initiative des Bundesministeriums für Bildung und Forschung, die sich als Inkubator für Sprunginnovationen versteht.725.000 Euro stellt SPRIN-D für das Vorhaben zur Verfügung.

Verräterische Spuren

Das Tool soll in die Lage versetzt werden, charakteristische Signaturen einer KI-Bildverarbeitung zu erkennen. „Die meisten Generatoren, die aktuell auf dem Markt sind, nutzen sogenannte Diffusionsmodelle“, erklärt Bergmann. „Sie verwandeln zufälliges Rauschen schrittweise in realistisch anmutende Bilder, nachdem sie aus großen Datenmengen gelernt haben, wie bestimmte Objekte und Szenenaussehen.“ Bei Text-zu-Bild-Generatoren wie „Stable Diffusion“ wird dieser Prozess durch eine Texteingabe gelenkt, auf Basis dieses Prompts entsteht ein neues Bild. Dabei hinterlassen die Generatoren verräterische Spuren in den Bildfrequenzen, die in zweidimensionalen Spektrogrammen sichtbar gemacht werden können. Nicht alle Bildgeneratoren arbeiten jedoch nach diesem Prinzip, zudem ist nicht absehbar, welche Technologien der Bildmanipulation in den kommenden Jahren entwickelt werden. Deshalb wird das Erlanger Enttarnungs-Tool nicht nur auf großen Datenmengen echter und KI-generierter Fotos trainiert. Es werden zudem große vortrainierte neuronale Netze genutzt, um relevante Bildmerkmale zu extrahieren. Ziel der FAU-Forschenden ist es, möglichst viele Detektoren und Datenspuren zusammen zuführen und den Prototyp damit robust gegenüber Fehlern zu machen. Leistungsfähigkeit und Zuverlässigkeit sind die wichtigsten Aspekte des Projekts. Darüber hinaus ist das Tool so konzipiert, dass es leicht in bestehende IT-Infrastrukturen integriert werden kann. Falsche DJs wären dann schnellenttarnt – ebenso wie gefakte Risse in Wintergartenscheiben.

Matthias Münch

⛶

Dieser Artikel ist Teil des FAU Magazins

Die dritte Ausgabe des FAU Magazins #Menschen steht auch wieder ganz im Zeichen der Menschen, die unsere FAU zu einer der besten Universitäten der Welt machen. Wie lebendig und vielfältig unsere Forschung, das Engagement der Studierenden und die Arbeit in den wissenschaftsstützenden Bereichen sind, zeigen die Beispiele dieser Ausgabe.

Ein Highlight ist sicherlich der neue Forschungscluster „Transforming Human Rights“. Oder folgen Sie unseren Wissenschaftlerinnen und Wissenschaftlern in Labore und Werkstätten, wo sie Kartoffeln klimaresistent machen, Robotern soziales Verhalten beibringen oder antike Schiffe und Geschütze nachbauen. Studierende entwickeln an der FAU senkrecht startende Flugzeuge oder überzeugen mit überragenden Leistungen bei den Paralympics. Und nicht zu vergessen die Menschen, die an unserer Uni arbeiten oder als Ehemalige der FAU stark verbunden sind. Besuchen Sie mit ihnen die KinderUni oder schauen Sie sich mit einer FAU-Alumna und Grimme-Preis-Trägerin eine Fernsehserie an.