Stimmen, die in einem Podcast vom Original nicht zu unterscheiden sind. Ein künstlich erzeugtes Foto, das wie das reale Abbild einer Person aussieht. Oder ein manipuliertes Video in den sozialen Medien, in dem falsche Behauptungen aufgestellt werden. Das alles sind sogenannte „Deepfakes“, also mit Hilfe von künstlicher Intelligenz erzeugte, mediale Inhalte wie Texte, Audios, Fotos oder Videos, die zur Manipulation der Rezipienten dienen und damit unsere Freiheit, Demokratie und gesellschaftlichen Zusammenhalt gefährden. Wenn Realität und Fiktion nicht mehr zu unterscheiden sind, können mit Desinformationen demokratische Diskurse untergraben werden. Beispiele hierfür gibt es mittlerweile genügend – obwohl wir erst den Beginn der KI-Revolution erleben. Medienhäuser und Sicherheitsbehörden schlagen daher Alarm und sind fieberhaft auf der Suche nach Lösungen. Das CISPA-Spinoff Detesia liefert mit seiner Deepfake-Erkennungssoftware ein mächtiges Werkzeug im Kampf gegen computergenerierte Fälschungen. Wir haben mit Tim Walita, COO von Detesia, ein Interview geführt und ihm die drängendsten Fragen zum Thema Deepfakes gestellt.
CISPA: Wann entstand die Idee zu Detesia? Und wie hat sich euer Team zusammengefunden?
Tim Walita: Anfangs arbeiteten wir an einem Ansatz, bei dem Chatbots in der Lage sein sollten, selbstständig Phishing-E-Mails zu erstellen und gezielt das Vertrauen einer Person aufzubauen. Darüber hinaus hatten wir die Idee, Deepfake-Simulationen einzusetzen, beispielsweise durch Voice Cloning oder visuelle Deepfakes eines Geschäftsführers, um realistische Angriffsszenarien nachzustellen.
Im Anschluss beschäftigten wir uns mit der Frage, wie man den Mitarbeitenden konkrete Schutzmaßnahmen an die Hand geben kann. Dabei wurde uns bewusst, dass viele Deepfakes mittlerweile so gut gemacht sind, dass sie selbst von Menschen kaum noch erkannt werden können. Deshalb begaben wir uns auf die Suche nach technischen Lösungen zur Erkennung solcher Inhalte. Vor etwa zweieinhalb Jahren war das Angebot in diesem Bereich jedoch noch äußerst begrenzt und genau darin sahen wir eine eindeutige Marktlücke.
Welche verschiedenen Hürden hattet ihr auf dem Weg zum CISPA-Spinoff zu bewältigen?
Die Mitarbeitersuche gestaltete sich schwierig, da wir in einem sehr spezialisierten Markt tätig sind und hochqualifizierte Expert:innen benötigen. Zudem mussten wir ohne Vorerfahrung eine funktionierende Unternehmensstruktur sowie effiziente Prozesse und eine passende Teamkultur aufbauen. Auch unsere anspruchsvolle Kundengruppe stellt eine Hürde dar, da sie besonders hohe Anforderungen an Sicherheit, Vertrauen und Qualität stellt.
Wie gefährlich sind Deepfakes? Und welche Arten von Deepfakes gibt es?
Deepfakes stellen eine ernstzunehmende Bedrohung dar. Laut dem World Economic Forum zählen Falschinformationen aktuell zu den größten Gefahren für die Menschheit. Da Deepfakes immer einfacher und realistischer erzeugt werden können, spielen sie zunehmend eine zentrale Rolle bei der Verbreitung von Desinformation. Beispiele wie das gefälschte Video von Selenskyj oder die manipulierte Aufnahme eines angeblichen Bombenanschlags auf das Pentagon zeigen, wie stark solche digitalen Fälschungen öffentliche Meinungen beeinflussen und reale Probleme auslösen können.
Ein aktueller Bericht von Regula Forensics zeigt zudem, dass im Jahr 2024 jedes zweite Unternehmen weltweit Opfer von Deepfake-Betrug wurde, was ein deutlicher Hinweis auf den rasanten Anstieg KI-basierter Kriminalität ist. Hinzu kommt, dass täuschend echte Deepfakes heute ohne großen technischen Aufwand erstellt werden können (wie unser eigenes LinkedIn-Beispiel mit Peter zeigt), während Strafverfolgungsbehörden oft noch nicht auf diese neue Bedrohung vorbereitet sind. Visuelle Deepfakes lassen sich grob in zwei Kategorien einteilen:
- Vollsynthetische Deepfakes – Diese Inhalte werden komplett künstlich erzeugt, beispielsweise durch Text-zu-Bild-Generatoren wie DALL·E oder Stable Diffusion.
- Teilsynthetische Manipulationen – Hierbei werden echte Inhalte gezielt verändert. Dazu gehören:
- Face Swap (Gesichter tauschen)
- Face Reenactment (Gesichtsausdrücke oder Bewegungen übertragen)
- Attribute Manipulation (Veränderung von Alter, Geschlecht, Haarfarbe etc.)
- Lip Sync (Synchronisation von Lippenbewegungen zu fremdem Audio)
Wie funktioniert eure Deepfake-Erkennung?
Wir trainieren verschiedene KI-Modelle mit echten und gefälschten Daten, sodass diese die jeweiligen Unterschiede erlernen können. Jedes Modell konzentriert sich dabei auf unterschiedliche Arten von Fälschungen und Erkennungsstrategien. Aktuell verfügen wir über ein Modell, das auf vollsynthetische Bilder und Videos spezialisiert ist, sowie über ein weiteres Modell, das sich gezielt auf Teilmanipulationen im Gesichtsbereich fokussiert. Ein zentraler Bestandteil unseres Ansatzes ist die Erklärbarkeit der Erkennungsergebnisse. Mithilfe eines speziell entwickelten Verfahrens können wir aus den Parametern unserer Modelle präzise ableiten, welche Bild- oder Videobereiche zur Klassifikation als echt oder gefälscht herangezogen wurden. Im Falle einer Fälschung weist das System mit hoher Wahrscheinlichkeit auf den Bereich hin, in dem sich eine Manipulation befindet. Derzeit arbeiten wir außerdem an einem multimodalen Detektor, der sich auf Lip-Sync-Deepfakes spezialisiert. Dieser analysiert Inkonsistenzen zwischen den sichtbaren Mundbewegungen und dem gesprochenen Text, um potenzielle Fälschungen aufzudecken.
Welche Anwendungsmöglichkeiten gibt es dafür? Gibt es bereits Interesse aus der Wirtschaft oder seitens staatlicher Institutionen?
Die Anwendungsmöglichkeiten für unsere Technologie zur Deepfake-Erkennung sind äußerst vielfältig und betreffen zahlreiche Branchen: Im Bereich der Strafverfolgung kann sie beispielsweise dabei helfen, die Authentizität von Beweismitteln zu überprüfen. Ein denkbares Szenario wäre, dass ein Angeklagter behauptet, ein belastendes Video sei ein Deepfake. In solchen Fällen kann unsere Lösung Klarheit schaffen und die Integrität des Beweismaterials sicherstellen.
In der Medien- und Journalismusbranche spielt die Verifizierung von Informationsquellen eine immer wichtigere Rolle. Mit der zunehmenden Verbreitung manipulierter Inhalte steigt auch das Risiko von Fehlinformationen bei der Nachrichtenaufbereitung. Unsere Lösung kann dabei unterstützen, visuelle und audiovisuelle Inhalte auf ihre Echtheit zu prüfen, bevor sie veröffentlicht werden.
Auch in der Finanzbranche gibt es konkrete Anwendungsfälle, insbesondere im Bereich KYC (Know Your Customer). KYC-Provider müssen sicherstellen, dass sie echte Personen identifizieren. Deepfakes könnten hier zur Täuschung eingesetzt werden, etwa durch eine gefälschte Videoidentifikationen.
Ein weiteres Einsatzfeld ist der Versicherungssektor. Digitale Schadensmeldungen werden immer häufiger genutzt, bei denen Kund:innen Bilder oder Videos ihres Schadens online einreichen. Hier besteht die Gefahr, dass KI-generierte oder manipulierte Inhalte eingereicht werden, um höhere Versicherungssummen zu erschleichen.
Bereits heute gibt es Interesse sowohl von staatlicher Seite als auch aus der Wirtschaft. Strafverfolgungsbehörden, Medienhäuser und Unternehmen aus der Finanz- und Versicherungsbranche haben das Potenzial dieser Technologie erkannt und suchen aktiv nach Lösungen, um sich gegen Deepfake-Manipulationen zu schützen.
Was sind eure nächsten Schritte mit Detesia?
Unsere nächsten Schritte konzentrieren sich vor allem auf zwei zentrale Bereiche: Zum einen arbeiten wir an der kontinuierlichen Verbesserung unseres Prototyps. Dazu forschen wir an leistungsfähigeren Modellen und erweitern unsere Trainingsdaten, um die Erkennungsgenauigkeit weiter zu steigern. Zum anderen starten wir dieses Jahr mit den ersten Pilotprojekten. Dabei möchten wir konkrete Anwendungsfälle aus der realen Welt besser verstehen, wertvolles Feedback sammeln und den Prototyp gezielt an den praktischen Bedarf unserer Kund:innen anpassen.
Vielen Dank für das Interview, Tim!
Weitere Informationen zu Detesia finden Sie hier: detesia.com
