E-mail senden E-Mail Adresse kopieren
© CISPA/David Rohner

©CISPA/David Rohner

2026-03-24
Annabelle Theobald

Unser neuer Faculty Dr. Thorsten Eisenhofer stellt sich vor: „ML-Modelle sind in der Praxis selten das direkte Ziel von Angriffen.“

Maschinelles Lernen, also das datengetriebene Trainieren statistischer Modelle, ist zentraler Baustein moderner künstlicher Intelligenz und längst ständiger Begleiter in unserem Alltag. ML-Algorithmen stecken zum Beispiel in unseren Mailprogrammen, um Mails als erwünscht oder Spam zu klassifizieren. Auch die Betriebssysteme großer Anbieter wie Google, Apple und Microsoft sind längst KI-gestützt, um Sprachassistenz, Schreibhilfe und andere Dienste in tägliche Anwendungen einfließen zu lassen. Gerade dort, wo ML-Modelle in reale Systeme eingebettet sind, sieht Thorsten Eisenhofer seine Herausforderung: „In der Sicherheitsforschung werden häufig die Angriffsflächen und Schwächen von ML-Modellen isoliert betrachtet. In der Realität sind die Modelle aber Teil eines größeren Ganzen, das das Ziel von Angriffen wird.“ Ganze Systeme sicherer zu gestalten, ist sein Antrieb.

 

Eisenhofers Perspektive ist stark von seiner bisherigen Forschungsvita geprägt: Er kommt ursprünglich aus der klassischen Systemsicherheitsforschung, einem Umfeld, in dem es um Software im täglichen Einsatz und reale Angriffswege geht. „Kolleg:innen aus dem Bereich des Adversarial Machine Learning machen sich viele Gedanken, wo und wie ein ML-Modell angreifbar ist. Allerdings betrachten sie die Modelle dabei oft isoliert und nicht als Teil eines größeren Systems, in das sie in der Realität aber eingebunden sind“, erklärt Eisenhofer. „Das Ziel von Angreifer:innen ist daher in der Realität oft gar nicht, das Modell ‚hopps‘ zu nehmen. Vielmehr zielen sie auf das größere Ganze.“

Theoretische Bedrohungen versus reale Angriffe

Um zu verstehen, wo maschinelles Lernen angreifbar ist, arbeiten Forschende mit sogenannten Bedrohungsmodellen: Sie treffen Annahmen darüber, welches Ziel Angreifer:innen verfolgen, welches Wissen sie haben und welche Fähigkeiten ihnen zur Verfügung stehen. Genau hier sieht Eisenhofer ein Problem. „In vielen Arbeiten wird zum Beispiel angenommen, Angreifer:innen könnten den Input zu einem Modell vollständig kontrollieren. In realen Systemen ist das jedoch selten der Fall, weil der Modellinput meist erst durch verschiedene Verarbeitungsschritte aus realen Daten abgeleitet wird.“

Besonders anschaulich wird das bei der Erkennung von Schadsoftware. In der Praxis geht es hier um reale Programme, die auf einem Computer ausgeführt werden. Damit ein ML-Modell entscheiden kann, ob ein Programm schädlich ist, muss dieses zunächst in eine für das Modell verständliche Form übersetzt werden. „In der echten Welt ist Malware ein Programm, kein Feature-Vektor“, sagt Eisenhofer. „Also braucht es eine Komponente, die dieses Programm in eine Repräsentation übersetzt, mit der das Modell arbeiten kann.“ Genau diese Übersetzung sei entscheidend: „Mich interessiert, wie man diesen Verarbeitungsschritt in den Angriff mit einbezieht, damit ein Angriff nicht nur im Modellraum funktioniert, sondern auch in der echten Welt.“

Wo Angriffe in realen Systemen ansetzen

Aus dieser Systemperspektive ergeben sich zusätzliche Angriffsflächen, die in der Forschung oft übersehen wurden. Angriffe können etwa bei der Vor- oder Nachverarbeitung ansetzen, also dort, wo Daten für das Modell vorbereitet oder weiterverarbeitet werden. Auch die technische Umgebung spielt eine Rolle: Unterschiede zwischen verschiedenen Computersystemen können beispielsweise gezielt ausgenutzt werden, um Angriffe nur auf einem bestimmten System auszulösen.

Für Eisenhofer ist das Aufdecken solcher Schwachstellen kein Selbstzweck. „Am schönsten ist es, wenn man ein bislang übersehenes Problem identifiziert, und sich zeigt, dass es eine einfache, gute Lösung gibt.“ Oft gehe es darum, Sicherheit nicht ausschließlich im Modell zu suchen, sondern im Systemdesign. Das wird besonders relevant, weil derzeit große Sprachmodelle (Large Language Models) tiefer in Alltagssoftware und Betriebssysteme integriert werden. „Wir sind nicht in der Lage, diese Modelle zu hundert Prozent sicher zu machen“, sagt er. Umso wichtiger sei es, Verteidigung so zu gestalten, dass auch erfolgreiche Angriffe im Schaden begrenzt bleiben. „Wir werden noch eine richtige Welle von Angriffen sehen, wenn Modelle wirklich tief integriert sind und auf andere Systeme zugreifen.“

Das Beste aus zwei Welten

Was Eisenhofer an der Forschung an der Schnittstelle zwischen maschinellem Lernen und Systemsicherheit reizt, beschreibt er als Kombination der zwei Welten: „Ich arbeite gern tief in Systemen, mag aber auch einen schönen Formalismus. Machine Learning verbindet beides: formale Konstruktionen und dann schaut man, was in echten Systemen passiert.“ Gleichzeitig versucht er, sich nicht vom Hype rund um KI treiben zu lassen. „Das Feld entwickelt sich aktuell wahnsinnig schnell. Uns interessieren besonders Fragestellungen, die auch über einzelne Entwicklungen hinaus relevant bleiben.“

Ans CISPA hat Eisenhofer genau diese Kombination geführt. „Das CISPA ist eines der wenigen Forschungszentren, bei dem ich auf keiner Seite Abstriche machen muss: Hier sitzen Expert:innen für Machine Learning und für Systemsicherheit.“ Für seine Forschung sei das entscheidend, weil er beide Perspektiven dauerhaft zusammenbringen will: „Mich interessiert besonders diese Systemperspektive aufs maschinelle Lernen.“