Die Potenziale von maschinellem Lernen (ML) für die Gesellschaft sind riesig. Nehmen wir zum Beispiel den Bereich Mobilität. Selbstfahrende Autos sollen künftig laut einem Strategiepapier des deutschen Bundesverkehrsministeriums unsere Straßen sicherer machen, das Verkehrsaufkommen und Emissionen deutlich verringern sowie Staus reduzieren. Damit Fahrzeuge ganz ohne menschliche Hilfe Hindernisse und Straßenschilder erkennen können, müssen sie während der Fahrt mithilfe von maschinellen Lernalgorithmen Sensordaten und Kamera-Aufnahmen auswerten. Wie gut sie dazu in der Lage sind, kann über Leben und Tod entscheiden. Will man die autonomen Fahrzeuge wirklich großflächig einsetzen, muss ihre Sicherheit garantiert werden können. „Ein großes Problem sind sogenannte Adversarial Examples. Das sind von Angreifer:innen minimal manipulierte Eingabedaten, die Modelle gezielt zu Fehleinschätzungen verleiten. So können etwa ML-Systeme, wie sie beim autonomen Fahren zum Einsatz kommen, durch winzige Veränderungen der Pixel eines Bildes so manipuliert werden, dass diese statt eines Stoppschildes ein Tempolimit erkennen“, erklärt Lea Schönherr.
Angriffe auf Spracherkennungssysteme
Wollen Forschende Angreifer:innen immer den nötigen Schritt voraus sein, müssen sie sich in sie hineinversetzen und selbst Machine-Learning-Modelle auf jede denkbare Schwachstelle prüfen. Während voll-autonome Fahrzeuge noch Zukunftsmusik sind, sind maschinelle Lernverfahren an anderer Stelle längst im Einsatz: Sie werden zum Beispiel zur Spracherkennung eingesetzt und stecken in weit verbreiteten Sprachassistenten wie Alexa und Siri. Und genau damit hat sich Lea Schönherr in ihrer Promotionszeit und auch noch in ihrer Zeit als Post Doc an der Ruhr-Universität in Bochum im DFG-Exzellenzcluster "Cyber Security in the Age of Large-Scale Adversaries" (CASA) beschäftigt. Zusammen mit Kolleg:innen konnte Schönherr zeigen, dass Angreifer:innen dem Spracherkennungssystem Kaldi, das zum Beispiel in Amazons Alexa steckt, mit manipulierten Audiosignalen unbemerkt Befehle erteilen können. „Wir haben uns dafür zunutze gemacht, dass sich das menschliche Gehör täuschen lässt: Spielt man zum Beispiel gleichzeitig zwei Töne auf einer ähnlichen Frequenz ab, kann ein lauterer einen leiseren überdecken. Der leisere Ton wird durch den lauteren maskiert“, erklärt Schönherr. So können die nötigen Änderungen des Audiosignals in den für Menschen nicht wahrnehmbaren Frequenzbereich verschoben werden.
Ein großes Sicherheitsproblem sind die so möglichen Attacken auf Sprachassistenten laut Schönherr bislang nicht. „Wir haben unsere Audiodateien zu Anfang direkt in Kaldi hineingespielt. Wer so nah an die Geräte rankommt, hat meist ganz andere Möglichkeiten, die zu manipulieren.“ Würden Angreifer:innen hingegen versuchen, die Spracherkennungssysteme über einen Lautsprecher, etwa ein Radio, anzusprechen, verändere das die Signale und die Maschine erkenne die Befehle nicht mehr. Gelungen ist solch ein Angriff den Forschenden trotzdem. „Um eine Audiodatei zu erstellen, mit der sich die Maschine auch so täuschen lässt, haben wir die Übertragung im Raum simuliert und die nötigen Signaländerungen unter Berücksichtigung dieser Übertragung optimiert.“ Da Online-Käufe über Alexa und Co. mittlerweile mit einem zweiten Faktor abgesichert sind, ist der Aufwand in der Praxis für Angreifer:innen vermutlich zu hoch. „Ein Missbrauchspotenzial ist dennoch da.“
Schönherr's neue Projektideen am CISPA
Am CISPA angekommen und in ihrer neuen Rolle als leitende Wissenschaftlerin will Schönherr ihre Forschung zu Adversarial Attacks zusammen mit ihrem neu gegründeten Team noch auf andere Bereiche ausweiten. „Gerade ist ja ChatGTP in aller Munde. Das Sprachmodell kann auf Wunsch Text produzieren. Solche Modelle gibt es auch schon zur automatisierten Generierung von Code. Wir wollen uns anschauen, für welche Eingaben diese Modelle Code mit angreifbaren Schwachstellen produzieren.“
Ein weiteres Forschungsthema, das ihr Team angehen wird, ist das sogenannte kontinuierliche Lernen von Modellen. „Beziehungsweise geht es vielmehr um das „catastrophic forgetting“ der Modelle“, sagt Schönherr und muss selbst über den Begriff lachen. „Deep-Learning-Modelle können ohne menschliche Überwachung selbständig lernen. Wenn sie neue Daten bekommen, scheinen sie dabei manchmal alte Daten zu vergessen. Das ist mit ‚catastrophic forgetting‘gemeint.“ Ihr Team will sich anschauen, wie das zum Problem in Einsatzbereichen wie etwa der Schadsoftware-Erkennung oder bei Spamfiltern in Mailprogrammen werden könnte. „In solchen Bereichen sind Angreifer:innen sehr aktiv. Sie versuchen, die Modelle auszutricksen und so zu erreichen, dass sie etwas, das sie zuvor schonmal als Spam oder Schadsoftware erkannt haben, in Zukunft trotzdem durchwinken. Die Modelle ständig neu zu trainieren, um das zu verhindern, ist sehr teuer und aufwändig.“
Als leitende Wissenschaftlerin hat sich Schönherrs tägliche Arbeit ziemlich verändert. „Ich programmiere jetzt selbst nicht mehr viel, vorher war das eine meiner Hauptbeschäftigungen. Ich betreue jetzt mein Team bei seiner Forschung und helfe meinen Mitarbeitenden ihre Forschungsarbeiten aufzuschreiben. Und habe natürlich einige administrative Aufgaben hinzubekommen.“ In Saarbrücken hat sich die gebürtige Würzburgerin mittlerweile schon gut eingelebt. Heimweh zählt sie bislang nicht zu den Gegnern, denen sie sich stellen muss.
