„Am Anfang ging alles sehr schnell“, erzählt die CISPA-Forschende Sahar Sami Hamed Abdelnabi. „Mitte Februar wurden wir von Kai Greshake und Dr. Christoph Endres angesprochen. Sie hatten die Hypothese, dass integrierte LLM-Anwendungen Sicherheitslücken haben. Nachdem sie ihre ursprüngliche Idee mit uns geteilt hatten, führten wir die ersten Experimente durch, mit denen wir die Schwachstellen erfolgreich nachweisen konnten. Innerhalb von nur einer Woche schrieben wir unseren ersten Bericht. Wir wollten das so schnell wie möglich machen, weil es damals ein sehr prominentes Thema war.“ Und es zeigte sich, dass sich die Hypothesen bestätigten. „Nach der Veröffentlichung von Bing Chat und GPT-4 konnten wir die Angriffe auf reale Anwendungen bestätigen und eine detaillierte Untersuchung der Sicherheitsrisiken durchführen“, so Sahar weiter.
Die Forschergruppe konnte mit ihren Experimenten aufzeigen, wie durch eine Manipulation der Daten, auf die LLMs zugreifen, unerwünschte Anweisungen an diese gegeben werden können. Dieses Verfahren läuft unter dem Namen „Indirect Prompt Injections“, da diese Attacken ohne das Wissen der Nutzer:innen der LLMs ausgeführt werden. Konkret bedeutet dies, dass etwa die Nutzer:innen von KI-Chatbots, die in andere Applikationen integriert sind, wie etwa der Bing-Chat, mit falschen Informationen versorgt oder zu fragwürdigen Handlungen verführt werden könnten. Die Schwachstellen wurden an Hersteller wie OpenAI und Microsoft kommuniziert, konnten aber aufgrund ihrer Komplexität bis heute nicht vollständig behoben werden.
Bundesamt für Sicherheit in der Informationstechnik greift Thema auf
Die Veröffentlichung der Sicherheitslücken durch die CISPA-Forschenden im ersten Report vom Februar 2023 hat unter anderem dazu geführt, dass das deutsche Bundesamt für Sicherheit in der Informationstechnik (BSI) ein ausführliches Positionspapier zu dem Thema mit dem Titel "Große KI-Sprachmodelle - Chancen und Risiken für Industrie und Behörden" veröffentlicht hat. Mitte Juli sensibilisierte das BSI erneut für das Thema, verbunden mit konkreten Empfehlungen für Unternehmen, die mit der Technik arbeiten. „Bei der Integration von LLMs in Anwendungen sollte eine systematische Risikoanalyse durchgeführt werden, bei der das Risiko durch Indirect Prompt Injections explizit bewertet wird“, heißt es im Report. Darüber wird vom BSI empfohlen, dass „eine menschliche Kontrolle und Autorisierung erfolgt“, bevor potentiell kritische Aktionen der KI ausgeführt werden.
Reaktionen in Medien und der EU-Politik
Die Erkenntnisse der CISPA-Forschenden und der IT-Sicherheitsberater hatten eine große mediale Aufmerksamkeit zur Folge. Zahlreiche nationale und internationale IT-Portale wie Heise, Wired oder Hackaday sowie verschiedene Nachrichtenmedien griffen das Thema auf. Über das EU-Forschungsnetzwerk ELSA (European Lighthouse on Safe and Secure AI), das von CISPA-Faculty Prof. Dr. Mario Fritz koordiniert wird, konnte das Thema des Weiteren auch auf die EU-Ebene getragen werden. So haben die AI Networks of Excellence Centres (NoEs), zu denen ELSA gehört, vorgeschlagen, zusammen mit der Europäischen Kommission in den kommenden Monaten das Konzept für eine „European AI Challenge“ zu entwickeln. Mario verbindet damit folgende Hoffnung: „Die Chancen für Innovation durch KI, Foundation Models und Large Language Models können wir nur nachhaltig zum Erfolg bringen, wenn Europa zur Weltspitze aufschließt und seinen einzigartigen Ansatz zur sicheren und vertrauenswürdigen KI als Standortvorteil zu nutzen weiß.“
Vorteile der Kooperation zwischen Wissenschaft und Praxis
Aus saarländischer Perspektive ist das Projekt vor allem ein hervorragendes Beispiel für eine erfolgreiche regionale Kooperation zwischen dem CISPA als Wissenschaftspartner und sequire technology als IT-Dienstleitungsunternehmen. Kai Greshake, einer der Erstautor:innen der Studie, ist für sequire tätig, das Dienstleistungen im Bereich Security, unter anderem Beratung zum sicheren Einsatz von KI-Systemen, anbietet. Für die CISPA-Forschende Sahar Sami Hamed Abdelnabi liegen die Vorteile einer Kooperation auf der Hand. „Die Zusammenarbeit mit Unternehmen und Start-ups bietet mehr Perspektiven für die praktische Anwendung dieser Modelle für Endnutzer“, so Sahar im Gespräch. Dr. Christoph Endres von sequire technology schätzt die kurzen Wege zur Spitzenforschung in Saarbrücken: „Nur wenige Stunden nach Kais Entdeckung hatten wir kompetente Ansprechpartner am CISPA gefunden, die seine Ergebnisse evaluiert, bestätigt und weiterentwickelt haben – unkompliziert und unbürokratisch. Dafür sind wir sehr dankbar“.
Die vollständigen Ergebnisse der Untersuchung sind in einer ausführlichen, auf Englisch verfassten wissenschaftlichen Publikation nachzulesen, die hier heruntergeladen werden kann. Zuletzt wurde die Arbeit auf einem Workshop der International Conference on Machine Learning (ICML) als auch der BlackHat Konferenz, der weltweit größten Industriekonferenz im Bereich IT-Sicherheit, präsentiert.
