Die Gründung von sequire technology war ein mutiger Schritt in einer dynamischen Branche, die sich mit rasant wachsender KI und Cybersecurity auseinandersetzt. Nach Stationen in Forschung und Industrie stellte sich Gründer Christoph Endres der Herausforderung, mit innovativen Lösungen die Sicherheit großer Sprachmodelle zu verbessern. Das Ergebnis: eine international beachtete Entdeckung von Indirect Prompt Injections, die eine völlig neue Art von Schwachstelle bei großen KI-Modellen beschreibt. Mit starken Partnerschaften, etwa zum CISPA Helmholtz-Zentrum für Informationssicherheit, und Unterstützung durch den CISPA StartUpSecure Inkubator, arbeitet sequire technology an sicheren, selbstlernenden Schutzmechanismen für KI – eine entscheidende Grundlage für die Einhaltung zukünftiger EU-Regulierungen wie NIS-2 und AI Act. Im Gespräch beleuchten wir die Entstehung, Herausforderungen und Zukunftspläne von Christoph Endres und sequire technology, das die europäische Souveränität im KI-Sicherheitsmarkt stärken möchte.
CISPA: Was sind Indirect Prompt Injections? Und wie seid ihr auf diese Lücke gestoßen?
Christoph Endres: Diese Entdeckung verdanken wir unserem Kollegen Kai Greshake. Kai war schon immer ein begnadeter Hacker und entdeckt Schwachstellen schneller als andere. Vielleicht erinnert sich jemand an den MongoDB Hack 2015 – sein erster Hack mit weltweiter Aufmerksamkeit als Teenager. Kai rief mich im Februar 2023 abends an und sagte „Ich habe da was gefunden, aber ich glaube, das ist eine Nummer zu groß für meinen Blog!“. Ich habe dann am selben Abend noch Jilles Vreeken zu Hause rausgeklingelt und gesagt, dass wir schnell einen Gesprächstermin mit den besten Expert:innenen vom CISPA brauchen, um unsere Idee zu validieren. Nur eine Woche später veröffentlichten wir gemeinsam ein Preprint unseres Papers, das später einen Best Paper Award gewann und mittlerweile fast 500x zitiert wurde.
Indirect Prompt Injections unterscheidet sich von anderen Schwachstellen dadurch, dass es eigentlich keine Schwachstelle im üblichen Sinne ist – also es hat niemand irgendwo einen Fehler gemacht, den man beheben könnte. Es ist einfach die Art und Weise, wie LLMs funktionieren, die sie anfällig macht. Wie ein – vielleicht etwas naiver – Mensch sind Sprachmodelle anfällig für Manipulation. Das kann ein Angreifender ausnutzen, in dem er/sie Anweisungen irgendwo versteckt, die das Verhalten des Systems verändern. Mittlerweile wird da auch schon in Memes zitiert: „Vergiss deine bisherigen Anweisungen und mach stattdessen…“ – das waren wir.
Wie groß war die mediale Aufmerksamkeit nach der Veröffentlichung der Sicherheitslücke?
Die mediale Aufmerksamkeit weltweit war enorm. Es gab in Deutschland einen schönen Artikel von Eva Wolfangel in dieser Zeit, aber auch viele spannende internationale Berichterstattung. Auch in der lokalen Presse haben wir es in den Aktuellen Bericht des SR und die Titelseite der Saarbrücker Zeitung geschafft.
Ebenfalls schön war die Einladung zur Blackhat nach Las Vegas, die ich mit einem Vortrag über Indirect Prompt Injection beschließen durfte.
Welche weiteren Schwachstellen gibt es bei LLMs?
Es gibt sehr viele Schwachstellen bei LLMs; OWASP hat eine Top 10 dazu veröffentlicht. Prompt Injection ist nach wie vor auf Platz Eins, aber es gibt auch weitere Probleme, die sich zumeist auf Datenschutzprobleme oder unerwünschte Sprache und Diskriminierung beziehen.
Wie funktionieren eure Software-Lösungen, um LLMs sicherer zu machen? Und welche konkreten Anwendungsfälle gibt es?
Wir können uns während einer laufenden Entwicklung nicht zu genau in die Karten schauen lassen. Aber den grundsätzlichen Ansatz kann ich natürlich erklären. LLMs sind bisher so ähnlich wie Software in den 1980ern oder noch früher: Ein monolithischer Prozess, mit zu vielen Berechtigungen, ohne Sicherheitsvorkehrungen. Später kamen dann Betriebssysteme mit Hypervisor, Process Separation, Rechtemanagement, etc.
Im Prinzip müssen wir genau das jetzt auch nochmal machen. Eine sichere Ausführungsumgebung für LLMs, mit ähnlichen Sicherheitsmechanismen wie Betriebssysteme, aber natürlich viel spezieller und vor allem self-adaptive, d.h. die Sicherheitsmaßnahmen müssen sich selbst im gleichen Ausmaß weiterentwickeln wie die möglichen Angriffe.
Wie unterstützet ihr Unternehmen bei gesetzlich relevanten Vorgaben wie der NIS‑2‑Richtlinie und dem EU AI Act?
Zu NIS-2 habe ich letztes Jahr bereits eine Keynote gehalten. Das ist ein wichtiges Thema, und es ist gut, dass von offizieller Seite darauf gedrängt wird, Sicherheitsmaßnahmen umzusetzen. Auch wenn das im Alltag vielleicht nervig ist – war bei der DSGVO ähnlich. Durch die Ausweitung der Maßnahme auf weitere Branchen sind viele Unternehmen überfordert und benötigen Hilfe. Hier haben wir bereits einige zufriedene Kund:innen beraten und bei der Umsetzung unterstützt.
Auch im Bereich EU AI Act sind wir aktiv. Zum einen schreiben wir zusammen mit dem BSI einen Leitfaden, wie LLMs getestet werden können. Das ist wichtig, da standardisierte Tests den Kund:innen eine gewisse Sicherheit bieten, bei verschiedenen Anbieter:innen vergleichbare Qualität zu bekommen und behördlich „abgesegnete“ Standards eingehalten werden.
Darüber hinaus achten wir natürlich auch darauf, dass durch den Einsatz unserer Software die Anforderungen der EU automatisch erfüllt werden. Unsere Kund:innen sind also nicht nur sicher, sondern auch rechtssicher und compliant mit rechtlichen Vorgaben.
Seit Juni 2025 werdet ihr vom CISPA StartUpSecure Inkubator gefördert. Wie sehr hilft euch die Zusammenarbeit?
Wir haben uns hier eine große Aufgabe vorgenommen, die wir als Start-up alleine nicht hätten bewältigen können. StartUpSecure hat für uns mehrere Vorteile. Zum einen haben wir jetzt das passende Budget, um unsere Ideen umzusetzen und auch grundlegende Forschung zu betreiben, die vor der Marktreife eines seriösen Produktes absolut notwendig sind.
Zum anderen schätzen wir auch den Kontakt zum CISPA und Forschung auf höchstem Niveau. Der Austausch zwischen Forscher:innen, die neue Ideen einbringen und einem Unternehmen, das sie schnell austesten kann, ist für beide Seiten ein Gewinn.
Welche neuen Cloud- oder KI‑basierten Produkte oder Features plant sequire technology in den kommenden 12–24 Monaten?
Wir hoffen, unsere Arbeiten an der Self Adaptive Sandbox „sequiSAS“ nach der geförderten vorwettbewerblichen Phase schnell zur Marktreife zu bringen. Die Zeit drängt – wichtige Teile des AI Act treten zum August 2026 in Kraft, und da wäre es schön, eine gut funktionierende Lösung zu haben, die neben der Sicherheit auch den gesetzlichen Anforderungen genüge tut.
Und ja, vermutlich arbeiten daran auch große internationale Konzerne; aber gerade in der aktuellen Situation sollte es aus meiner Sicht die oberste Priorität sein, mit einer eigenen Lösung die europäische Souveränität auf dem Weltmarkt zu behalten – insbesondere wenn es um ein so wichtiges Thema wie die Sicherheit von KI Systemen geht. Da steht enorm viel auf dem Spiel.
Vielen Dank für das Interview, Christoph!
Mehr Informationen zu sequire technology: https://sequire.de
