Die technische Grundlage vieler Anwendungen des maschinellen Lernens bilden sogenannte Graph Neural Networks (GNN). „In vielen realen Szenarien haben wir es mit Graphen zu tun. Zwischen den Datenpunkten gibt es sinnvolle Verbindungen, und mit GNN berücksichtigen wir diese Verbindungen“, erklärt CISPA Forscher Sayed Soroush Haj Zargarbashi. Graphen sind eine Art abstrakte Datenstruktur, die aus zwei Elementen besteht, den Knoten und den Verbindungen zwischen den Knoten, den sogenannten Kanten. Graphen können zum Beispiel soziale Netzwerke, Sensorennetze, wissenschaftliche Arbeiten mit ihren Referenzen oder ähnliches modellieren. Dabei gibt es eine Besonderheit, die bei bestimmten Anwendungsbereichen zu Problemen führt, so Soroush weiter: „Wenn Sie ein Modell als Blackbox verwenden, führt eine Eingabe immer zu einer Ausgabe, zum Beispiel wenn ein Auto eine Situation erkennt und beschließt, nach links zu steuern. Wenn man aber nicht weiß, wie sicher das Modell in Bezug auf diese bestimmte Ausgabe ist, wird es höchst unzuverlässig, insbesondere in sicherheitskritischen Bereichen, in denen der Benutzer eine Unsicherheitsabschätzung des Modells benötigt.“ Problematisch ist, dass die Vorhersagequalität der Modelle von den Modellen oft als besser angegeben wird als sie ist und der Unsicherheitsfaktor der Prognosen zu niedrig angegeben wird.
Warum es wichtig ist, dass Modelle eine zuverlässige Unsicherheitsschätzung für ihre Aussagen liefern, illustriert Soroush an einem Beispiel: „Nehmen wir an, sie verwenden ein medizinisches Diagnosesystem, um zu entscheiden, ob ein Patient eine bestimmte Krankheit hat. Dann ist es sehr wichtig, dass ihr Modell dies mit hoher Sicherheit vorhersagt. Denn wenn das Modell dies nicht leisten kann, muss man weitere Diagnosen durchführen. Diese Vorhersagen zu präzisieren, ist die Idee hinter der Quantifizierung der Unsicherheit.“ Ein Beispiel sind Verfahren, bei denen KI eingesetzt wird, um durch die automatische Analyse von MRT-Bildern festzustellen, ob ein Organ krebsartig ist oder nicht. In diesem Fall ist es wichtig, die Qualität der Vorhersage für jede einzelne Eingabe zu kennen. Mit anderen Worten: Eine 90-prozentige Trefferquote kann für die anderen 10 % sehr riskant sein.
Conformal Prediction als Lösung für die Unsicherheitsquantifizierung
„Es gibt Methoden, um diese Unsicherheit zu quantifizieren, aber sie sind rechenintensiv, schwer anzuwenden und, was am schlimmsten ist, viele von ihnen funktionieren nicht bei Graphen", sagt Soroush. Viele dieser Methoden erfordern in der Regel Änderungen an der Modellarchitektur oder ein Neutraining des Modells. „Es gibt jedoch ein wachsendes Interesse an einem alternativen Ansatz, der als Conformal Prediction bekannt ist", so der CISPA-Forscher weiter. Conformal Prediction (CP) ist ein seit Ende der 1990er Jahre bekanntes statistisches Verfahren zur Erstellung von Vorhersagesätzen, ohne Annahmen über den Vorhersagealgorithmus treffen zu müssen. Soroush erläutert, dass CP wie eine Art Hülle um das Modell herum arbeitet und eine Prognose mit einer vom Benutzer festgelegten Wahrscheinlichkeitsgarantie für die richtige Antwort liefert. Aber wie genau funktioniert das? „Für einen neuen Patienten beispielsweise kann man den Algorithmus so einstellen, dass er Sätze erzeugt, die mit einer Wahrscheinlichkeit von 95 % die richtige Antwort liefern. Das funktioniert für jedes Modell, auch für solche, die nur zu 60 % richtig sind“ erklärt der CISPA-Forscher. „Man braucht nur eine Zufallsstichprobe früherer Patienten mit ihrer richtigen Diagnose. Auf diese Weise haben wir für jeden Patienten eine Reihe möglicher Diagnosen, von denen wir wissen, dass sie mit sehr hoher Wahrscheinlichkeit die richtige Antwort enthalten.“
Maschinelles Lernen vertrauenswürdig machen
Im Grunde ist die von Soroush und seinen Kollegen entwickelte Methode eine Variante der Unsicherheitsquantifizierung, die nicht nur mit Graphen (Daten mit Verbindungen) arbeitet, sondern auch die Informationen aus den Beziehungen zwischen Datenpunkten nutzt. Ihre Methode ist nicht rechenintensiv und einfach zu implementieren, sofern zusätzliche Daten verfügbar sind. Entscheidender Vorteil dieser Herangehensweise ist laut Soroush, dass CP „modellunabhängig ist, was bedeutet, dass es egal ist, welches Modell verwendet wird. Man muss also Modelle nicht von Grund auf neu trainieren.“ Um die Studie praktisch umsetzen zu können, war nur die Entwicklung einer Methode namens Diffusion Adaptive Prediction Sets notwendig. Es nutzt die Verbindungen zwischen den Datenpunkten, um die Qualität der Unsicherheitsabschätzung zu verbessern. Eingebettet ist die ausführliche empirische Analyse dieser Methode im veröffentlichten Paper in eine umfassende theoretische Studie darüber, wann CP für GNNs anwendbar ist. Mit ihrer Studie leisten Soroush und seine Kollegen einen wichtigen Beitrag dazu, wie auf Graphen basierende Modelle maschinellen Lernens vertrauenswürdiger gemacht werden können.
