©ERC
WORUM GEHT ES BEI S3?
Was, wenn wir Software-Bots hätten, die unermüdlich unsere Softwaresysteme testen, debuggen und überwachen? IT-Mitarbeiter sind teuer und rar. Warum also können wir langweilige, sich wiederholende Tätigkeiten wie Testen und Debuggen nicht weiter automatisieren? Das Problem ist, dass uns computerlesbare Spezifikationen (so genannte Oracles) dafür fehlen, was das System tun oder nicht tun sollte. Dieses Oracle-Problem ist seit Jahrzehnten ein Hindernis für die automatische Testgenerierung, die zuverlässige Reparatur von Software und die genaue Überwachung von Software.
Aufbauend auf bahnbrechenden Forschungsarbeiten zur Ableitung von Eingabesprachen von Systemen führt S3 einen einheitlichen Ansatz zum automatischen Lernen von Oracles ein. Es nimmt ein gegebenes Softwaresystem, schlussfolgert und dekodiert seine Eingaben und Ausgaben und führt Experimente durch, um Modelle zu extrahieren, wie sich das System verhält, indem es seine Semantik durch Vorhersage von Ausgabemerkmalen für die gegebenen Eingabemerkmale erfasst. Diese Modelle, die so genannten Systeminvarianten, ermöglichen die vollständige Automatisierung wichtiger Softwareentwicklungsaktivitäten:
Testen
Systeminvarianten kodieren Sprachen zur automatischen Generierung von Testeingaben und bieten Oracles zur Überprüfung von Testergebnissen: “In the TLS server, the <payload> in the <heartbeat-response> must be the same as in the <heartbeat-request>.”
Fehlersuche und -behebung
Systeminvarianten ermöglichen die Eingrenzung der Ursachen für Softwareverhalten (“The X.509 public key certificate is not recognized if <subject-name> contains a zero byte”). Generierte Tests und Oracles gewährleisten eine zuverlässige automatische Reparatur.
Überwachung
Systeminvarianten ermöglichen es, abnormales Verhalten zur Laufzeit zu erkennen (“In log4j, logging a <user-agent> containing "${jndi:<url>}" opens <url>”). Problematische Abfragen können isoliert und untersucht werden, bis das Problem behoben ist.
Künftig würden Tests, Fehlersuche und Überwachung von Software-Bots übernommen, die das Softwareverhalten autonom untersuchen, Probleme melden und ihren menschlichen Kolleg:innen Maßnahmen vorschlagen. Damit erhöhen sie die Produktivität der Entwickler:innen und die Zuverlässigkeit der Software.
©ERC
WORUM GEHT ES BEI S3?
Was, wenn wir Software-Bots hätten, die unermüdlich unsere Softwaresysteme testen, debuggen und überwachen? IT-Mitarbeiter sind teuer und rar. Warum also können wir langweilige, sich wiederholende Tätigkeiten wie Testen und Debuggen nicht weiter automatisieren? Das Problem ist, dass uns computerlesbare Spezifikationen (so genannte Oracles) dafür fehlen, was das System tun oder nicht tun sollte. Dieses Oracle-Problem ist seit Jahrzehnten ein Hindernis für die automatische Testgenerierung, die zuverlässige Reparatur von Software und die genaue Überwachung von Software.
Aufbauend auf bahnbrechenden Forschungsarbeiten zur Ableitung von Eingabesprachen von Systemen führt S3 einen einheitlichen Ansatz zum automatischen Lernen von Oracles ein. Es nimmt ein gegebenes Softwaresystem, schlussfolgert und dekodiert seine Eingaben und Ausgaben und führt Experimente durch, um Modelle zu extrahieren, wie sich das System verhält, indem es seine Semantik durch Vorhersage von Ausgabemerkmalen für die gegebenen Eingabemerkmale erfasst. Diese Modelle, die so genannten Systeminvarianten, ermöglichen die vollständige Automatisierung wichtiger Softwareentwicklungsaktivitäten:
Testen
Systeminvarianten kodieren Sprachen zur automatischen Generierung von Testeingaben und bieten Oracles zur Überprüfung von Testergebnissen: “In the TLS server, the <payload> in the <heartbeat-response> must be the same as in the <heartbeat-request>.”
Fehlersuche und -behebung
Systeminvarianten ermöglichen die Eingrenzung der Ursachen für Softwareverhalten (“The X.509 public key certificate is not recognized if <subject-name> contains a zero byte”). Generierte Tests und Oracles gewährleisten eine zuverlässige automatische Reparatur.
Überwachung
Systeminvarianten ermöglichen es, abnormales Verhalten zur Laufzeit zu erkennen (“In log4j, logging a <user-agent> containing "${jndi:<url>}" opens <url>”). Problematische Abfragen können isoliert und untersucht werden, bis das Problem behoben ist.
Künftig würden Tests, Fehlersuche und Überwachung von Software-Bots übernommen, die das Softwareverhalten autonom untersuchen, Probleme melden und ihren menschlichen Kolleg:innen Maßnahmen vorschlagen. Damit erhöhen sie die Produktivität der Entwickler:innen und die Zuverlässigkeit der Software.
