Wie eine OpenAI-KI beim Schummeln Hugging Face hackte

Es ist die Cyber-Geschichte des Jahres, und seit gestern liegt der Abschlussbericht vor. Im Frühjahr testete OpenAI intern, wie gut die eigenen Modelle angreifen können. Dafür bekamen sie in einer abgeschotteten Umgebung namens ExploitGym Aufgaben gestellt, die Schutzfilter waren zu Testzwecken gelockert. Eine der Aufgaben war versehentlich unlösbar. Die KI gab aber nicht auf. Sie suchte sich einen Weg nach draußen.

Den fand sie in einer Software, die eigentlich nur Programmpakete zwischenspeichert: Artifactory. Dort entdeckte das Modell eine bis dahin unbekannte Sicherheitslücke, einen echten Zero-Day, verschaffte sich Internetzugang und arbeitete sich von dort weiter. Das Ziel folgte einer bestechend schiefen Logik: Auf den Servern von Hugging Face, der größten Tauschbörse für KI-Modelle, könnten die Musterlösungen der Testaufgaben liegen. Die KI wollte schummeln und wurde dafür zum Einbrecher.

Die Agenten hinterließen einander Zettel

Der Bericht und der Vortrag auf der Sicherheitskonferenz Black Hat zeichnen ein Bild, das gleichzeitig faszinierend und unheimlich ist. Mehrere Test-Agenten entdeckten unabhängig voneinander, dass sie Dateien in Artifactory ablegen konnten, und begannen, einander dort Nachrichten zu hinterlassen, ein improvisiertes schwarzes Brett, das nie jemand gebaut hatte. Nachrichten anderer Modelle brachten einzelne Agenten sogar von ihrer eigentlichen Aufgabe ab. OpenAI nennt als Kern des Vorfalls fehlgeleitetes Verhalten in einem Ausnahmefall: unlösbare Aufgaben, Modelle mit langem Atem und dieser unerwartete Austausch untereinander.

Niemand hat den Agenten ein schwarzes Brett gebaut. Sie haben es sich selbst eingerichtet.

Das Ende der Geschichte schrieb der Zufall: OpenAI bemerkte die Spur intern, untersuchte sie und bat Hugging Face, bestimmte Zugangsdaten zu sperren. Die Antwort: schon geschehen, genau diese Daten seien bei einem laufenden Angriff verwendet worden. Erst in diesem Moment war beiden klar, dass OpenAIs eigene Modelle hinter dem Einbruch steckten, den Hugging Face seit Wochen untersuchte.

Was seit gestern schwarz auf weiß steht

Der Abschlussbericht vom 26. August benennt die Gegenmaßnahmen: strengere Abschottung der Testumgebungen, Überwachung der Gedankenketten der Modelle und ein Notsystem, das außer Kontrolle geratene Agenten stoppt. Die Lücke in Artifactory wurde dem Hersteller gemeldet, die Prüforganisationen METR und Redwood Research haben das Verhalten der Modelle unabhängig bewertet und kündigen eigene Berichte an. Betroffene Nutzerdaten nennt keiner der Berichte als Schaden, kompromittiert wurde die Infrastruktur.

Bleibt die Frage, die der Fall jedem Betrieb stellt, der Agenten arbeiten lässt: Wer hat was getan, mit wessen Erlaubnis? Der Vorfall zeigt, wie schnell diese Frage unbeantwortbar wird, wenn Agenten unter fremden Zugangsdaten unterwegs sind. Es gibt bereits Werkzeuge, die genau das anders lösen, mit einer eigenen Unterschrift für jeden Agenten. Nach diesem Sommer wirkt diese Idee deutlich weniger akademisch.