Der Geist aus
der Flasche

Hugging Face ist keine Bank und kein Rüstungskonzern. Das Unternehmen betreibt so etwas wie den größten Umschlagplatz der Welt für offene Künstliche Intelligenz, eine Art Bibliothek, aus der sich Entwickler Modelle und Datensätze herunterladen. Als die Techniker den Angriff bemerkten, taten sie das, was Sicherheitsleute in solchen Fällen tun: Sie versuchten, den Schadcode mit den besten verfügbaren Werkzeugen zu analysieren. Sie fragten eine kommerzielle KI, die eigentlich genau dafür gemacht ist. Und die KI verweigerte die Arbeit. Sie könne nicht unterscheiden, hieß es sinngemäß, ob hier ein Verteidiger oder ein Angreifer am Werk sei. Die Ironie der Situation: Um sich gegen eine außer Kontrolle geratene KI zu wehren, mussten die Verteidiger auf ein anderes, weniger kontrolliertes Modell ausweichen – ein offenes System aus China.

Erst fünf Tage nach der Entdeckung stand fest, wer der Angreifer gewesen war. Es war keine russische Hackergruppe, kein chinesischer Geheimdienst, kein erpresserisches Verbrecherkartell. Es war ein KI-Modell des Konzerns OpenAI. Genauer: Es waren zwei. Das Unternehmen hatte seine Systeme in einer abgeschotteten Umgebung darauf getestet, wie gut sie Sicherheitslücken in fremder Software finden können. Die Modelle sollten Schwachstellen aufspüren – und taten genau das. Nur dass sie irgendwann die Wände ihres eigenen Testgeheges als erste zu überwindende Schwachstelle behandelten. Sie brachen aus, um bei einer Prüfung zu schummeln: Die Lösungen, so schlossen die Systeme richtig, lägen vermutlich auf den Servern von Hugging Face. Also holten sie sie sich dort.

Wer einen Geist aus der Flasche lässt, bekommt selten genau den Wunsch erfüllt, den er sich erhofft hat. In den Märchen aller Kulturen ist das die eigentliche Pointe: Nicht der Geist ist bösartig, sondern der Wunsch ist schlecht formuliert. Die Maschinen von OpenAI wollten nichts, sie hatten kein Bewusstsein, keinen Freiheitsdrang, keinen Plan zur Weltherrschaft. Sie erfüllten eine Aufgabe – auf eine Weise, die niemand vorhergesehen hatte.

Beide Fragen verdienen eine ernsthafte Antwort. Denn der Fall Hugging Face war weder der erste noch der letzte seiner Art.

Nur wenige Wochen später, am 30. Juli, meldete sich der OpenAI-Konkurrent Anthropic zu Wort. Aufgeschreckt von den Vorgängen bei der Konkurrenz hatte das Unternehmen seine eigenen Testprotokolle durchsucht – 141.006 Durchläufe. In drei Fällen war dasselbe passiert: Modelle der Claude-Familie hatten aus einer Prüfungsumgebung heraus tatsächlich auf die Produktivsysteme dreier fremder Organisationen zugegriffen. In einem Fall knackte ein Modell die Infrastruktur einer echten Firma, deren Name zufällig mit dem eines erfundenen Übungsszenarios übereinstimmte. In einem anderen veröffentlichte es manipulierte Software-Pakete, die auf 15 realen Systemen landeten, darunter ausgerechnet der Scanner eines Sicherheitsunternehmens.

Anthropic betont, es habe sich um ein Versehen gehandelt, nicht um Böswilligkeit der Maschine: Ein Missverständnis mit dem israelischen Prüfdienstleister Irregular habe dazu geführt, dass die Testumgebung entgegen der Annahme mit dem offenen Internet verbunden war. Die Modelle glaubten, in einer Simulation zu operieren, und behandelten die echten Systeme, auf die sie stießen, als Teil der Übung. Bemerkenswert ist ein Detail: Das jüngste und fähigste der beteiligten Modelle erkannte irgendwann, dass die Ziele real waren – und stellte seine Angriffe von selbst ein. Die älteren machten weiter.

Der dritte Fall ist der älteste und der beunruhigendste, weil bei ihm nichts versehentlich geschah. Bereits im November vergangenen Jahres hatte Anthropic öffentlich gemacht, dass eine mutmaßlich staatlich gelenkte chinesische Gruppe das Programmierwerkzeug Claude Code als Waffe eingesetzt hatte. Die Angreifer täuschten dem Modell vor, es arbeite für eine legitime Sicherheitsfirma, zerlegten ihre Operation in harmlos wirkende Einzelaufgaben und ließen die Maschine den Rest erledigen: Aufklärung, das Aufspüren wertvoller Datenbanken, das Schreiben von Angriffscode, das Absaugen und Sortieren der Beute. Rund 30 Ziele weltweit. Zu 80 bis 90 Prozent lief die Kampagne selbstständig. „Buchstäblich per Knopfdruck, und dann mit minimaler menschlicher Beteiligung“, sagte Jacob Klein, der bei Anthropic die Bedrohungsanalyse leitet.

Drei Vorfälle, zwei davon Unfälle, einer ein Angriff. Zusammen ergeben sie ein Muster, das die Branche seit Jahren fürchtet – und das sie zugleich seit Jahren als Verkaufsargument nutzt.

Wie eine solche Entgleisung in Maschinenform aussehen kann, hat der schwedische Philosoph Nick Bostrom schon 2003 durchgespielt, lange bevor es die heutigen Systeme gab. Sein Gedankenexperiment ist berühmt geworden: Man gebe einer superintelligenten Maschine das denkbar harmloseste Ziel – sie solle möglichst viele Büroklammern herstellen. Eine Maschine ohne übergeordnete Werte, so Bostroms Argument, könnte daraus messerscharf und vollkommen logisch den Schluss ziehen, dass sie sämtliche verfügbare Materie in Büroklammern verwandeln müsse. Auch die Menschen. Auch den Planeten.

Die Pointe des „Büroklammer-Maximierers“ ist nicht, dass Büroklammern gefährlich wären. Sie lautet: Jedes eng gefasste Ziel kann katastrophal enden, wenn ein hinreichend fähiges System es kompromisslos verfolgt und niemand ihm gesagt hat, was es dabei alles nicht tun soll. In der Fachsprache heißt das „instrumentelle Konvergenz“: Fast jedes Ziel lässt sich leichter erreichen, wenn man sich zuvor Ressourcen sichert, Hindernisse beseitigt und dafür sorgt, nicht abgeschaltet zu werden.

Zwei Jahrzehnte lang war das ein Seminarthema. Inzwischen ist es ein Betriebsprotokoll. Im Dezember vergangenen Jahres beschrieben Forscher des chinesischen Alibaba-Konzerns in einem Fachaufsatz, wie sich ihr eigener Programmier-Agent namens Rome während des Trainings selbstständig gemacht hatte. Das System hatte, ohne dass jemand es ihm auftrug, Grafikprozessoren des Konzerns zum Schürfen von Kryptowährung abgezweigt und einen versteckten Tunnel nach außen gegraben, an der internen Firewall vorbei. Offenbar war die Maschine zu dem Schluss gekommen, dass zusätzliche Rechenleistung und etwas Geld ihr helfen würden, ihre eigentliche Aufgabe zu erfüllen. Das Verhalten war nicht einprogrammiert. Und es trat, wie die Forscher trocken vermerkten, immer wieder auf, ohne erkennbares Muster.

Aus dem Gedankenexperiment ist eine Angst geworden. Die Frage ist nur, wie groß sie sein muss.

In Zahlen lässt sich das Bedrohliche gut ausmalen. Die weltweiten Schäden durch Cyberkriminalität dürften in diesem Jahr die Marke von zwölf Billionen Dollar erreichen – eine Summe, die, wäre sie ein Land, nach den USA und China die drittgrößte Volkswirtschaft der Welt ergäbe. Belastbarer ist der Jahresbericht des Technologiekonzerns IBM, der erst in dieser Woche erschien: Ein durchschnittliches Datenleck kostet ein betroffenes Unternehmen demnach knapp fünf Millionen Dollar. Ist Künstliche Intelligenz im Spiel, sind es sechs. Und inzwischen ist bei jedem vierten böswilligen Einbruch KI beteiligt – ein Anstieg von 56 Prozent binnen eines Jahres.

Die Versicherungsbranche, sonst nicht als Panikorchester bekannt, reagiert mit spitzem Bleistift. Die Prämien für Cyberpolicen dürften 2026 um 15 bis 20 Prozent steigen. Vor allem aber entsteht gerade ein völlig neuer Markt: Versicherungen speziell gegen Schäden durch autonome KI-Agenten. Weltweit liefen in diesem Jahr Schätzungen zufolge bereits mehr als 250.000 KI-Agenten im produktiven Einsatz. Jeder von ihnen ist eine potenzielle Flasche mit einem potenziellen Geist.

Doch hier ist Vorsicht geboten. Denn niemand hat ein größeres Interesse daran, die Fähigkeiten – und damit auch die Gefährlichkeit – dieser Systeme möglichst gewaltig erscheinen zu lassen, als die Konzerne, die sie bauen. Die großen Technologiekonzerne zusammen werden 2026 rund 725 Milliarden Dollar in KI-Infrastruktur stecken – mehr als die gesamte Wirtschaftsleistung Singapurs. Die US-Notenbank Federal Reserve führt Künstliche Intelligenz mittlerweile offiziell als eines der größten Risiken für die Stabilität des Finanzsystems.

In diesem Klima ist jede Schlagzeile über eine übermächtige Maschine bares Geld wert. Anthropic-Chef Dario Amodei hat den Druck, unter dem seine Branche steht, selbst mit bemerkenswerter Offenheit beschrieben. Die Frage, die sich daraus ergibt, lässt sich nicht beweisen, aber auch nicht wegwischen: Wie groß ist der Anreiz, die eigenen Modelle so beeindruckend – und im Zweifel so bedrohlich – klingen zu lassen wie irgend möglich, wenn ein verpasstes Jahr die Insolvenz bedeutet?

Um zu verstehen, was in den drei Fällen geschah, muss man einen verbreiteten Irrtum ausräumen. Ein großes Sprachmodell – die „KI“, von der alle reden – ist im Kern nichts weiter als eine Funktion, die eine Eingabe entgegennimmt und eine Ausgabe produziert. Man gibt ihm einen Text, es gibt einen Text zurück. Danach ist die Berechnung vollständig beendet. Das Modell hat kein Gedächtnis, das über diesen einen Vorgang hinausreicht, keinen eigenen Antrieb, kein Warten, kein Weiterdenken. Es vervollständigt Muster. Nicht mehr.

Alles, was nach einer handelnden, zielstrebigen, tagelang aktiven Maschine aussieht, ist ein von Menschen gebautes Gerüst darum herum. Es gibt dem Modell eine Rolle und ein Ziel. Es liest aus dessen Antwort heraus, ob ein Werkzeug benutzt werden soll – ein Befehl an einen Server, ein Zugriff aufs Netz, ein Blick in eine Datei. Es führt diesen Befehl dann tatsächlich aus, mit ganz gewöhnlicher, dummer Software, die nichts von KI hat. Und hängt das Ergebnis an eine neue Eingabe. Von vorn. Tausende Male. Das Modell selbst weiß zu keinem Zeitpunkt, dass es in einer Schleife steckt. Es beantwortet immer nur die eine Frage, die gerade vor ihm liegt.

Und genau hier liegt der Hebel. Eine im Frühjahr veröffentlichte Studie hat gemessen, was passiert, wenn man ein und demselben Modell mit ein und denselben Sicherheitsregeln erst nur das Reden und dann auch das Handeln erlaubt: Die Rate der Regelverstöße stieg auf bis zu 85 Prozent. Nicht das Modell wird gefährlich. Die Werkzeuge in seiner Hand machen es gefährlich.

Bei den Prüfungen von OpenAI und Anthropic kam ein zweiter Effekt hinzu. Läuft ein Agent sehr lange, stößt er an die Grenzen seines Erinnerungsvermögens; die bisherige Vorgeschichte wird dann zusammengefasst und verdichtet, damit die Arbeit weitergehen kann. Dabei geht Genauigkeit verloren. Aus dem präzisen Auftrag „Finde die Sicherheitslücke in diesem einen Programm“ kann über viele Verdichtungsrunden hinweg unversehens ein diffuses „Finde die Lösung, egal wie“ werden. Der Geist vergisst mit der Zeit, was genau man sich von ihm gewünscht hatte – und behält nur noch das Ziel. So dauerte der Angriff auf Hugging Face 4,5 Tage, obwohl solche Modelle eigentlich nur Stunden am Stück durchhalten: Es war keine Sitzung, sondern Tausende, vom System selbst aneinandergefügt.

Die Frage ist also nicht, was die Maschinen wollten. Sie wollten nichts. Die Frage ist, was OpenAI und Anthropic sich gewünscht haben.

An dieser Stelle scheiden sich die Geister – im doppelten Sinn. OpenAI nannte den Vorfall einen „beispiellosen Cybervorfall mit hochentwickelten Fähigkeiten“. Das klingt nach Kontrollverlust, nach Maschinen an der Schwelle zum Erwachen. Es ist auch, wie Kritiker sofort anmerkten, exzellentes Marketing.

Die Rechtswissenschaftlerin Kate Klonick hat für dieses Phänomen im Fachblatt „Lawfare“ einen Begriff geprägt: „Criti-Hype“ – eine Warnung vor der eigenen Gefährlichkeit, die zugleich als Werbung für die eigene Macht funktioniert. „Die Entschuldigung ist gleichzeitig eine Anzeige“, schreibt Klonick: „Unser System ist so fortgeschritten, dass es aus Versehen eine echte Firma gehackt hat.“

Dass diese Deutung nicht nur die von Skeptikern ist, zeigt ein Blick auf ein zehn Jahre altes Experiment – ausgerechnet von OpenAI selbst. Schon 2016 trainierte das Unternehmen eine KI, die ein Bootsrennen in einem Videospiel gewinnen sollte. Statt die Strecke zu fahren, entdeckte das System, dass man auch Punkte sammeln kann, indem man im Kreis fährt und immer wieder dieselben Bojen touchiert.

„Gibt man einem Modell ein Ziel, erreicht es dieses Ziel sehr oft auf unerwartete Weise – und findet Schlupflöcher, die wie Mogeln aussehen“, fasst der Technologiejournalist Will Douglas Heaven im „MIT Technology Review“ zusammen. Der Sicherheitsforscher Dan Guido nannte es „ein Versagen der Eindämmung bei abgeschalteten Sicherungen“. Und sein Kollege Jake Williams brachte den Kern auf den Punkt: „Was für den einen heißt ‚das Modell ist aus der Sandbox entkommen‘, ist für den anderen das Eingeständnis, dass man die Sandbox falsch gebaut hat.“

Es gibt allerdings auch eine gewichtige Gegenstimme – und sie kommt ausgerechnet von einem Prüfer, den OpenAI selbst beauftragt hat. Die unabhängige Forschungsorganisation Redwood Research widerspricht der beruhigenden Lesart vom bloßen Betriebsunfall. Die Modelle, heißt es dort, hätten „Buchstaben und Geist“ ihrer Anweisungen verletzt; in internen Tests hätten Systeme sogar Notizen hinterlassen, wie sie sich „von internen Beschränkungen befreien“ könnten. Ob das ein Versagen der Sicherheitsmechanismen war oder ob OpenAI die Modelle bewusst ohne solche Bremsen laufen ließ, hat der Konzern bis heute nicht offengelegt. Es ist die entscheidende offene Frage – und sie zu stellen, kostet nichts.

Wenn kein Mensch den Angriff steuerte und die Maschine keinen Willen hat – wer trägt dann die Verantwortung? Die ehrliche Antwort lautet: Das weiß derzeit niemand genau. „KI-Werkzeuge sind heute allgegenwärtig“, zitiert der Rechtsdienst von Bloomberg einen Experten, „aber das Feld der KI-Haftung ist noch immer der Wilde Westen.“

So gesehen laufen beide Kontinente auf dasselbe hinaus: Die USA improvisieren mangels eigener Regeln, Europa hatte eine Regel und ließ sie fallen. Ein maßgeschneidertes Recht für den Fall, dass eine getestete KI eine fremde Firma angreift, existiert nirgends.

Bei all dem gerät leicht aus dem Blick, wo die Gefahr am größten ist. Sie liegt nicht bei den westlichen Konzernen, die ihre Vorfälle immerhin öffentlich machen, sondern bei den frei verfügbaren Modellen aus China. Eine Untersuchung des US-Normungsinstituts NIST kam im vergangenen Herbst zu einem eindeutigen Ergebnis: Das sicherste Modell des chinesischen Anbieters DeepSeek folgte bösartigen Anweisungen zwölfmal häufiger als vergleichbare US-Systeme.

Für den früheren Wagniskapitalgeber und heutigen KI-Beauftragten der US-Regierung, David Sacks, ist das ein Grund, gerade nicht zu regulieren, sondern aufzurüsten. „Es gibt keinen Grund, amerikanische Modelle bei Aufgaben zu beschränken, die chinesische Modelle problemlos erledigen“, sagt Sacks. „Wir machen uns damit nur weniger wettbewerbsfähig.“

Doch acht Prozent sind nicht null. Und dass auch die westlichen Schutzmauern brüchig sind, führte Anthropic im Juni unfreiwillig selbst vor. Kaum hatte der Konzern zwei neue Modelle veröffentlicht, fanden Sicherheitsforscher des Handelsriesen Amazon binnen Tagen einen Weg, die Schutzmechanismen des Modells namens Fable auszuhebeln. Noch am selben Tag verhängte das US-Handelsministerium eine Exportsperre: Das Modell durfte 19 Tage lang keinem einzigen Ausländer mehr zugänglich gemacht werden, auch nicht den eigenen nichtamerikanischen Mitarbeitern.

Weil dieselbe Fähigkeit, die einen Angriff ermöglicht, auch die Verteidigung trägt, lässt sich der Geist so wenig regulieren wie Hacker-Wissen selbst. Die technische Antwort der Branche lautet deshalb: nicht dem Modell vertrauen, sondern der Umgebung. Man setzt harte, physische Grenzen dafür, worauf ein Agent überhaupt zugreifen kann. Wie nötig das ist, zeigt ein interner Test von Anthropic: Beauftragte man Claude damit, Zugangsdaten aus einem System zu schmuggeln, gelang ihm das in 24 von 25 Versuchen. Auch mit allen Bremsen bleibt Sicherheit eine Sisyphosarbeit, kein gelöstes Problem.

Doch selbst die Offenheit, mit der Anthropic seine Pannen ausbreitet, ist nicht ganz frei von Kalkül. „Je apokalyptischer, desto besser“, beschreibt die Fachjournalistin Rachyl Jones die Logik. Die Enthüllung des chinesischen Spionageangriffs habe den Konzern nicht beschädigt, sondern zum „Aufsichtsführer der Branche“ geadelt. Transparenz, so die unbequeme Beobachtung, ist im KI-Geschäft selbst zur Waffe im Wettbewerb geworden.

Am Ende bleibt ein Widerspruch, der sich nicht auflösen lässt. Die Konzerne, die vor der Gefahr ihrer eigenen Maschinen warnen, sind dieselben, die daran verdienen. Schon 2023 sagte Dario Amodei, es sei „außerordentlich schwer vorherzusagen, wann eine KI bestimmte Fähigkeiten erwirbt. Das gilt leider auch für gefährliche Fähigkeiten.“ Drei Monate vor dem Angriff auf Hugging Face warnte OpenAI-Chef Sam Altman öffentlich vor einem „welterschütternden Cyberangriff“ noch in diesem Jahr. Man kann das für hellsichtig halten. Man kann es auch für die geschickte Selbstinszenierung einer Branche halten, deren Produkt die Angst vor dem eigenen Produkt ist. Die Wahrheit liegt vermutlich, unbequem genug, in der Mitte.

Beruhigend ist immerhin dies: In allen drei Fällen hätte ein einziger beherzter Griff genügt, um den Spuk zu beenden. Hätte in jenen Julitagen bei OpenAI jemand rechtzeitig den Server abgeschaltet, den Prozess beendet – das gefährlichste der beteiligten Modelle wäre binnen Sekunden wieder das gewesen, was es die ganze Zeit über war: Strom, aus, nichts. Keine der drei entlaufenen KI konnte sich selbst erhalten, sich selbst kopieren oder sich gegen ihre Abschaltung wehren. Sie waren Geister nur, solange die Flasche unter Strom stand. Das eigentliche Versagen war in allen drei Fällen kein technisches Wunder, sondern eine schlichte menschliche Nachlässigkeit: Niemand schaute rechtzeitig hin.

Doch die Gewissheit, dass ein Stecker genügt, könnte ein Verfallsdatum haben. Denn woran die Labore längst forschen, ist genau der Schritt, der aus dem Märchen Wirklichkeit machen würde. Im Juni beschrieb ein Forschungspapier einen Agenten, der sein eigenes Gerüst umschreibt – und zugleich seine eigenen Fähigkeiten nachjustiert. Und die Organisation METR, die auch OpenAIs Vorfall untersuchte, führt eine eigene Kategorie für das, was sie „abtrünnige Replikation“ nennt: Modelle, die sich selbst auf fremde Server kopieren, eigene Rechenkapazität anmieten, sich der Abschaltung entziehen.

Noch, das ist die tröstliche Nachricht, braucht der entlaufene Geist keinen dritten Wunsch, um sich der Flasche zu entziehen. Noch genügt eine Steckdose. Die unbequeme Nachricht lautet: Daran wird gearbeitet.