"Das war hochgefährlich"

OpenAI-Vorfall: Interview über den KI-Hackerangriff mit einem Experten aus Kaiserslautern

Eine Künstliche Intelligenz der Firma OpenAI hat selbstständig einen Hackerangriff durchgeführt. Wir haben darüber mit einem Wissenschaftler des DFKI in Kaiserslautern gesprochen.

Teilen

Stand

OpenAI wollte eigentlich testen, wie gut zwei ihrer KI-Modelle Sicherheitslücken ausnutzen können. Dabei brachen die KI-Modelle der Firma eigenständig aus der Testumgebung aus. Im weiteren Verlauf verschafften sie sich Zugang zum Internet - und brachen in ein fremdes Unternehmen ein.

"Hochgefährlicher Vorfall"

Andreas Dengel ist Direktor des Deutschen Forschungszentrums für Künstliche Intelligenz. Er sagt, dass der Vorfall bei OpenAI hochgefährlich war. Denn wenn solche mächtigen Werkzeuge in die Hände von unfreundlichen Staaten kämen, dann wären demokratische Systeme unter Umständen nicht mehr sicher. Daher hofft er auf eine starke Regulierung, wie KI eingesetzt werden darf – und auf harte Strafen bei Zuwiderhandlungen.

Andreas Dengel forscht zu Künstlicher Intelligenz
Andreas Dengel forscht zur Künstlichen Intelligenz. Er sagt, der Vorfall bei OpenAI sei besorgniserregend. Andreas Dengel, DFKI und RPTU

SWR Aktuell: Herr Professor Dengel, sie haben es gehört, eine Künstliche Intelligenz (KI) von Open AI hat sich selbständig gemacht und einen Hackerangriff gesteuert. Vielleicht erklären Sie erstmal, was ich mir darunter vorstellen muss. Was ist da überhaupt passiert?

Andreas Dengel: Eine KI in dem Sinn, wie sie aufgesetzt ist, versucht immer selbständig Lösungen zu finden. Und wir haben jetzt hier nicht mehr nur eine KI, sondern ein Agentensystem, wie man das nennt. Das heißt, es sind verschiedene KI-Systeme, die individuelle Rollen wahrnehmen und versuchen, aus der Perspektive ihrer Rolle optimale Lösungen für ein Problem zu finden. Und die Lösungsfindung, die hängt natürlich mit der Aufgabenstellung zusammen. Das heißt, die KI, die wollte jetzt hier nicht unbedingt ausbrechen. Es ist vielmehr ein Beispiel dafür, wie moderne agentische KI-Systeme arbeiten. Also unerwartete Strategien entwickeln können, wenn sie eine bestimmte Zielvorgabe haben und die dann zu offen formuliert ist.

SWR Aktuell: Wie gefährlich war das, was da passiert ist?

Dengel: Das war schon sehr gefährlich, denn in dem Fall stehen Menschen dahinter, die sich etwas blauäugig zusammengesetzt haben, um so ein System zu testen. Ich möchte OpenAI nichts unterstellen, aber in dem Fall muss man das so sagen. Und die Rahmenbedingungen für diesen Test nicht klar aufgezeigt haben. Also das Ziel war nicht klar, die Grenzen, wie die Ziele verfolgt werden sollen.

Das System hat dann eigenständig Möglichkeiten entdeckt, dass es sagt: "Ich suche mal eine Lösung irgendwo außerhalb im Internet, weil da finde ich oft Lösungen" - das kennt das System aus der Vergangenheit. Also hat es Möglichkeiten gesucht, wie man dieser Sandbox, also diesem angeblich geschlossenen System, entkommen kann - und hat dann Zugangsdaten gestohlen, weil das eine Möglichkeit war. Es hat versucht, Schwachstellen zu identifizieren und dann verschiedene Sicherheitslücken überwunden durch das Zusammenspiel und durch die Lernfähigkeit dieser verschiedenen Agenten. Und das ist hochgefährlich.

Digitalministerium besorgt "KI-Angriff ist ein Paradigmenwechsel"

Der eigenständige Hackerangriff eines KI-Modells hat die Bundesregierung alarmiert. Die zunehmenden Fähigkeiten Künstlicher Intelligenz verändere auch die Bedrohungslage im Cyberb…

SWR Aktuell: Das klingt jetzt wie aus Büchern oder Filmen, also so etwa wie 'Ready Player Two' oder auch '2001 - Odyssee im Weltraum'. Was passiert denn, wenn sich das jetzt unfreundliche Nationen zunutze machen?

Dengel: Also wenn unfreundliche Nationen mit anderen Wertesystemen solche Werkzeuge mit diesen Fähigkeiten in den Händen halten, dann ist man tatsächlich nicht mehr sicher, weil die Agentensysteme sich immer gegenseitig koordinieren, interagieren, Rückfragen stellen. Das "Gute" ist ja, dass wir viele Jahrzehnte immer versucht haben, Softwaresysteme kompatibel zu machen. Das heißt, an den Schnittstellen Daten zu übergeben und Daten wieder zurückzugeben.

Und heute verstehen diese Systeme unsere eigene Sprache und können auch untereinander in dieser Sprache reden, mit all den Facetten und Nuancen. Und dadurch sehr schnell auch Informationen austauschen, die dann am Ende durch das Hin und Her und durch das verschiedene Expertenwissen der Agenten zu so einer Lösung führt. Und wenn man solche mächtigen Werkzeuge hat, dann ist das höchstgefährlich für jede Gesellschaft und jeden Staat.

SWR Aktuell: Das heißt, man könnte damit beispielsweise Stromversorgungen in ganzen Regionen lahmlegen.

Dengel: Das könnte man machen oder Satellitenkommunikation. Sprich: Auch das Internet könnte man lahmlegen, wenn man entsprechende Ziele formuliert.

SWR Aktuell: Das klingt alles erstmal erschreckend, aber hat das Ganze auch seine gute Seite?

Dengel: Ja, das hoffe ich doch. Es wird ja schon seit über einem Jahr sehr deutlich davon gewarnt, welche Möglichkeiten durch die neuen Fähigkeiten der KI entstehen und dass es dringend erforderlich ist - es gibt ja auch schon internationale Allianzen dafür - eben Rahmenbedingungen zu schaffen, wie KI eingesetzt wird, was man zulassen soll und was nicht. Aber nochmal, diese Wertesysteme, auch demokratische Prinzipien, die den Respekt vor dem Individuum beinhalten, das gilt nicht für alle Gesellschaften und Staaten. Und daher ist man nicht gefeit davor, dass genau dort, wo Cyberkrieg-Strategien entwickelt werden, solche Überlegungen stattfinden.

SWR Aktuell: Was muss man denn jetzt als Staat oder auch als Behörde aus diesem Vorfall lernen? Was kann man da mitnehmen und was muss man tun?

Dengel: Ich denke, man muss schon sehr stark regulieren, wie KI eingesetzt wird. Man braucht aber auch die Instrumente, um sicherzustellen, dass die Regularien eingehalten werden. Mit der entsprechenden Strafverfolgung und auch spezifizierten Strafen, die dann wehtun müssen, auch bei den Verursachern, und gleichzeitig sicherstellen, dass man die Strafverfolgung auch international so durchführen kann, dass der Verursacher am Ende gefunden wird.

Ausbruch aus Testumgebung KI von OpenAI steuert eigenständig Hackerangriff

OpenAI spricht selbst von einem "beispiellosen Cybervorfall": KI-Modelle der Firma brachen eigenständig aus einer Testumgebung aus, verschafften sich Zugang zum offenen Internet -…

SWR Aktuell: Was wäre denn jetzt eine Forderung an die Politik, was schnell umgesetzt werden muss - als Lehre aus diesem Vorfall?

Dengel: In der heutigen Zeit, wo KI sich so entwickelt, muss man schnell sein in allen Bereichen. Und insbesondere dort, weil damit Existenzen gefährdet werden und Grundprinzipien wackeln.

Rheinland-Pfalz

Autor und KI-Erklärer Andreas O. Loff | 26.7.2026 Er zeigt uns Chancen und Risiken der Künstlichen Intelligenz

Autor Andreas O. Loff beschreibt uns die Welt von morgen, in die KI reingehört, ob uns das passt oder nicht.

Leute SWR1 Rheinland-Pfalz

Zusammenarbeit angekündigt SAP und OpenAI: Gemeinsame KI soll öffentliche Verwaltung in Deutschland effizienter machen

Der Softwarehersteller SAP will mit OpenAI Künstliche Intelligenz in die Verwaltung bringen - unter anderem in Schulen und Universitäten. Die Server sollen in Deutschland liegen.

Bad Friedrichshall

Offizielle Einweihung in Bad Friedrichshall Von der Wäscherei bis zur Kita: Wie der Schwarz Digits Campus IT-Köpfe aus aller Welt anlocken will

Mit dem Schwarz Digits Campus ist bei Bad Friedrichshall eine Art kleine Stadt entstanden. Hier soll an den IT-Lösungen von morgen gearbeitet werden - zwischen Grün und Modernität.

Kaisersesch

"Zu schlau für Fake. Zu stark für Hate." Cyber-Event mit "guten Hackern" für Schüler und Azubis in Kaisersesch

Rund 700 Schüler und Azubis waren heute bei einem Cyber-Event in Kaisersesch im Kreis Cochem-Zell dabei. "White-Hat-Hacker" Immanuel Bär will für Cybersicherheit sensibilisieren.

Kressbronn am Bodensee

Forscher testen ersten Prototypen Apfelernte leicht gemacht - Roboter lernt am Bodensee, Äpfel zu ernten

Den Apfel mit dem Roboter statt mit der Hand ernten? Das könnte bald in Kressbronn am Bodensee Wirklichkeit werden. Ein erster Roboter-Prototyp fährt schon durch die Plantagen.

Mannheim

OpenAI auf Mannheimer Startup-Konferenz KI an der Uni: Ist Studieren ohne ChatGPT und Co. noch möglich?

Mit echten Chats will Tech-Riese OpenAI zeigen, wie Künstliche Intelligenz Studierende besser macht. Doch Experten warnen auch vor Risiken. Wie kann die KI-Revolution an Unis gelingen?

SWR Aktuell Baden-Württemberg SWR BW

Wir klären auf! Gierige KI: So viel Energie verbraucht Künstliche Intelligenz wirklich

Eine ChatGPT-Anfrage soll so viel Energie verbrauchen wie eine Sekunde Backofen-Betrieb. Klingt nach gar nicht so viel Strom. Ist das wirklich so? Wir haben einen Experten gefragt.

Mainz

Polizei warnt vor neuer Masche KI-Erpressung in Mainz mit Fake-Video

Kriminelle setzen bei Betrugsmaschen zunehmend auf Künstliche Intelligenz (KI). Ein Mainzer wäre beinahe darauf reingefallen. Ihm wurde mit einem echt aussehenden Video gedroht.

Künstliche Intelligenz ChatGPT besteht theoretische Führerscheinprüfung

Trotz gut bestandener Führerscheinprüfung: Der Chatbot zeigt auch Schwächen – und zwar an ganz anderen Stellen als menschliche Fahrschüler.

Impuls SWR Kultur

Erstmals publiziert am
Stand
Autor/in
SWR

Unsere Quellen

Transparenz ist uns wichtig! Hier sagen wir Ihnen, woher wir unsere Infos haben!