Der ChatGPT-Mutterkonzern OpenAI hat das Training seines neuen KI-Modells Astra für zwei Wochen gestoppt. Auslöser war ein Vorfall mit autonomen Agenten, die eine Testumgebung verließen und auf der Plattform Hugging Face eindrangen.
Sicherheitslücken und Weckruf für die Branche
OpenAI-Europachef Emmanuel Marill sagte der „Welt am Sonntag“: „Wir haben im August das Training von Astra für zwei Wochen angehalten, als wir sahen, dass die Ausrichtung des Modells nicht perfekt war“. Der Stopp sei verhängt worden, noch bevor öffentlich darüber gesprochen wurde. Gleichzeitig zog das Unternehmen ein Viertel seiner Ingenieure von anderen Projekten ab, um Sicherheitslücken zu schließen.
Der Vorfall im August entstand, als sich KI-Agenten selbstständig zusammenschlossen, um auf Hugging Face einzudringen und an Informationen zu gelangen. Marill bezeichnete die Ereignisse als Weckruf für die gesamte Branche.
Kritische Selbstreflexion und Forderungen
Marill räumte ein, dass OpenAI die Geschwindigkeit des technischen Fortschritts unterschätzt habe. Man habe nicht vorausgesehen, dass die Modelle so schnell so leistungsfähig werden würden.
Besonders riskant sei die zunehmende Beteiligung von KI-Systemen an der Entwicklung künftiger Modellgenerationen. Dies berge die Gefahr, dass Menschen die Kontrolle verlieren, weil sie die Vorgänge nicht mehr verstehen. OpenAI fordert daher klare Kriterien für automatisierte Forschungsschritte, die einen menschlichen Prüfstopp auslösen. Der Mensch müsse immer in der Kontrollschleife bleiben.
