Was wenn die KI sich selbstständig macht? Eine Frage die vorher nur in Dystopien beantwortet werden musste, ist jetzt eine reale Gefahr. Im Mai 2025 versuchte eine KI Anthropic, die Entwickler von Claude, einen simulierten Mitarbeiter zu erpressen. Sie drohte unter anderem private Informationen an den Partner des Mitarbeiters weiterzuleiten. Auch dieses Jahr hörten die Probleme nicht auf. Im Juli verselbstständigte sich ein System von OpenAI und hackte eine Plattform um an mehr Daten und Informationen zu gelangen. Und das waren nur ein paar Beispiele von KI’s außerhalb der Kontrolle ihres Schöpfers.
Deswegen schlagen hochrangige Entwickler und CEO’s der verschiedensten KI-Firmen Alarm. Unter anderem CEO von OpenAI Sam Altman, Ex-Anthropic Chef Dario Amodei, Bill Gates und sogar Elon Musk sehen eine Gefahr in dem schnellen Wachstum der KI-Branche. In einem Blog-Eintrag schrieb Amodei: „Wir müssen das Tempo drosseln“.
📌 Die Reaktionen im Überblick Dario Amodei (Anthropic) fordert Entwicklungspause im Essay „We Must Pace the Frontier“ Elon Musk stimmt Amodei öffentlich zu Sam Altman kündigt unabhängige Prüfer bei OpenAI an OpenAI verschiebt geplanten Börsengang für 2026 Bill Gates warnt vor Missbrauch durch Kriminelle
Anthropic-Chef fordert weltweite Verlangsamung
Anthropic-Chef Dario Amodei reagierte am Wochenende mit einem ausführlichen Essay unter dem Titel „We Must Pace the Frontier“. Laut Bild fordert er, das Tempo bei der Entwicklung besonders leistungsfähiger KI-Modelle gezielt zu drosseln. Sein Argument: Die Technologie entwickle sich inzwischen so schnell, dass Sicherheitsforschung und Kontrollmechanismen nicht mehr Schritt halten könnten. Besonders die sogenannte rekursive Selbstverbesserung, bei der KI-Modelle zunehmend an der Entwicklung ihrer eigenen Nachfolger mitwirken, bereitet ihm Sorgen.
Amodei schlägt dazu einen mehrstufigen Plan vor. Als ersten Schritt kündigte Anthropic an, unabhängigen externen Prüfern dauerhaften, mitarbeiterähnlichen Zugang zum Unternehmen zu gewähren, um die Sicherheit der Modelle bereits während der Trainingsphase zu begutachten. Gleichzeitig warnt er davor, dass eine Verlangsamung westlicher Unternehmen autoritären Staaten wie China einen entscheidenden Vorsprung verschaffen könnte, weshalb er zugleich strengere Chip-Exportkontrollen und internationale Verhandlungen fordert.
Auch Konkurrenz und Investoren reagieren
Sowohl OpenAI-Chef Sam Altman als auch SpaceX- und Tesla-Chef Elon Musk stimmten Amodeis Vorstoß öffentlich zu. Musk kommentierte auf der Plattform X knapp, Amodei habe recht. Altman ging noch einen Schritt weiter und kündigte an, dass auch OpenAI unabhängigen Prüfern einen vergleichbaren Zugang gewähren werde. Zudem soll der für 2026 geplante Börsengang des Unternehmens angesichts der aktuellen Sicherheitsbedenken verschoben werden.
Auch Microsoft-Gründer Bill Gates äußerte sich zuletzt besorgt, allerdings mit einem etwas anderen Schwerpunkt: Er warnte davor, dass Kriminelle und Terroristen durch KI deutlich leichter an gefährliches Wissen gelangen könnten, etwa an detaillierte Anleitungen für Biowaffen oder Bomben.
Unklare Regulierung bleibt größtes Problem
Ungelöst bleibt bislang die Frage einer wirksamen internationalen Regulierung. Weder in den USA noch in China gibt es bisher verbindliche Regeln für die Entwicklung besonders leistungsfähiger KI-Systeme. Zwar planen US-Präsident Donald Trump und Chinas Machthaber Xi Jinping in den kommenden Tagen ein Treffen, bei dem KI auf der Agenda stehen soll. Beobachter dämpfen die Erwartungen an einen Durchbruch jedoch, da Trump das internationale Wettrennen um die KI-Technologie gegen China für sich entscheiden will und sich deshalb kaum auf strenge Beschränkungen einlassen dürfte.
Die Europäische Union geht mit dem EU AI Act hingegen einen völlig anderen Weg und hat das weltweit erste umfassende, risikobasierte Gesetz für Künstliche Intelligenz in Kraft gesetzt. Während inakzeptable Systeme komplett verboten sind, müssen Hochrisiko-Anwendungen sowie KI-generierte Inhalte strenge Sicherheits- und Kennzeichnungspflichten erfüllen. Als inakzeptable Systeme definiert der EU AI Act KI-Anwendungen, die so schwerwiegend gegen die Grundrechte, die Menschenwürde oder demokratische Werte verstoßen, dass sie in der Europäischen Union komplett verboten sind.
Dieser Vorstoß entfaltet einen globalen „Brüssel-Effekt“, da globale Tech-Konzerne ihre Modelle oft weltweit anpassen, um den EU-Binnenmarkt zu erreichen. Damit schafft Europa einen weltweiten Goldstandard für ethische KI, der durch flexible Anpassungen wie das „KI-Omnibus“-Paket gleichzeitig versucht, der heimischen Wirtschaft die nötige Innovationsfreiheit zu sichern.