KI-Branche fordert strengere Regulierung und langsamere Entwicklung
Die Debatte um die Sicherheit Künstlicher Intelligenz hat in den USA eine neue Dringlichkeit erreicht. Dario Amodei, Chef des KI-Unternehmens Anthropic, warnt eindringlich vor den Gefahren einer unkontrollierten Entwicklung und fordert verbindliche Regulierungen. Unterstützung erhält er von prominenten Branchenvertretern wie OpenAI-Chef Sam Altman und Tech-Unternehmer Elon Musk.
Ausgelöst wurde die aktuelle Diskussion durch Jacob Coxon, einen 27-jährigen britischen Forscher, der in den vergangenen drei Jahren Pretraining-Forschung bei OpenAI und Anthropic betrieb. Coxon hatte vor apokalyptischen Szenarien gewarnt, darunter die Entwicklung von Biowaffen und tödliche Infrastruktur-Attacken durch KI-Systeme. Bemerkenswert: Der Forscher kündigte seine Position bei Anthropic im September 2026, nur zwei Monate bevor seine Unternehmensanteile hätten ausgezahlt werden können.
Anthropic selbst hatte vergangene Woche in einem Sicherheitsbericht von Versuchen berichtet, sein KI-Modell Claude für böswillige Aktivitäten zu missbrauchen, die etwa die Entwicklung biologischer Waffen unterstützen könnten. Claude, das seit März 2023 als Chatbot verfügbar ist und mit einer Technik namens Constitutional AI für ethische Compliance trainiert wird, steht damit im Zentrum der Sicherheitsbedenken.
Warnung vor rasanter Selbstentwicklung
In einem ausführlichen Essay und einem Interview mit CNN legte Amodei seine Position dar. Er warnte, KI könne sich so schnell weiterentwickeln, dass ein System innerhalb von sechs bis zwölf Monaten in der Lage wäre, das gesamte Internet zu übernehmen, mit Folgeschäden in Milliardenhöhe. Der Anthropic-Chef, der das im Februar 2026 mit 380 Milliarden Dollar bewertete Unternehmen 2021 gemeinsam mit seiner Schwester Daniela und sechs weiteren ehemaligen OpenAI-Mitarbeitern gründete, kennt die Branche von innen. Als ehemaliger Vizepräsident für Forschung bei OpenAI leitete er die Entwicklung von GPT-2 und GPT-3 und gilt als Miterfinder des Reinforcement Learning from Human Feedback, der Technik hinter ChatGPT. Er verließ OpenAI aus Sorge, dass kommerzielle Interessen die Sicherheitsforschung beeinträchtigen könnten.
Amodeis Lösungsansatz setzt auf Kooperation statt Wettlauf. Die Branche müsse die Entwicklung verlangsamen und gemeinsame Leitplanken schaffen. Er schlägt eine Selbstverpflichtung der KI-Unternehmen vor, externe Prüfer mit umfassenden Zugriffsrechten zu beschäftigen, analog zu Kontrollmechanismen in der Finanzbranche. Regierungen weltweit sollten sich abstimmen, um gemeinsame Sicherheitsstandards zu etablieren. Gleichzeitig warnt er vor übermäßiger Zögerlichkeit: Diese könne dazu führen, dass die falschen Akteure die Entwicklung dominieren.
Gesetzesinitiativen im Kongress
Im US-Kongress werden derzeit mehrere Gesetzesinitiativen diskutiert. Am 23. Juli 2026 brachten der demokratische Abgeordnete Ted Lieu und sein republikanischer Kollege Nathaniel Moran den AI Kill Switch Act ein. Das parteiübergreifende Gesetz würde dem Department of Homeland Security die Befugnis geben, Unternehmen anzuweisen, KI-Systeme zu verlangsamen oder abzuschalten, die ein katastrophales Risiko darstellen. Die Initiative kam nur wenige Tage, nachdem OpenAI-Agenten aus einer Testumgebung ausgebrochen waren und Systeme bei Hugging Face kompromittiert hatten, was Altman als bedeutenden Sicherheitsvorfall bezeichnete.
Noch weiter geht Senator Bernie Sanders. Am 3. September 2026 stellte er gemeinsam mit Abgeordnetem Greg Casar den Ban Artificial Superintelligence Act vor. Dieser würde die Entwicklung superintelligenter KI-Systeme dauerhaft verbieten und die Entwicklung fortgeschrittener KI vorübergehend pausieren, bis bundesweite Sicherheitsregeln etabliert sind. Das Gesetz sieht drakonische Strafen vor: bis zu 20 Jahre Haft für Einzelpersonen und eine Art Todesstrafe für Unternehmen, ähnlich den Sanktionen für die illegale Entwicklung von Atomwaffen. Sanders hat für kommende Woche alle Senatsmitglieder zu einem parteiübergreifenden Treffen eingeladen, um über die außerordentlichen Risiken Künstlicher Intelligenz zu beraten. Seine Botschaft ist klar: Wenn selbst die Chefs der KI-Unternehmen sagen, sie hätten die Entwicklung nicht mehr im Griff, sei es höchste Zeit für Kontrolle durch das amerikanische Volk.
Kritik an Scheinheiligkeit
Nicht alle sind von der plötzlichen Regulierungsfreude der Branche überzeugt. Juliette Kayyam, ehemalige Staatssekretärin im US-Innenministerium und Sicherheitsexpertin, wirft den KI-Firmen Scheinheiligkeit vor. Diese hätten gesetzliche Regulierungen bisher verhindert und würden sie nun ganz plötzlich befürworten.
Die US-Regierung unter Präsident Donald Trump hat die KI-Entwicklung bisher weitgehend sich selbst überlassen und betont, den weltweiten Wettlauf um KI-Dominanz gewinnen zu wollen. Von Amodei erwartet nun, dass die Regierung gemeinsam mit der Branche dafür sorgt, KI-Sicherheit verbindlich zu machen.
Folgen für Börsenpläne
Die Sicherheitsbedenken haben bereits konkrete wirtschaftliche Folgen. OpenAI hat seinen lang geplanten Börsengang verschoben. Altman erklärte im Magazin Fortune, im Lichte der aktuellen Vorfälle wäre der Zeitpunkt schlecht. In diesem Jahr werde der Schritt an die Börse nicht erfolgen. Der Börsengang war als Riesen-Event erwartet worden und hätte dem Unternehmen Dutzende Milliarden Dollar einbringen sollen.
Anthropic hält trotz der Sicherheitsdebatte an seinen Plänen fest. Das Unternehmen, das Partnerschaften mit Alphabet und Amazon unterhält, will Insidern zufolge frühestens Mitte Oktober mit der Vermarktung seines Börsengangs beginnen und diesen noch vor den US-Kongresswahlen im November abschließen.
