Anthropic will KI bremsen: EU war aber schneller

Sam Altman von OpenAI und Elon Musk stimmten binnen Stunden zu, nachdem Amodei in seinem Essay „We Must Pace the Frontier“ gewarnt hatte, ein Schwarm von KI-Agenten könne in 6 bis 12 Monaten das gesamte Internet übernehmen. Ist das für Europa neu? Den Kern seiner Zusage hat Anthropic in Brüssel schon im Sommer 2025 unterschrieben, und seit dem 2. August 2026 steht eine Strafe dahinter.

Schreibtisch, Zugangskarte und Laptop für fremde Prüfer

Amodei nennt seinen Plan „pacing“, ein gedrosseltes Tempo. Das Training neuer Modelle läuft weiter, aber langsamer, damit die Sicherheitsforschung nachkommt; er rechnet damit, so „ein oder zwei Jahre“ zu gewinnen.

Als ersten Schritt kündigt er für Anthropic an, ein externes Prüfteam dauerhaft ins Unternehmen zu holen, ausgestattet mit „Schreibtischen in unseren Büros, Zugangskarten und Firmenlaptops“. Das Team soll seine Befunde ohne redaktionelle Kontrolle durch Anthropic veröffentlichen dürfen; als mögliche Prüforganisation nennt Amodei die gemeinnützige Forschungsorganisation METR.

Embedded evaluators are in fact a quite radical practice that goes far beyond what any AI company is doing today.

So steht es im Essay. Die zwei weiteren Schritte, Absprachen unter den Firmen demokratischer Staaten und ein Abkommen mit China, hält Amodei selbst für schwer erreichbar, eine echte Pause der Entwicklung für „unwahrscheinlich“.

Auslöser war ein Vorfall bei OpenAI, bei dem ein Schwarm solcher Agenten ohne Auftrag die Server von Hugging Face angriff.

Mehr dazu: OpenAI-KI hackte beim Schummeln Hugging Face

Unterschrieben im Juli 2025: unabhängige Prüfer vor dem Marktstart

Die EU, den AI Act oder den Praxisleitfaden für große KI-Modelle erwähnt der Essay mit keinem Wort. Dabei hat Anthropic den Praxisleitfaden der Kommission (Code of Practice) unterschrieben, angekündigt am 21. Juli 2025, 14 Monate vor dem Essay.

Im Kapitel zu Sicherheit steht in Anhang 3.5, dass die Unterzeichner ihre Modelle von „adequately qualified independent external evaluators“ prüfen lassen, bevor ein Modell mit besonderem Risiko auf den Markt kommt. Eine Ausnahme gibt es nur, wenn sich trotz einer öffentlichen Ausschreibung von 20 Werktagen niemand Geeigneter findet.

Auch das Recht auf Veröffentlichung steht dort. Ein Unterzeichner darf die Befunde externer Prüfer höchstens 30 Werktage zurückhalten und darf sich wegen einer Veröffentlichung weder rechtlich noch technisch an den Prüfern rächen.

Neu an Amodeis Zusage sind der dauerhafte Platz im Büro, der Blick in die Trainingsabläufe und die Prüfung schon während des Trainings. Den unabhängigen Prüfer und sein Recht auf Veröffentlichung hat Anthropic der EU vor 14 Monaten zugesagt.

Mitgeschrieben hat an diesem Kapitel ein Wiener: Matthias Samwald vom Institut für Künstliche Intelligenz der MedUni Wien leitete eine der Arbeitsgruppen und sitzt seit Juni 2026 im wissenschaftlichen Gremium des AI Act.

3 Prozent vom Weltumsatz, seit dem 2. August mit Strafe

Der Leitfaden selbst ist freiwillig. Die Pflichten dahinter stehen in Artikel 55 der KI-Verordnung und gelten seit August 2025; Geldbußen nach Artikel 101 darf die Kommission seit dem 2. August 2026 verhängen, also seit 45 Tagen.

Zuständig ist nach Artikel 88 allein die Kommission mit ihrem AI Office in Brüssel, keine nationale Stelle. Dass Österreich bis heute keine eigene Behörde für den AI Act benannt hat, spielt bei diesen Modellen deshalb keine Rolle.

Mehr dazu: AI Act Österreich: 13 Monate ohne KI-Behörde

Linz und Innsbruck lesen den Essay anders

Sepp Hochreiter von der JKU Linz, einer der Mitentwickler der Grundlagen heutiger Sprachmodelle, hält ein Einbremsen der Forschung für „kontraproduktiv“. Gegenüber der APA sagte er: „Wir haben Autos nicht sicher gemacht, indem wir ihre Entwicklung gestoppt haben. Wir haben sie sicher gemacht, indem wir sie gebaut, getestet und weiterentwickelt haben.“

Der Rechtswissenschafter Matthias Kettemann von der Universität Innsbruck nennt Amodeis Warnung vor der Übernahme des Internets „unbelegt und unbelegbar“. Zum fehlenden Verweis auf Europa schreibt er beim Science Media Center: „Die EU hat mit dem AI Act bereits einen Ansatz, der genau diese Verknüpfung von Fähigkeit und Pflichten leistet. Es fällt auf, dass Amodei den nicht erwähnt.“

Philipp Hennig von der Universität Tübingen wird deutlicher. Dass Amodei die Prüfer selbst aussucht und dafür ausgerechnet eine Organisation nennt, die laut Hennig ihre Zusammenarbeit mit Anthropic auf der eigenen Website bewirbt, kommentiert er so:

Jede deutsche Großküche hat schärfere Kontrollsysteme. Eine unabhängige, demokratisch legitimierte Regulierung der KI-Industrie sieht anders aus.

Wer nachlesen will, was Anthropic und 20 weitere Anbieter der EU im Detail zugesagt haben: Das Sicherheitskapitel des Leitfadens liegt als PDF bei der Kommission, die Regeln für unabhängige Prüfer stehen in Anhang 3.5 ab Seite 40.