Anthropics KI-Sicherheitsgesetz setzt hohe Hürden für das Blockieren gefährlicher Modelle

Anthropic wirbt für ein KI-Sicherheitsgesetz, das Anordnungen zum Stoppen von Modellen Berichten zufolge auf Risiken mit mehr als 50 Todesopfern oder Schäden von über 1 Milliarde US-Dollar beschränkt.

Dieser Schwellenwert bildet den zentralen Konflikt des Vorschlags. Anthropic will eine verbindliche bundesweite Aufsicht für hochentwickelte KI, doch das schärfste Mittel der Regierung würde erst bei einer Definition katastrophaler Schäden greifen.

Bei dem Vorschlag handelt es sich nicht um einen eingebrachten Gesetzentwurf, und sein vertraulicher Text wurde nicht öffentlich parlamentarisch geprüft. Die Details stammen aus einem von Politico beschriebenen vertraulichen Entwurf sowie aus späteren Berichten.

Der Entwurf würde dennoch Verpflichtungen auferlegen, bevor eine Katastrophe eintritt. Große Entwickler müssten Sicherheitsrahmen ausarbeiten, Risiken offenlegen, schwerwiegende Vorfälle melden und sich externen Bewertungen unterziehen.

Diese präventiven Vorgaben führen jedoch zu einem engen Durchsetzungsweg. Ein qualifizierter Prüfer würde ein unmittelbar drohendes katastrophales Risiko melden, das Handelsministerium die Beweise vor Gericht bringen, und ein Bundesrichter entscheiden, ob ein Eingreifen gerechtfertigt ist.

Diese Struktur verschiebt die Debatte über die Frage hinaus, ob fortschrittliche KI reguliert werden muss. Die schwierigere Frage lautet, wie viele Belege die Regierung benötigen sollte, bevor sie ein Modell stoppt, das den befürchteten Schaden noch nicht verursacht hat.

Kaliforniens bestehende Regeln für hochentwickelte KI bieten den nächstliegenden Vergleichspunkt. Der berichtete Bundesentwurf übernimmt deren Schwellenwerte für katastrophale Risiken, würde die Befugnis zum Stoppen von Modellen jedoch in einem föderalen Verfahren bündeln.

Das Ergebnis ist ein Abwägen zwischen Einheitlichkeit und Flexibilität. Ein einheitlicher nationaler Standard könnte willkürliche Eingriffe verhindern, zugleich aber frühzeitiges Handeln erschweren, wenn die Beweislage unvollständig ist.

Was das KI-Sicherheitsgesetz von Anthropic tatsächlich bewirken würde

Der Vorschlag verbindet wiederkehrende Aufsicht mit einem eng begrenzten Weg, ein Modell zu stoppen.

Dem berichteten Entwurf zufolge müssten erfasste Entwickler hochentwickelter KI schriftliche Sicherheitsrahmen erstellen und befolgen. Diese Dokumente würden erläutern, wie jedes Unternehmen schwere Risiken bewertet und entscheidet, ob Schutzmaßnahmen ausreichen.

Entwickler müssten zudem Transparenzberichte für neu veröffentlichte hochentwickelte Modelle publizieren. Sie würden kritische Sicherheitsvorfälle dem Handelsministerium melden und Schutz für Beschäftigte vorsehen, die Sicherheitsbedenken äußern.

Unabhängige Prüfer würden erfasste Unternehmen und ihre Modelle regelmäßig bewerten. Diese Prüfer würden sich beim Handelsministerium registrieren, wodurch die Behörde eine formelle Rolle bei der Bestimmung erhielte, wer regulierte Bewertungen durchführen darf.

Der Vorschlag erlaubt Berichten zufolge, dass ein Entwickler seinen Prüfer bezahlt. Diese finanzielle Beziehung wäre nur zulässig, wenn sie die Unabhängigkeit des Prüfers nicht beeinträchtigt.

Diese Regelung ähnelt dem System, das Anthropic freiwillig zu erproben begonnen hat. In einem Update zu Prüfern vom 15. Oktober teilte das Unternehmen mit, dass sechs Beschäftigte der gemeinnützigen Organisation METR Unternehmenshardware und einen mit Mitarbeitenden vergleichbaren Zugang erhalten hätten.

Anthropic erklärte, METR könne seine Analyse ohne Zustimmung des Unternehmens veröffentlichen. Anthropic könne weiterhin Schwärzungen innerhalb vorab definierter Kategorien verlangen, darunter Kundeninformationen, privilegiertes Material und bestimmte Architekturdetails.

Andere Prüfer arbeiten mit eingeschränkterem Zugang. Anthropic erklärte, Prüfer der ersten Stufe erhielten vom Unternehmen ausgewählten Zugang und dürften Erkenntnisse nur mit dessen Zustimmung veröffentlichen.

Der Bundesvorschlag würde versuchen, die Bewertung von freiwilligen Vereinbarungen in ein reguliertes System zu überführen. Doch die berichteten Regeln lassen eine wichtige Frage offen: Wie würde Unabhängigkeit gemessen, wenn ein Labor sowohl Zugang als auch Bezahlung bereitstellt?

Die folgenreichste Bestimmung des Entwurfs betrifft staatliche Eingriffe. Das Handelsministerium könnte versuchen, die Veröffentlichung oder Nutzung eines Modells zu stoppen, wenn dieses ein vorhersehbares und unmittelbar drohendes katastrophales Risiko darstellt.

Dieses Risiko müsste Berichten zufolge Schäden von mehr als 1 Milliarde US-Dollar oder den Tod beziehungsweise schwere Verletzungen von mehr als 50 Menschen umfassen. Zudem müsste es aus festgelegten Gefahren entstehen, darunter biologische Waffen, Cyberangriffe oder ein Modell, das sich der Kontrolle seines Entwicklers entzieht.

Ein Prüfer, der eine solche Bedrohung identifiziert, würde sie innerhalb von 72 Stunden dem Ministerium melden. Das Handelsministerium würde die Beweise anschließend einem Bundesrichter im District of Columbia vorlegen.

Der Richter, nicht allein der Entwickler oder die Behörde, würde entscheiden, ob der rechtliche Maßstab erfüllt ist. Dieser gerichtliche Schritt könnte Unternehmen vor willkürlichen Beschränkungen schützen, erhöht jedoch auch den Zeitaufwand und die Anforderungen an die Beweisführung.

Der Entwurf hindert Berichten zufolge andere Bundesministerien, Behörden oder Amtsträger daran, einem erfassten Labor eigenständig anzuordnen, eine Modellveröffentlichung zu stoppen. Das Handelsministerium würde zum Zugangspunkt für dieses spezielle Rechtsmittel.

Diese Exklusivität ist bedeutsam. KI-Risiken können Zuständigkeiten in der nationalen Sicherheit, Gesundheit, Strafverfolgung, Verbraucherschutz und Infrastruktur überschreiten, doch der Entwurf würde die letztliche Entscheidung über den Einsatz durch ein einziges Ministerium leiten.

Der Schwellenwert ist ein rechtlicher Auslöser, kein akzeptabler Verlust

Die Zahlen bestimmen, wann ein Gericht ein Modell blockieren kann, nicht welches Schadensmaß Anthropic für hinnehmbar hält.

Schlagzeilen über 50 Todesfälle oder 1 Milliarde US-Dollar können so klingen, als erhielte ein Entwickler die Erlaubnis, Schäden unterhalb dieser Grenzen zu verursachen. Das ist nicht die zutreffendste Lesart des berichteten Vorschlags.

Der Schwellenwert gilt für ein bestimmtes präventives Rechtsmittel: die Veröffentlichung oder Nutzung eines hochentwickelten Modells aufgrund einer vorhergesagten Katastrophe zu stoppen. Er hebt weder das gewöhnliche Strafrecht, Produkthaftung, Schadensersatzansprüche wegen Fahrlässigkeit, Verbraucherschutz noch sektorspezifische Regulierung auf.

Ein Cyberangriff mit geringerem Schaden könnte weiterhin rechtswidrig sein. Eine modellbezogene Verletzung könnte weiterhin Klagen, Untersuchungen oder Maßnahmen nach einem anderen Gesetz auslösen.

Der Entwurf scheint außerdem Pflichten zu schaffen, die greifen, bevor der katastrophale Schwellenwert erreicht wird. Sicherheitspläne, Vorfallberichte, Bewertungen und wahrheitsgemäße Offenlegungen müssten nicht auf Dutzende Opfer warten.

Dennoch prägt der Schwellenwert, was die Regierung im wichtigsten Moment tun kann. Wenn Behörden ein Modell für gefährlich halten, die Beweise aber probabilistisch bleiben, müssten sie sowohl Unmittelbarkeit als auch katastrophales Ausmaß belegen.

Diese Kombination ist anspruchsvoll. Bewertungen hochentwickelter Modelle liefern selten eine eindeutige Prognose, wonach ein System innerhalb eines festen Zeitraums eine bestimmte Zahl an Verletzungen verursachen wird.

Prüfer messen üblicherweise Fähigkeiten, Schutzmaßnahmen, Zugangsbedingungen und plausible Missbrauchswege. Diese Erkenntnisse in eine Prognose finanzieller Schäden oder von Opfern zu überführen, erfordert zusätzliche Annahmen über menschliche Akteure und Einsatzbedingungen.

Der Begriff „vorhersehbar“ fragt, ob die Gefahr vernünftigerweise erwartet werden kann. „Unmittelbar drohend“ verlangt eine zeitnähere Bedrohung, wobei die genaue Auslegung des Entwurfs vor Gericht entscheidend wäre.

Ein Modell könnte das erforderliche Fachwissen für biologischen Missbrauch erheblich senken, ohne einen aktiven Angriff offenzulegen. Es könnte die Ausnutzung von Cyber-Schwachstellen automatisieren, ohne ein ausgewähltes Ziel zu identifizieren.

Diese Erkenntnisse könnten strengere Zugangskontrollen, weitere Tests oder eine verzögerte Veröffentlichung rechtfertigen. Sie erfüllen möglicherweise nicht die Anforderungen eines Gerichts, das Belege für eine unmittelbar drohende Katastrophe oberhalb eines gesetzlichen Schwellenwerts benötigt.

Anthropics Advanced AI Framework vom Juni liefert die politische Grundlage für den Entwurf. Er konzentriert sich auf biologische Waffen, offensive Cyberoperationen, Kontrollverlust sowie automatisierte KI-Forschung und -Entwicklung.

Der Rahmen besagt, dass erfasste Entwickler fortschrittliche Modelle testen, Sicherheitsinformationen veröffentlichen, unabhängige Prüfer einbeziehen und gegenüber einer Regierungsbehörde Rechenschaft ablegen sollten. Er stellt zudem mehrere Durchsetzungsmodelle vor, statt ein endgültiges Design festzulegen.

Sein vorgeschlagener Geltungsbereich würde Entwickler erfassen, die Modelle oberhalb eines bestimmten Rechenschwellenwerts trainieren und wesentliche Kriterien für KI-Umsätze oder Forschungsausgaben erfüllen. Diese Grenzen sollen die Einhaltung auf Unternehmen konzentrieren, die in der Lage sind, die fortschrittlichsten Systeme zu bauen.

Der Rahmen verweist bei der Definition katastrophaler Risiken auf kalifornisches Recht. Er behandelt die Zahlen zu Opfern und Schäden daher als bestehenden politischen Bezugspunkt, nicht als neu erfundenes Maß für akzeptable Schäden.

Eine Definition in Bundesrecht zu übernehmen bedeutet jedoch mehr, als vertraute Formulierungen wiederzuverwenden. Es bestimmt, wer die Beweislast trägt und wann Unsicherheit einem Eingreifen zugutekommt.

Bei einem niedrigeren Schwellenwert riskiert die Regierung, nützliche Technologie aufgrund schwacher Prognosen zu stoppen. Bei einem höheren Schwellenwert riskiert die Öffentlichkeit zu erfahren, dass die Beweislage erst nach einem schwer rückgängig zu machenden Einsatz rechtlich ausreichend wurde.

Ein zentraler bundesweiter Entscheider schafft Klarheit und einen Engpass

Dem Handelsministerium die ausschließliche Befugnis zum Blockieren von Modellen zu geben, würde Eingriffe vereinheitlichen, zugleich aber eine schwierige Bewertung in einer Institution konzentrieren.

Hochentwickelte KI passt nicht eindeutig in eine einzige Regulierungskategorie. Ein einzelnes Modell kann medizinische Forschung, militärische Systeme, Finanzdienstleistungen, Kommunikation und kritische Infrastruktur beeinflussen.

Mehrere Behörden verfügen bereits über für diese Anwendungen relevantes Fachwissen. Gesundheitsbehörden verstehen biologische Bedrohungen, Cybersicherheitsbehörden verfolgen Angriffe auf Infrastruktur, und nationale Sicherheitsorganisationen bewerten feindliche staatliche Aktivitäten.

Das berichtete KI-Sicherheitsgesetz von Anthropic würde nicht jede Befugnis dieser Stellen beseitigen. Seine engere Wirkung bestünde darin, das Handelsministerium zum Weg für eine Anordnung zu machen, die die Veröffentlichung oder Nutzung eines erfassten Modells stoppt.

Befürworter können für dieses Design ein praktisches Argument vorbringen. Eine benannte Regulierungsbehörde kann technisches Personal aufbauen, einheitliche Verfahren etablieren und widersprüchliche Anordnungen von Behörden vermeiden, die unterschiedliche Maßstäbe anwenden.

Die gerichtliche Überprüfung kann den Prozess ebenfalls disziplinieren. Das Handelsministerium bräuchte Beweise, die stark genug sind, einen Bundesrichter zu überzeugen, statt sich auf eine undurchsichtige interne Einschätzung zu stützen.

Für Entwickler bietet dieses Verfahren Vorhersehbarkeit. Ein Unternehmen könnte nachvollziehen, welche Behörde Berichte erhält, welche Prüfer qualifiziert sind und welcher Rechtstest einen Streit über den Einsatz bestimmt.

Vorhersehbarkeit ist nicht nur ein wirtschaftlicher Vorteil. Stabile Regeln können Sicherheitsteams helfen, interne Entscheidungen zu treffen, ohne erraten zu müssen, wie mehrere Behörden auf dieselben Belege reagieren werden.

Das gegenteilige Bedenken betrifft die institutionelle Leistungsfähigkeit. Eine benannte Behörde kann keine wirksame Aufsicht leisten, wenn sie nicht über ausreichend technisches Fachwissen, Sicherheitsinfrastruktur, Finanzierung und Befugnisse zur Prüfung geschützter Informationen verfügt.

Anthropics eigener Rahmen erkennt diese Herausforderung an. Er besagt, dass die Regierung die Fähigkeit entwickeln sollte, Fähigkeitsbewertungen und umfassende Risikobewertungen selbst durchzuführen.

Solange diese Kapazität nicht besteht, wäre die Regierung stark von externen Prüfern und von Entwicklern bereitgestellten Informationen abhängig. Die Qualität der Durchsetzung hinge daher von Zugangsvereinbarungen ab, die getroffen werden, bevor ein Streitfall vor Gericht gelangt.

Konzentrierte Befugnisse können während eines schnell eskalierenden Vorfalls zudem einen Engpass schaffen. Der Prüfer muss die Bedrohung erkennen, das Handelsministerium benachrichtigen, eine Beweisakte unterstützen und auf gerichtliches Handeln warten.

Eine Meldefrist von 72 Stunden klingt in einem Compliance-Dokument schnell. Sie kann sich deutlich langsamer anfühlen, wenn sich ein autonomes System, durchgesickerte Modellgewichte oder eine aktive Cyberkampagne über Netzwerke ausbreitet.

Der Fokus des Vorschlags auf gerichtlich überwachten Eingriffen spiegelt eine berechtigte Sorge vor staatlicher Überdehnung wider. Ein Modell zu blockieren, ist ein außergewöhnlicher Schritt mit Folgen für Kunden, Forschende, die nationale Wettbewerbsfähigkeit und Interessen rund um die Meinungsfreiheit.

Doch außergewöhnliche Rechtsmittel sind oft gerade dann am wertvollsten, bevor Schäden sichtbar werden. Deshalb ist der Umgang des rechtlichen Standards mit Prognosen, Unsicherheit und vertraulichen Beweisen wichtiger als die Schlagzeilenzahlen allein.

Zudem stellt sich eine föderalistische Frage. Die Bundesstaaten sind vorangegangen, weil der Kongress kein umfassendes Regelwerk für Frontier-KI geschaffen hat.

Ein Sprecher von Anthropic sagte, der Vorschlag spiegele Maßnahmen wider, für die das Unternehmen seit Juni bei Gesetzgebern auf Bundes- und Landesebene geworben habe. Das Unternehmen bezeichnete sie als sinnvolle Maßnahmen, die der Kongress verabschieden sollte.

Laut Anthropics Rahmenwerk sollte Bundesrecht nur dann Vorrang haben, wenn der Kongress ein starkes Regime mit anspruchsvollen Sicherheitsstandards etabliert. Es besagt zudem, dass dieser Vorrang eng begrenzt bleiben und die Zuständigkeit der Bundesstaaten außerhalb bestimmter Funktionen der Frontier-Governance bewahren sollte.

Diese Formulierung ist zurückhaltender als ein umfassendes Verbot staatlicher KI-Regulierung. Dennoch bräuchte jedes endgültige Gesetz präzise Grenzen, da ausschließliche Bundeszuständigkeit Experimente der Bundesstaaten schwächen kann, selbst wenn nicht jedes Landesgesetz aufgehoben wird.

Unabhängige Bewertung hängt von Finanzierung, Zugang und Veröffentlichungsrechten ab

Der Name eines Evaluators ist weniger wichtig als seine Fähigkeit, die relevanten Beweise zu prüfen und unerwünschte Erkenntnisse zu veröffentlichen.

Unabhängige Bewertungen sind die wichtigste Brücke des Vorschlags zwischen privater Entwicklung und öffentlicher Durchsetzung. Der Staat kann nicht gegen ein Risiko vorgehen, das er nicht erkennen kann, und Labore verfügen über Informationen, die Außenstehende nicht reproduzieren können.

Ein seriöser Evaluator benötigt Zugang zu Modellen vor ihrer Veröffentlichung, Trainingsentscheidungen, internen Sicherheitsvorkehrungen, Vorfallsakten und den Bedingungen, unter denen Tests durchgeführt wurden. Modellzugang allein reicht nicht aus.

Evaluatoren brauchen außerdem die Expertise, um irreführende Ergebnisse zu erkennen. Ein Modell kann sich unter Testbedingungen anders verhalten, und ein Benchmark kann Risiken übersehen, die durch Tools, lang andauernde Aufgaben oder das Zusammenspiel mehrerer Agenten entstehen.

Anthropic argumentiert, dass eingebettete Evaluatoren die Informationslücke schließen können. Die derzeitige Vereinbarung des Unternehmens mit METR verschafft einem kleinen externen Team einen Zugang, der weitgehend mit dem interner Risikoteams vergleichbar ist.

Dieser Ansatz bietet gegenüber gelegentlichen externen Tests einen wesentlichen Vorteil. Evaluatoren können beobachten, wie das Unternehmen arbeitet, statt lediglich kurz vor der Veröffentlichung ein fertiges Modell zu prüfen.

Diese Nähe erzeugt eigenen Druck. Evaluatoren arbeiten innerhalb der Sicherheitsumgebung des Unternehmens, sind für Informationen auf das Unternehmen angewiesen und können sich an dessen Annahmen gewöhnen.

Die Vergütung verschärft das Problem. Ein Prüfer verliert nicht automatisch seine Unabhängigkeit, weil das geprüfte Unternehmen das Honorar bezahlt. Finanzprüfer, Testlabore und Zertifizierungsstellen arbeiten häufig unter ähnlichen Vereinbarungen.

Unabhängigkeit hängt vielmehr von Schutzvorkehrungen ab. Die Vergütung darf nicht vom Ergebnis abhängen, eine fortlaufende Finanzierung darf nicht von günstigen Befunden abhängig sein, und der Evaluator benötigt wesentliche Kontrolle über seine veröffentlichte Analyse.

Der Vorschlag erlaubt Berichten zufolge eine Finanzierung durch Entwickler, sofern sie die Unabhängigkeit nicht beeinträchtigt. Dieses Prinzip ist vernünftig, doch seine Durchsetzung erfordert messbare Kriterien.

Eine Regulierungsbehörde müsste Beteiligungen, Beratungsbeziehungen, Umsatzkonzentration, vertragliche Beschränkungen, personelle Verflechtungen und die Fähigkeit des Evaluators prüfen, den Verlust eines Kunden zu überstehen.

Veröffentlichungsrechte verdienen ebenso viel Aufmerksamkeit. Ein Evaluator, der eine schwerwiegende Schwachstelle entdeckt, sie jedoch nicht öffentlich beschreiben kann, bietet nur begrenzte Rechenschaftspflicht, selbst wenn er Regulierungsbehörden privat informieren kann.

Einige Schwärzungen sind unvermeidlich. Ein öffentlicher Bericht sollte keine Kundendaten, ausnutzbare Schwachstellen, Modellgewichte oder Anweisungen offenlegen, die biologischen Missbrauch erleichtern.

Die schwierige Frage lautet, wer Informationen klassifiziert und wie Streitfälle gelöst werden. Wenn der Entwickler über jede Schwärzung die endgültige Kontrolle hat, wird die Unabhängigkeit des Prüfers für die Öffentlichkeit schwer überprüfbar.

Anthropics derzeitiges System veranschaulicht dieses Spektrum. METR verfügt über stärkere Veröffentlichungsrechte als Evaluatoren, die in der ersten Zugangsstufe des Unternehmens arbeiten.

Diese Unterschiede machen einen Bundesstandard sinnvoll. Eine Registrierung könnte für jeden erfassten Entwickler grundlegende Regeln zu Zugang, Offenlegung, Interessenkonflikten und Veröffentlichung schaffen.

Eine Registrierung allein kann jedoch keine Kompetenz garantieren. Der Staat bräuchte genügend Fachleute, um Bewertungsmethoden zu prüfen und sorgfältige Risikoanalysen von bloßem Compliance-Theater zu unterscheiden.

Auch der Markt für Evaluatoren könnte klein sein. Die Organisationen, die Frontier-Systeme testen können, erhalten häufig Finanzierung von denselben Unternehmen, Investoren oder philanthropischen Netzwerken, die an der KI-Entwicklung beteiligt sind.

Das beweist nicht, dass ihre Erkenntnisse beeinträchtigt sind. Es bedeutet jedoch, dass finanzielle und berufliche Beziehungen offengelegt werden sollten, statt sie als irrelevant abzutun.

Ein gemeinsames Finanzierungssystem könnte die Abhängigkeit von einzelnen Entwicklern verringern. Erfasste Labore könnten Beiträge an einen unabhängig verwalteten Fonds leisten, der Evaluatoren zuweist, ohne dass Unternehmen direkt über die Bezahlung verhandeln können.

Anthropics Rahmenwerk eröffnet eine ähnliche Möglichkeit. Es empfiehlt Finanzierung und Standards, die Evaluatoren ausreichend Zugang gewähren und zugleich ihre Unabhängigkeit schützen.

Eine zufällige Zuweisung könnte bei Prüfungen mit hohem Risiko ebenfalls helfen. Doch spezialisierte Expertise und Sicherheitsfreigaben können einschränken, welcher Evaluator ein bestimmtes Risiko untersuchen kann.

Das stärkste System würde mehrere Mechanismen verbinden: Mindestzugangsrechte, geschützte Veröffentlichung, offengelegte Interessenkonflikte, staatliche Überprüfung und mehr als einen Evaluator für die folgenreichsten Modelle.

Der eigentliche Zielkonflikt besteht zwischen frühem Handeln und regulatorischer Überdehnung

Der Vorschlag fordert die Gesellschaft auf, eine hohe Beweishürde zu akzeptieren, um sie vor voreiligen staatlichen Eingriffen zu schützen.

Anthropic hat sich als Befürworter strengerer Regeln für Frontier-KI positioniert. Sein Rahmenwerk fordert verpflichtende Tests, wiederkehrende Risikoberichte, unabhängige Bewertungen, Offenlegung von Vorfällen, Schutz für Whistleblower und echte Durchsetzung.

Diese Bestimmungen gehen über eine freiwillige Zusage hinaus. Sie würden rechtliche Pflichten schaffen, von denen führende Entwickler sich nicht stillschweigend lösen könnten, wenn der kommerzielle Druck wächst.

Die umstrittene Schwelle hebt diese Verpflichtungen nicht auf. Sie regelt das schwerwiegendste Rechtsmittel und sollte innerhalb dieser umfassenderen Struktur bewertet werden.

Dennoch kann ein Sicherheitsregime bei der Dokumentation streng und im entscheidenden Moment schwach sein. Wenn Regulierungsbehörden eine Bereitstellung nicht verzögern können, bis eine Katastrophe vorhersehbar, unmittelbar bevorstehend und quantifizierbar ist, kann Transparenz Risiken dokumentieren, ohne sie zu kontrollieren.

Das ist die zentrale Kritik an Anthropic. Das Unternehmen warnt, dass Frontier-Systeme außergewöhnliche Gefahren erzeugen können, doch sein Vorschlag begrenzt Eingriffe Berichten zufolge auf eine enge Gruppe katastrophaler Szenarien.

Die erfassten Risiken sind ebenso wichtig wie die Schwelle für das Ausmaß. Biologische Waffen, große Cyberangriffe und Kontrollverlust verdienen besondere Aufmerksamkeit, weil sie weitreichende und schwer umkehrbare Schäden verursachen können.

Andere schwerwiegende Probleme können außerhalb dieses Rahmens bleiben. Betrug, Manipulation, Diskriminierung, unsichere medizinische Beratung, Verdrängung von Arbeitsplätzen, Verlust der Privatsphäre und schädliches Verhalten von Begleit-Chatbots können viele Menschen betreffen, ohne einem einzelnen katastrophalen Ereignis zu ähneln.

Diese Schäden sollten nicht zwingend eine landesweite Abschaltung eines Modells auslösen. Sie zeigen jedoch, warum das KI-Sicherheitsgesetz von Anthropic keinen Ersatz für umfassendere Verbraucher-, Bürgerrechts-, Arbeits-, Gesundheits- und Wettbewerbspolitik darstellen kann.

Ein Gesetz zur Sicherheit von Frontier-KI sollte seltene systemische Gefahren adressieren. Andere Gesetze sollten routinemäßige Bereitstellungen und sektorspezifische Schäden regeln.

Die Herausforderung liegt an der Grenze. Eine verteilte Cyberkampagne könnte sich über Tausende von Opfern hinweg zu Schäden summieren, ohne einen klaren Zeitpunkt unmittelbar bevorstehenden katastrophalen Schadens zu bieten.

Ein KI-Agent könnte wiederholt autorisierte Zugriffe überschreiten, während jeder einzelne Vorfall beherrschbar erscheint. Eine biologische Fähigkeit könnte sich unter Nutzern verbreiten, bevor Behörden einen konkreten Versuch der Waffenentwicklung erkennen.

Schwellenwerte schaffen Konsistenz, aber sie erzeugen auch Klippen. Ein vorhergesagtes Ereignis knapp unter der Grenze wird grundlegend anders behandelt als eines knapp darüber, selbst wenn beide Schätzungen große Unsicherheit enthalten.

Die numerische Sprache kann daher mehr Präzision suggerieren, als gegenwärtige Bewertungsmethoden liefern können. Fachleute können über Modellfähigkeiten, Absichten von Angreifern, verfügbare Schutzmaßnahmen und wahrscheinliche Folgen unterschiedlicher Meinung sein.

Gerichte befassen sich in vielen Bereichen mit unsicheren Beweisen. Der berichtete Vorschlag müsste dennoch Regeln erläutern, welche Wahrscheinlichkeit, welcher Zeithorizont und welcher kausale Beitrag seinen Standard erfüllen.

„Wesentlich beitragen“ ist besonders wichtig. Ein Frontier-Modell schafft möglicherweise nicht allein eine Bedrohung, könnte jedoch Forschungszeiten verkürzen, Zielauswahl automatisieren oder Spezialwissen zugänglich machen.

Gesetzgeber werden entscheiden müssen, ob diese Unterstützung ausreicht. Ein Standard, der verlangt, dass das Modell die Hauptursache ist, könnte Risiken übersehen, die aus mehreren Technologien und menschlichen Entscheidungen entstehen.

Ein Standard, der jeden Beitrag als ausreichend behandelt, könnte zu weit gehen. Auch gewöhnliche Software und öffentliche Informationen unterstützen legitime wie böswillige Aktivitäten.

Die richtige Antwort wird wahrscheinlich nicht in einer einzigen Zahl liegen. Ein praktikables Gesetz braucht abgestufte Rechtsmittel, die unterschiedlichen Beweisniveaus entsprechen.

Regulierungsbehörden könnten zusätzliche Tests verlangen, bestimmte Fähigkeiten einschränken, den Zugang begrenzen, stärkeres Monitoring vorschreiben oder eine Veröffentlichung verzögern, bevor sie ein vollständiges Verbot anstreben.

Anthropics Rahmenwerk erörtert mehrere Durchsetzungsoptionen, darunter Geldbußen, Beschränkungen künftiger Bereitstellungen und Zugangsbeschränkungen für bereits bereitgestellte Modelle. Diese abgestufte Vorgehensweise verdient ebenso viel Prüfung wie der katastrophale Endpunkt.

Kalifornien zeigt, warum die Details auf Bundesebene wichtig sind

Die berichteten Schwellenwerte haben eine Vorgeschichte, doch ihre Wirkung ändert sich, wenn sie Teil eines ausschließlichen bundesweiten Durchsetzungssystems werden.

Kaliforniens Gesetz zu Frontier-KI verwendet ähnliche Formulierungen für katastrophale Risiken mit großen finanziellen Schäden oder mehr als 50 Todesfällen oder schweren Verletzungen. Seine Anforderungen konzentrieren sich stark auf Transparenz und kritische Sicherheitsvorfälle.

Eine politische Analyse des Bundesstaats zu California SB 53 beschrieb Pflichten für große Entwickler und schützte zugleich kleinere Unternehmen vor unverhältnismäßigen Compliance-Belastungen.

Dieser Präzedenzfall erklärt, warum Anthropic den Bundesvorschlag als Erweiterung etablierter Politik bezeichnen kann. Die Zahlen waren bereits Teil eines ausgehandelten Regelwerks auf Ebene des Bundesstaats.

Das Kopieren einer Definition kopiert jedoch nicht das gesamte regulatorische Umfeld. Generalstaatsanwälte der Bundesstaaten, Bundesbehörden, Gerichte und sektorale Regulierungsbehörden verfügen über unterschiedliche Befugnisse und institutionelle Anreize.

Kaliforniens Anforderungen können neben der Bundesdurchsetzung bestehen, solange der Kongress sie nicht verdrängt. Ein Bundesgesetz, das einschränkt, wer ein Modell stoppen darf, würde ein anderes Gleichgewicht schaffen.

Die Debatte über die Macht der Bundesstaaten hat sich verschärft, weil die KI-Gesetzgebung auf Bundesebene nur langsam vorangekommen ist. Bundesstaaten haben bei Frontier-Sicherheit, automatisierten Entscheidungen, Deepfakes, Begleit-Chatbots und Offenlegungspflichten gehandelt.

Der daraus entstehende Flickenteppich schafft reale Compliance-Herausforderungen. Ein Frontier-Entwickler kann nicht leicht widersprüchliche Veröffentlichungsstandards zwischen Bundesstaaten aufrechterhalten, wenn ein Modell landesweit Nutzern dient.

Ein nationales Rahmenwerk könnte dieses Problem lösen. Es könnte jedoch auch einen schwachen Standard festschreiben und Bundesstaaten daran hindern, auf neue Erkenntnisse zu reagieren.

Anthropics öffentliches Rahmenwerk versucht, einen Mittelweg zu finden. Es unterstützt Bundesregeln, besagt jedoch, dass der Kongress Landesrecht nur innerhalb von Funktionen verdrängen sollte, die von einem starken Bundesregime erfasst werden.

Diese Position lässt das schwierigste Wort undefiniert: stark. Entwickler, Regulierungsbehörden, Gruppen des öffentlichen Interesses und staatliche Vertreter werden Stärke unterschiedlich bewerten.

Die Opferschwelle wird Aufmerksamkeit auf sich ziehen, weil sie leicht verständlich ist. Technischere Bestimmungen könnten die tatsächliche Wirksamkeit des Gesetzes bestimmen.

Zu diesen Bestimmungen gehören, welche Entwickler qualifiziert sind, was als erfasstes Modell gilt, wie Evaluatoren Zugang erhalten, wie schnell Vorfälle gemeldet werden müssen und was das Handelsministerium verlangen kann.

Auch Regeln für intern eingesetzte Modelle sind wichtig. Ein Unternehmen kann ein leistungsfähigeres System intern in seinem Forschungsprozess nutzen, bevor es externen Kunden angeboten wird.

Ein Gesetz, das sich nur auf öffentliche Veröffentlichungen konzentriert, könnte interne Agenten übersehen, die Forschung betreiben, Infrastruktur verwalten oder die Entwicklung der nächsten Modellgeneration beschleunigen.

Modellgewichte stellen eine weitere Komplikation dar. Sobald Gewichte gestohlen oder breit verteilt wurden, kann eine gerichtliche Anordnung gegen den ursprünglichen Entwickler die Fähigkeit möglicherweise nicht mehr eindämmen.

Präventive Sicherheitsanforderungen könnten in diesem Szenario wichtiger sein als ein späteres Einsatzverbot. Die vorgeschlagenen Regeln zur Modellsicherheit und Vorfallmeldung verdienen daher eine sorgfältige Prüfung.

Der Kongress müsste das Handelsministerium zudem mit Behörden koordinieren, die über Bedrohungsinformationen verfügen. Ausschließliche Zuständigkeit sollte nicht zu ausschließlichem Informationszugang werden.

Eine benannte Stelle könnte Belege von Gesundheits-, Cyber-, Verteidigungs-, Nachrichtendienst- und Strafverfolgungsbehörden erhalten und zugleich die Verantwortung für den Gerichtsantrag behalten.

Diese Struktur würde einen einzigen Entscheidungskanal bewahren, ohne ihn zu isolieren. Ob der berichtete Entwurf eine solche Koordination vorsieht, bleibt unklar.

Worauf vor dem Inkrafttreten des Gesetzes zu achten ist

Drei Signale werden zeigen, ob sich der Vorschlag zu durchsetzbarer Aufsicht entwickelt oder eine von der Branche verfasste politische Skizze bleibt.

Das erste Signal ist ein öffentlicher Gesetzestext. Politico berichtete, dass Vertreter von Anthropic Abgeordneten privat einen vertraulichen Entwurf präsentierten, doch ein Vorschlag ist kein Gesetzentwurf, bevor ihn ein Mitglied einbringt.

Der eingebrachte Text würde Definitionen, Erfassungsschwellen, Präemptionssprache, Durchsetzungsinstrumente und Verfahrensfristen offenlegen. Ausschusszuweisungen und namentlich genannte Unterstützer würden zeigen, ob der Vorschlag einen glaubwürdigen Weg durch den Kongress hat.

Ein öffentlicher Text würde Experten zudem ermöglichen, die Auslegung der Schlagzeile zu prüfen. Er könnte bestätigen, ob die berichtete Katastrophenschwelle jede blockierende Maßnahme regelt oder nur ein klar definiertes Rechtsmittel.

Wenn Gesetzgeber die hohe Schwelle beibehalten, aber darunter abgestufte Eingriffe hinzufügen, wird der Rahmen reaktionsfähiger gegenüber unsicheren Risiken. Wenn die Schwelle zum einzigen Weg für präventives Handeln wird, nehmen die Bedenken über verzögerte Eingriffe zu.

Das zweite Signal ist das Regelwerk für Evaluatoren. Die aktuellen Vereinbarungen von Anthropic liefern Hinweise darauf, dass eingebettete Prüfungen praktisch möglich sind, doch sie begründen keinen universellen Standard.

Das Handelsministerium bräuchte Kriterien für Registrierung, Fachwissen, Finanzierung, Zugang, Interessenkonflikte, Sicherheit und Veröffentlichung. Das Verfahren sollte erklären, wie ein Evaluator zurückgehaltene Informationen oder strittige Schwärzungen anfechten kann.

Die ersten öffentlichen Berichte eingebetteter Evaluatoren werden einen Praxistest liefern. Leser sollten prüfen, ob diese Berichte Schwächen benennen, Zugangsbeschränkungen beschreiben und Belege von Unternehmensbehauptungen trennen.

Ein Bericht, der lediglich die Einhaltung bestätigt, würde wenig offenlegen. Ein Bericht, der Meinungsverschiedenheiten und ungelöste Risiken dokumentiert, wäre ein stärkerer Beleg für Unabhängigkeit.

Das dritte Signal ist die Behandlung staatlicher Befugnisse. Gesetzgeber auf Ebene der Bundesstaaten haben wiederholt argumentiert, dass lokale Regeln eine Lücke schließen, die der Kongress hinterlassen hat.

Jüngste Berichte über den Vorstoß zur Regulierung durch Bundesstaaten zeigen, warum bundesrechtliche Präemption politisch sensibel bleibt. Ein endgültiger Gesetzentwurf muss festlegen, welche Funktionen der Bundesstaaten bestehen bleiben.

Eine enge Präemption, die an Tests von Frontier-Modellen gebunden ist, könnte doppelte Compliance-Anforderungen verringern und zugleich staatliche Verbraucher- und Bürgerrechtsschutzmaßnahmen bewahren. Eine weitreichende Präemption könnte einen einzelnen Bundesstandard zur Obergrenze machen.

Entwickler, Unternehmenskäufer und gewöhnliche Nutzer sollten diese Details verfolgen, weil Modell-Governance die Produktverfügbarkeit und das Vertrauen beeinflusst. Eine Verzögerung bei der Veröffentlichung kann Anbieter-Roadmaps verändern, während schwache Aufsicht ungemessene Risiken auf Kunden übertragen kann.

Unternehmensteams sollten nicht auf den Kongress warten, bevor sie Anbieter nach Sicherheitsrahmen, Vorfallmeldungen, Evaluatorzugang und Hinweisen auf Modelländerungen fragen. Diese Fragen helfen Käufern zu beurteilen, wie viele Belege die Zusicherungen eines Anbieters stützen.

Auch Wissensarbeiter benötigen eine verlässliche Möglichkeit, Richtliniendokumente, Evaluator-Erkenntnisse und Anbieterzusagen zu bewahren, während sie sich verändern. Eine durchsuchbare KI-Wissensdatenbank kann diese Unterlagen mit Beschaffungs- und Risikobewertungen verknüpft halten.

Der Gesetzentwurf von Anthropic zur KI-Sicherheit hat eine hilfreiche Debatte eröffnet, doch die zwei Schlagzeilenzahlen entscheiden sie nicht. Der eigentliche Test besteht darin, ob Gesetzgeber ein System schaffen, das handeln kann, bevor katastrophale Belege zu katastrophaler Erfahrung werden.

Achten Sie auf eingebrachte Gesetzestexte, durchsetzbare Evaluatorstandards und eine klare Grenze zwischen bundesstaatlicher und föderaler Zuständigkeit. Diese drei Entwicklungen werden zeigen, ob der Vorschlag glaubwürdige Prävention bietet oder hauptsächlich einen engen Rechtsweg für Notfälle, die bereits unmittelbar bevorstehen.