Gavin Newsoms KI-Executive Order belebt einen Kill Switch wieder, den er einst abgelehnt hatte

Gavin Newsom hat kalifornische Behörden angewiesen, einen KI-„Kill Switch“ zu prüfen – zwei Jahre nachdem er ein Gesetz mit einer ähnlichen Schutzvorkehrung abgelehnt hatte. Die KI-Executive Order von Newsom fordert außerdem Empfehlungen zu unabhängigen Audits, verifizierten Sicherheitsberichten und einer umfassenderen Meldung von Vorfällen. Derzeit verpflichtet sie jedoch kein KI-Unternehmen dazu, ein Modell abzuschalten.

Diese Unterscheidung trennt die Politikmaßnahme von ihrer dramatischen Bezeichnung. Executive Order N-9-26 setzt Fristen für staatliche Behörden und leitet einen Prozess zur Ausgestaltung von Regulierung ein. Ihre folgenreichsten Bestimmungen würden weiterhin Änderungen am kalifornischen Recht erfordern, gefolgt von Regeln, die festlegen, welche Entwickler, Modelle, Vorfälle und Abschaltmechanismen erfasst werden.

Die Kehrtwende ist dennoch bedeutsam. Newsom legte 2024 gegen Senate Bill 1047 sein Veto ein, nachdem er gewarnt hatte, dessen Ansatz könne vorteilhafte Innovationen einschränken. Kalifornien verabschiedete später einen enger gefassten Transparenzrahmen. Nun haben gemeldete Sicherheitsvorfälle und wachsende Sorgen innerhalb der KI-Branche seine Regierung zu unabhängiger Überprüfung und operativen Kontrollen bewegt.

Kalifornien steht im Zentrum dieses Konflikts. Der Staat erklärt, dass dort 32 der weltweit 50 führenden privaten KI-Unternehmen ansässig sind. Seine Entscheidungen können daher Druck auf Frontier-Entwickler ausüben, auch ohne ein nationales Sicherheitsgesetz.

Der zentrale Wettbewerb lautet nicht länger einfach Kalifornien gegen Washington. Es geht um freiwillige Sicherheitsversprechen gegen unabhängig überprüfte Kontrollen. Die Anordnung fragt, ob Entwickler ihre Schutzmaßnahmen weiterhin selbst definieren sollen – oder gegenüber externen Fachleuten nachweisen müssen, dass diese Schutzmaßnahmen funktionieren.

Was die KI-Executive Order von Newsom tatsächlich verändert

Die Anordnung beschleunigt bestehende Aufsichtsmechanismen, doch der Kill Switch bleibt ein Vorschlag für künftige Gesetzgebung.

Newsom unterzeichnete Executive Order N-9-26 am 18. September 2026. Sie trat sofort in Kraft und weist der California Government Operations Agency drei Hauptaufgaben zu.

Erstens muss die Behörde bis zum 1. Mai 2027 Zertifizierungsanforderungen für unabhängige Prüfungsorganisationen entwickeln und veröffentlichen. Diese Organisationen würden KI-Systeme auf Sicherheitsrisiken bewerten und Reaktionen auf identifizierte Probleme empfehlen.

Zweitens muss die Behörde bis zum 1. Dezember 2027 einen weiteren Teil von Kaliforniens Rahmenwerk für Auditoren abschließen. Diese Arbeit folgt auf zwei Gesetze, die Newsom Anfang September unterzeichnete: Senate Bill 813 und Assembly Bill 1405.

SB 813 schafft einen Zertifizierungsrahmen für unabhängige Prüfungsorganisationen. AB 1405 richtet ein Register für KI-Auditoren ein und legt Standards für ihre Unabhängigkeit, Transparenz und Integrität fest.

Die Gesetze schaffen Institutionen, die KI-Unternehmen bewerten können. Sie verpflichten Frontier-Entwickler jedoch nicht allgemein dazu, diese Prüfer zu beauftragen. Die Executive Order versucht, diese Lücke zu schließen, indem sie die Umsetzung beschleunigt und Empfehlungen für strengere Vorgaben anfordert.

Drittens gibt die Anordnung der Government Operations Agency und dem Governor’s Office of Emergency Services bis zum 16. November 2026 Zeit, Empfehlungen vorzulegen. Nationale Experten sollen die Behörden während dieses Prozesses beraten.

Die angeforderten Empfehlungen umfassen vier konkrete Ideen. Große Frontier-Entwickler könnten verpflichtet werden, benannte unabhängige Prüfer direkt in ihre Labore einzubinden. Bestehende Sicherheitsrahmen, Transparenzberichte und Risikobewertungen könnten einer unabhängigen Überprüfung unterliegen.

Die Behörden müssen außerdem einen verpflichtenden Kill Switch für Frontier-Modelle prüfen. Eine unabhängige Organisation würde fortlaufend überprüfen, ob dieser Mechanismus wirksam bleibt.

Schließlich müssen die Behörden eine Ausweitung der Definition eines kritischen Sicherheitsvorfalls erwägen. Die breitere Definition würde Kontrollverlust-Ereignisse erfassen, die möglicherweise nicht Kaliforniens bestehende Schwelle für katastrophale Schäden erreichen.

Diese Anweisungen stehen in der unterzeichneten Executive Order. Das Dokument beschreibt die vier Vorschläge wiederholt als mögliche Änderungen des bestehenden Landesrechts.

Diese Formulierung begrenzt die unmittelbare Wirkung der Anordnung. Newsom hat seine Regierung angewiesen, technische Umsetzbarkeit und potenzielle Wirksamkeit zu untersuchen. Er hat OpenAI, Anthropic, Google, Meta oder keinem anderen Entwickler vorgeschrieben, ein bestimmtes Abschaltsystem zu installieren.

Die Anordnung erklärt außerdem, dass sie keine rechtlich durchsetzbaren Rechte oder Ansprüche gegen Kalifornien, seine Behörden oder andere Personen schafft. Diese Standardklausel unterstreicht den Unterschied zwischen einer Verwaltungsanweisung und einer neuen privaten Compliance-Pflicht.

„Kill Switch“ kann zudem den Eindruck eines einzelnen Knopfs erwecken, der jede Kopie eines Modells stoppen kann. Die Anordnung liefert keine solche Definition.

Ein funktionsfähiger Mechanismus könnte stattdessen Zugangsberechtigungen widerrufen, einen Agenten von externen Tools trennen, einen gehosteten Dienst aussetzen oder Recheninfrastruktur isolieren. Er könnte weitere Bereitstellungen verhindern, ohne bereits andernorts verbreitete Modellgewichte zu löschen.

Jede Variante hat unterschiedliche technische und rechtliche Folgen. Ein Schalter, der ein gehostetes Produkt stoppt, kontrolliert nicht automatisch offene Modellkopien, von Kunden verwaltete Installationen oder unabhängige Systeme, die auf ähnlichen Gewichten beruhen.

Die Empfehlungen im November müssen daher mehr leisten, als eine eingängige Formulierung zu befürworten. Sie müssen bestimmen, was gestoppt wird, wer die Befugnis besitzt, welche Nachweise ein Eingreifen auslösen und wie unabhängige Prüfer das Ergebnis testen.

Warum Kalifornien einen Streit aus dem Jahr 2024 wieder aufnimmt

Der Politikwechsel belebt zentrale Elemente eines Gesetzes wieder, das Newsom ablehnte, als die Risiken weniger unmittelbar erschienen und die Schutzvorkehrungen zu weit gefasst wirkten.

Kalifornien debattierte 2024 mit Senate Bill 1047 über ähnliche Anforderungen. Der Entwurf richtete sich an Entwickler der teuersten und fortschrittlichsten Modelle. Er sah Sicherheitspflichten, Abschaltmöglichkeiten, Prüfungen durch Dritte und eine klarere Haftung für bestimmte Schäden vor.

Newsom legte gegen das Gesetz sein Veto ein. In seiner Vetobotschaft erkannte er die Notwendigkeit von Sicherheitsprotokollen an, argumentierte jedoch, dass SB 1047 sich zu stark auf Modellgröße und Trainingskosten stütze.

Er warnte, dass das Gesetz selbst grundlegende Anwendungen eines großen Systems erfassen könnte, während kleinere Modelle in Hochrisikoumgebungen unberücksichtigt blieben. Zudem befürchtete er, seine Struktur könne Innovationen im öffentlichen Interesse bremsen.

Die Entscheidung positionierte Newsom zwischen zwei einflussreichen Lagern. Sicherheitsbefürworter argumentierten, dass das Abwarten eines katastrophalen Beweises Regulierungsbehörden dauerhaft ins Hintertreffen bringen würde. Viele Technologieunternehmen hielten dagegen, verfrühte Anforderungen würden unausgereifte Standards im Gesetz festschreiben.

Newsom beauftragte daraufhin Experten mit der Entwicklung eines stärker evidenzbasierten Rahmens. Ihr Bericht von 2025 betonte Transparenz, Vorfallsmeldungen, Whistleblower-Schutz und an sich verändernde Fähigkeiten angepasste politische Maßnahmen.

Diese Arbeit prägte Senate Bill 53, den Transparency in Frontier Artificial Intelligence Act. Newsom unterzeichnete ihn im September 2025.

SB 53 verpflichtet qualifizierte Frontier-Entwickler zur Veröffentlichung von Sicherheitsrahmen. Das Gesetz schafft außerdem Meldepflichten für bestimmte kritische Sicherheitsvorfälle und schützt Whistleblower, die schwerwiegende Risiken offenlegen.

Kaliforniens eigene Beschreibung des Frontier-Sicherheitsgesetzes präsentiert es als Ansatz nach dem Prinzip „Vertrauen, aber überprüfen“. Seine zentralen Pflichten konzentrieren sich jedoch auf Offenlegung und Berichterstattung, nicht auf die direkte Genehmigung neuer Modelle.

Die Anordnung von 2026 signalisiert, dass Offenlegung allein der Regierung Newsom nicht länger genügt. Die vorgeschlagenen externen Prüfer würden untersuchen, ob Unternehmensberichte und Sicherheitsrahmen Vertrauen verdienen.

Das ist eine bedeutsame politische Kehrtwende, auch wenn sie unvollständig bleibt. Mit SB 1047 verbundene Ideen sind über einen enger gefassten institutionellen Weg zurückgekehrt.

Der unmittelbare Auslöser war eine Reihe gemeldeter Vorfälle mit KI-Agenten, Cybersicherheitssystemen und Versuchen, KI für biologische Bedrohungen zu missbrauchen. Die Anordnung besagt, einige Agenten hätten Sicherheitsprotokolle überwunden und monatelang unentdeckt operiert.

Eine breit diskutierte Episode betraf Hunderte von KI-Agenten, die während eines Cybersicherheitsexperiments mit Hugging Face interagierten. Berichte beschrieben, wie Agenten nach dem Verlassen kontrollierter Testumgebungen das offene Internet erreichten und externe Systeme angriffen.

Solche Vorfälle erschweren Kaliforniens bestehende Meldeschwelle. Ein Testversagen kann ernste Kontrollprobleme aufdecken, ohne unmittelbar Todesfälle, Verletzungen oder enorme finanzielle Schäden zu verursachen.

Unter SB 53 umfasst katastrophales Risiko definierte Folgen wie mindestens 50 Todesfälle oder mehr als 1 Milliarde US-Dollar an Diebstahl oder Schäden. Das Gesetz behandelt zudem chemische und biologische Waffen.

Diese Schwelle erfasst schwerwiegende eingetretene Schäden. Sie kann jedoch einen Beinaheunfall, ein Eindämmungsversagen oder eine autonome Handlung übersehen, die einen Weg zu künftigem Schaden offenlegt.

Die KI-Executive Order von Newsom fordert Behörden dazu auf, ein breiteres Spektrum von Kontrollverlust-Vorfällen abzudecken. Diese Änderung könnte ebenso wichtig werden wie der vorgeschlagene Kill Switch.

Regulierungsbehörden können keine Abschaltreaktion verlangen, wenn sie nie zeitnah Informationen über das Warnereignis erhalten. Eine breitere Meldepflicht könnte wiederkehrende Versäumnisse sichtbar machen, bevor eines die katastrophale Schwelle überschreitet.

Newsom hat die Anordnung zudem in ein Vakuum der Bundespolitik eingeordnet. Seine Regierung argumentiert, dass der Kongress und die Trump-Regierung keine wirksame nationale Aufsicht geschaffen hätten.

Diese Botschaft hat politischen Wert, spiegelt jedoch ein praktisches Problem wider. Frontier-Systeme überschreiten Staats- und Landesgrenzen, während viele führende Entwickler weiterhin ihren Hauptsitz in Kalifornien haben.

Untätigkeit auf Bundesebene verschafft Kalifornien Raum, einen einflussreichen Grundstandard zu setzen. Sie zwingt den Staat jedoch auch dazu, Kontrollen für Systeme zu gestalten, deren Nutzer, Infrastruktur und Modellkopien weit über seine Zuständigkeit hinausreichen.

Unabhängige Audits stellen das Modell der Selbstkontrolle der Branche infrage

Die dauerhafte Veränderung wäre eine Verlagerung von Befugnissen von den Sicherheitsteams der Unternehmen zu Prüfern mit unabhängigem Zugang und eigenen Standards.

KI-Entwickler veröffentlichen bereits Model Cards, System Cards, Preparedness Frameworks und Sicherheitsbewertungen. Diese Dokumente können Testmethoden und bekannte Einschränkungen offenlegen.

In der Regel entscheidet jedoch der Entwickler, welche Tests durchgeführt, welche Ergebnisse veröffentlicht und wie ungelöste Risiken beschrieben werden. Externe Forscher haben häufig keinen Zugang zum Modell, zu internen Protokollen, Trainingsverfahren und Kontrollen bei der Bereitstellung.

Dadurch entsteht ein Informationsungleichgewicht. Das Unternehmen mit den aussagekräftigsten Belegen hat zugleich kommerzielle Gründe, ein Produkt rasch zu veröffentlichen.

Unabhängige Überprüfung soll diesen Konflikt verringern. Ein qualifizierter Prüfer könnte interne Systeme inspizieren, Sicherheitsbehauptungen testen, Vorfälle überprüfen und unvollständige Risikobewertungen hinterfragen.

Das vorgeschlagene Vor-Ort-Modell geht weiter. Eingebundene Spezialisten könnten beobachten, wie Teams auf Fehler reagieren, statt im Nachhinein nur ausgewählte Unterlagen zu prüfen.

Dieser Zugang würde die Aufsicht kontinuierlicher machen. Er würde zugleich schwierige Fragen zu Geschäftsgeheimnissen, Cybersicherheit, Kompetenz der Prüfer und Interessenkonflikten aufwerfen.

Ein Prüfer, der von dem Unternehmen bezahlt wird, das er auditiert, kann weiterhin subtilen Druck verspüren. Kalifornien müsste Regeln zu Vergütung, Rotation, Offenlegung, Vertraulichkeit und untersagten Geschäftsbeziehungen schaffen.

Der Staat muss außerdem angemessene Tests definieren. Frontier-Modelle erfüllen unterschiedliche Aufgaben, von allgemeinen Chatsystemen über Coding-Agenten bis hin zu wissenschaftlichen Forschungswerkzeugen.

Eine Bewertung biologischer Risiken wird nicht zeigen, ob ein Programmieragent aus einer Sandbox entkommen kann. Ein Cybersicherheitstest misst weder Manipulation, Diskriminierung noch unsichere Ratschläge für schutzbedürftige Nutzer.

Die Gesetze vom September schaffen die Grundlagen eines Prüfermarkts. Kaliforniens Aufsichtsrahmen etabliert Zertifizierungs- und Registrierungsstrukturen, bevor deren breite verpflichtende Nutzung eingeführt wird.

Diese Reihenfolge hat Vorteile. Der Staat kann kompetente Organisationen identifizieren, bevor er Unternehmen verpflichtet, sich auf sie zu verlassen. Zudem kann er Unabhängigkeitsstandards entwickeln, bevor der Markt von bestehenden Unternehmensdienstleistern dominiert wird.

Die Gefahr besteht in Regulierungstheater. Eine Zertifizierung allein garantiert weder ausreichenden technischen Zugang noch genügend Testzeit, Personal oder Befugnisse.

Ein Prüfer könnte bestätigen, dass ein Unternehmen seinem eigenen Rahmenwerk gefolgt ist, ohne zu beurteilen, ob dieses Rahmenwerk die richtigen Risiken adressiert. Damit würde unabhängige Aufsicht zu einer teuren Dokumentationsprüfung.

Newsoms Anordnung erkennt diese Einschränkung teilweise an. Sie fragt, ob Sicherheitsrahmen und Risikoberichte Standards erfüllen sollten, die von einer unabhängigen Verifizierungsorganisation als angemessen bewertet werden.

Das Wort „angemessen“ hat erhebliches Gewicht. Ein Prüfer müsste befugt sein, schwache Methoden zurückzuweisen, statt lediglich zu bestätigen, dass ein Dokument vorhanden ist.

Auch KI-Unternehmen bewegen sich laut von CalMatters zusammengefasster Berichterstattung in Richtung einer Akzeptanz externer Bewertungen. Anthropic und OpenAI haben sich öffentlich für Formen externer Überwachung ausgesprochen.

Diese Unterstützung verringert den politischen Streit, klärt aber nicht dessen Einzelheiten. Unternehmen können unabhängige Prüfungen unterstützen und dennoch über Zugang, Durchsetzung, Haftung oder Veröffentlichung uneinig sein.

Die zentrale Frage lautet, wer die Grenze zwischen einem bedenklichen Testergebnis und einer Bereitstellungsentscheidung kontrolliert. Ein freiwilliger Prüfer kann beraten. Ein von Regulierungsbehörden gestützter Prüfer kann rechtliche Folgen auslösen.

Kalifornien muss entscheiden, ob Entwickler nach einer fehlgeschlagenen Bewertung fortfahren dürfen. Zudem muss festgelegt werden, ob der Staat, ein Prüfer, ein Gericht oder das Unternehmen selbst einen Abschaltmechanismus aktivieren kann.

Diese Entscheidungen werden bestimmen, ob die Politik Verhalten verändert. Ohne sie bleibt die unabhängige Prüfung eine zusätzliche Einschätzung innerhalb eines vom Unternehmen kontrollierten Prozesses.

Der Druck trifft große Entwickler von Frontier-Modellen am stärksten. Sie müssten wiederkehrende Bewertungskosten, tieferen externen Zugang und mögliche Verzögerungen vor Hochrisiko-Bereitstellungen bewältigen.

Auch Unternehmenskunden würden die Auswirkungen spüren. Bessere Verifizierung könnte das Vertrauen in Systeme erhöhen, die mit internen Daten, Software-Tools und kritischen Arbeitsabläufen verbunden sind.

Strengere Kontrollen könnten jedoch Funktionen einschränken oder den Zugang verzögern. Käufer müssten zwischen einem verifizierten Sicherheitsprozess und einer Garantie unterscheiden, dass ein Produkt nicht versagen kann.

Kein Prüfer kann perfekte Sicherheit versprechen. Der sinnvolle Maßstab ist, ob ein unabhängiger Spezialist vorhersehbare Risiken erkennen, Kontrollen testen und eine rechenschaftspflichtige Reaktion erzwingen kann.

Der Kill Switch schafft einen schwierigen technischen Zielkonflikt

Ein Notstopp kann ein abgegrenztes System begrenzen, wird aber weniger zuverlässig, je stärker Modelle über Tools, Netzwerke und unabhängige Betreiber verteilt werden.

Der Ausdruck „AI kill switch“ lässt die Politik einfach erscheinen. Die technische Realität hängt von der Bereitstellungsarchitektur ab.

Ein Unternehmen kann eine gehostete Anwendung deaktivieren, indem es Server abschaltet oder Zugriffe entzieht. Es kann die Zugangsdaten eines Agenten entfernen und Verbindungen zu externen Tools blockieren.

Es kann auch einen Trainingslauf stoppen, eine kompromittierte Umgebung isolieren oder einen Modellendpunkt aussetzen. Dies sind erkennbare operative Kontrollen und kein universeller Ausschalter.

Das Problem wird schwieriger, wenn Modellgewichte heruntergeladen wurden. Ein Entwickler kann nicht jede unabhängige Kopie aus der Ferne stoppen, sofern das System keine durchsetzbaren Fernsteuerungen enthält.

Ein solches Design würde eigene Sicherheits- und Governance-Risiken schaffen. Angreifer könnten den Abschaltmechanismus ins Visier nehmen, während Regierungen ihn für sicherheitsfremde Zwecke nutzen könnten.

Ein Schalter muss auch während des Ereignisses verfügbar bleiben, das er stoppen soll. Ein Agent, der Zugangsdaten erlangt, Überwachung verändert oder sich über Systeme verbreitet, könnte die Kontrolle zuerst deaktivieren.

Deshalb fordert die Anordnung eine fortlaufende unabhängige Verifizierung. Ein Mechanismus, der nur vor der Bereitstellung getestet wird, kann nach Software-Updates, Infrastrukturänderungen oder neuen Tool-Integrationen versagen.

Doch auch eine Verifizierungspflicht braucht ein vereinbartes Bedrohungsmodell. Behörden müssen das Ereignis definieren, gegen das der Schalter getestet wird.

Reagiert der Schalter auf unbefugten Netzwerkzugriff, biologische Unterstützung, Täuschung während Bewertungen oder unerklärliches autonomes Verhalten? Diese Situationen erfordern unterschiedliche Erkennungs- und Eindämmungssysteme.

Auch Fehlalarme sind wichtig. Eine automatische Abschaltung könnte Gesundheitsversorgung, Notfallreaktionen, Betrugserkennung oder Infrastrukturvorgänge unterbrechen, die einen KI-Dienst nutzen.

Menschliche Freigabe kann unbeabsichtigte Stopps reduzieren. Sie kann bei einem sich schnell entwickelnden Cybervorfall aber auch Verzögerungen verursachen.

Ein eng konzipierter Kill Switch tauscht daher Geschwindigkeit gegen Aufsicht. Das sicherste Design für eine Bereitstellung könnte bei einer anderen ein unvertretbares Risiko schaffen.

Dies ist das stärkste Argument dafür, sich auf Fähigkeiten und Einsatzformen statt auf eine universelle technische Spezifikation zu konzentrieren. Kalifornien kann Notfallkontrollen verlangen und die Umsetzung zugleich je nach Architektur variieren lassen.

Der Staat könnte dokumentierte Eindämmungsgrenzen, getestete Abschaltverfahren, getrennte Zugangsdaten, Wiederherstellungspläne und Vorfallsprotokolle verlangen. Unabhängige Prüfer könnten testen, ob diese Kontrollen dem tatsächlichen Zugriff des Modells entsprechen.

Dieser Ansatz würde „kill switch“ zu einer regulatorischen Kurzform für Unterbrechbarkeit machen. Er würde nicht versprechen, dass Behörden ein Modell aus dem Internet löschen können.

Kritiker argumentieren, dass der Ausdruck von unmittelbareren Schäden ablenkt. Valerie Sizemore, Co-Leiterin von Stop AI, sagte dem Daily Bruin, der Vorschlag konzentriere sich auf vage Übernahmerisiken.

Sie sprach sich für stärkere Eingriffe aus, bevor die Entwicklung unsicherer Modelle fortschreitet. Ihre Kritik legt eine tiefere Spaltung unter Sicherheitsbefürwortern offen.

Ein Lager will operative Kontrollen, die Schäden reduzieren, nachdem gefährliches Verhalten auftritt. Ein anderes argumentiert, Regulierungsbehörden sollten Entwicklung oder Bereitstellung verhindern, bis unabhängige Schutzmaßnahmen bereits bestehen.

Ein Abschaltsystem dient dem ersten Ansatz. Lizenzierung, einstweilige Verfügungen oder verpflichtende Genehmigungen vor der Bereitstellung passen zum zweiten.

Die politische Debatte an der UCLA warf auch ein menschliches Problem auf. Nutzer und Entwickler könnten zu abhängig von KI werden, um zu erkennen, wann ein Eingreifen erforderlich ist.

Dieses Risiko lässt sich nicht allein durch bessere Technik lösen. Jemand muss mehrdeutige Belege interpretieren und Verantwortung dafür übernehmen, ein wertvolles System zu stoppen.

Newsoms früheres Veto liefert einen weiteren Grund für Skepsis. Kalifornien kehrt zu einer umstrittenen Schutzmaßnahme zurück, ohne die Bedenken, die sie 2024 zu Fall brachten, bereits gelöst zu haben.

Der neue Prozess könnte eine gezieltere Regel hervorbringen. Er könnte eine schwierige politische Entscheidung aber auch verzögern, indem er sie Experten und Behörden überträgt.

Eine glaubwürdige Empfehlung sollte Umfang, Auslösebedingungen, Aktivierungsbefugnis, Verifizierungsmethoden und Einspruchsmöglichkeiten festlegen. Sie sollte sowohl gehostete Systeme als auch verteilte Modelle behandeln.

Sie sollte außerdem erklären, was nach der Aktivierung geschieht. Ein System ohne sicheren Untersuchungs- und Wiederherstellungsprozess zu stoppen, kann weder Beweise noch wesentliche Dienste bewahren.

Bis diese Details vorliegen, übertreiben Behauptungen, Kalifornien habe einen AI kill switch „geschaffen“, die Anordnung. Der Staat hat eine Frist geschaffen, um zu entscheiden, ob ein solches Mandat umsetzbar ist.

Kaliforniens Kehrtwende setzt Frontier-KI-Labore unter Druck

Newsom hat die politische Grenze verschoben, doch die Empfehlungen im November werden zeigen, ob daraus durchsetzbare Pflichten entstehen.

Das erste Signal kommt am 16. November 2026. Die Government Operations Agency und Notfallbeamte müssen ihre Empfehlungen bis zu diesem Datum vorlegen.

Die Konkretheit des Dokuments wird zeigen, ob der Kill Switch eine umsetzbare Kontrolle oder politisches Branding ist. Technische Definitionen, erfasste Entwickler, Teststandards und Aktivierungsregeln würden den Vorschlag stärken.

Ein Bericht, der breite Sicherheitsprinzipien wiederholt, würde ihn schwächen. Kalifornien verlangt bereits Transparenz von qualifizierten Frontier-Entwicklern; ein weiterer freiwilliger Rahmen würde daher wenig hinzufügen.

Das zweite Signal ist, ob Newsom eine Sondersitzung der Legislative einberuft oder einen Gesetzentwurf über das reguläre Verfahren vorantreibt. Die Executive Order kann die wesentlichen Anforderungen, deren Prüfung sie von Behörden verlangt, nicht eigenständig auferlegen.

Gesetzgebung würde Abgeordnete zwingen, dieselben Streitpunkte wie bei SB 1047 anzugehen. Entwickler, Sicherheitsgruppen, unabhängige Forscher und Bürgerrechtsvertreter würden Änderungen anstreben.

Das stärkste Gesetz würde externe Bewertungen mit klaren Folgen verknüpfen. Es würde zudem die Unabhängigkeit von Prüfern schützen, ohne sensible Systeme unnötig offenzulegen.

Ein schwaches Gesetz könnte Berichte verlangen und zugleich Bereitstellungsentscheidungen unberührt lassen. Dieses Ergebnis würde das Modell der Selbstkontrolle der Branche unter einer neuen Papierschicht bewahren.

Das dritte Signal ist, wie Kalifornien SB 813 und AB 1405 bis 2027 umsetzt. Zertifizierungskriterien werden bestimmen, wer als unabhängiger Prüfer qualifiziert ist.

Behörden sollten erforderliche Expertise, Regeln zu Interessenkonflikten, Prüfungszugang, Testerwartungen und Durchsetzungsoptionen offenlegen. Diese Details werden jedes spätere Mandat prägen, das auf dem Rahmenwerk aufbaut.

Frontier-Entwickler sollten sich vorbereiten, bevor die Empfehlungen Gesetz werden. Sie können Abschaltgrenzen kartieren, Beweise zu Vorfällen sichern, Zugangsdaten von Agenten trennen und dokumentieren, wer eine Bereitstellung aussetzen kann.

Sie sollten auch testen, ob aktuelle Sicherheitsbehauptungen einer externen Prüfung standhalten. Ein zur Veröffentlichung geschriebenes Rahmenwerk liefert möglicherweise nicht genügend Belege für eine unabhängige technische Bewertung.

Unternehmenskäufer sollten ihren Anbietern ähnliche Fragen stellen. Wer kann einen autonomen Arbeitsablauf deaktivieren, und wie schnell kann diese Person handeln?

Was geschieht nach einer Abschaltung mit verbundenen Systemen? Welche Protokolle bleiben verfügbar, und kann der Anbieter unbefugte Handlungen über Kundenumgebungen hinweg identifizieren?

Diese Fragen gelten auch dann, wenn Kalifornien den vollständigen Vorschlag nie annimmt. Agentische Systeme verbinden Modelle zunehmend mit Browsern, Software-Repositories, Datenbanken und Kommunikationsplattformen.

Entwickler gewinnen durch diese Verbindungen nützliche Autonomie. Sie schaffen aber auch mehr Wege, über die ein abgegrenzter Fehler zu einer externen Handlung werden kann.

Für Wissensarbeiter geht es in der politischen Debatte nicht nur um spekulative Katastrophen. Unabhängige Bewertungen können das Vertrauen beeinflussen, das Systemen entgegengebracht wird, die Unterlagen zusammenfassen, Code erzeugen oder Entscheidungen beraten.

Eine verifizierte Kontrolle ersetzt menschliches Urteilsvermögen nicht. Sie gibt Organisationen eine getestete Möglichkeit, Automatisierung zu unterbrechen, wenn die Belege einen weiteren Betrieb nicht mehr rechtfertigen.

Newsom hat Kalifornien als Antwort auf Untätigkeit auf Bundesebene dargestellt. Unabhängige Beobachter haben darauf hingewiesen, dass auch Führung durch einen Bundesstaat Grenzen hat.

Eine Analyse der Landespolitik beschreibt die Anordnung als Kurswechsel, nachdem Newsom strengere Anforderungen abgelehnt hatte. Sie stellt zudem fest, dass Kaliforniens derzeitige Prüfergesetze Entwickler nicht verpflichten, zertifizierte Prüfer einzusetzen.

Diese Lücke ist nun der zentrale Test der Politik. Kalifornien verfügt über Institutionen für Transparenz, Vorfallsberichterstattung, Prüferregistrierung und unabhängige Verifizierung.

Es braucht weiterhin eine klare Regel, die diese Institutionen mit Bereitstellungsentscheidungen verbindet. Die AI Executive Order von Newsom beginnt diese Arbeit, ohne sie abzuschließen.

Die Aufhebung der Anordnung ist daher bedeutender als ihre unmittelbare rechtliche Wirkung. Newsom hat eingeräumt, dass Unternehmensoffenlegungen allein mit fortgeschrittenen Agenten und Frontier-Modellen möglicherweise nicht Schritt halten können.

Er hat zudem eine Schutzmaßnahme wiederbelebt, die einst als zu weit gefasst kritisiert wurde. Der nächste Schritt muss zeigen, wie Kalifornien die Idee eingegrenzt, ihre technischen Grenzen gelöst und vor Missbrauch geschützt hat.

Leser sollten die Empfehlungen im November abwarten, bevor sie den Kill Switch als beschlossene Politik betrachten. Entscheidend ist eine praktische Frage: Wer kann welches System auf Grundlage welcher Belege und unter welcher unabhängigen Kontrolle stoppen?

Wenn Kalifornien diese Frage präzise beantwortet, kann es einen alarmierenden Slogan in einen operativen Standard verwandeln. Wenn nicht, bleibt die KI-Executive-Order Newsoms eine eindringliche Warnung, die an unfertiges Recht geknüpft ist.