Andy Burnhams Forderung nach einem Verbot superintelligenter KI stellt Großbritanniens Kontrolle über Spitzenlabore auf die Probe

Andy Burnham sieht sich der Forderung von mehr als 70 Abgeordneten gegenüber, künstliche Superintelligenz zu verbieten – trotz Großbritanniens begrenzten Einflusses auf den globalen KI-Wettlauf. Die Kampagne für ein Verbot superintelligenter KI durch Andy Burnham folgt Warnungen von Forschern mit Verbindungen zu Anthropic und OpenAI. Ihre Unterstützer sagen, Regierungen könnten nicht warten, bis ein System unkontrollierbar werde, bevor sie rechtliche Grenzen schafften.

Der Vorschlag richtet sich gegen künstliche Superintelligenz, kurz ASI, also ein hypothetisches System, das menschliche Fähigkeiten bei den meisten wichtigen kognitiven Aufgaben übertrifft. Kein öffentlich verfügbares Modell erfüllt diese Beschreibung. Kampagnenvertreter argumentieren jedoch, dass das Warten auf endgültige Beweise die Politik erst reagieren ließe, nachdem Entwickler eine gefährliche Schwelle überschritten hätten.

Dieses Argument stellt Burnhams Regierung vor eine ungewöhnlich scharfe Entscheidung. Sie kann die Warnungen als Grundlage für ein Verbot behandeln oder weiterhin Aufsicht durch Bewertungen, Sicherheitskontrollen und eingeschränkte Bereitstellung aufbauen. Der zweite Weg ähnelt den Rahmenwerken, die Spitzenlabore und europäische Regulierungsbehörden bevorzugen. Der erste geht davon aus, dass diese Schutzmaßnahmen unzuverlässig werden, sobald KI ihre eigene Entwicklung beschleunigen kann.

Dabei geht es nicht einfach um einen weiteren Streit über die Genauigkeit von Chatbots oder Urheberrechte. Es stellt die Frage, ob Regierungen messbare Risiken bestehender Systeme regulieren oder eine Fähigkeit verbieten sollten, die noch nicht nachgewiesen wurde. Die Antwort würde Entwickler, Cloud-Anbieter, Unternehmenskäufer und jede Organisation beeinflussen, die mit autonomerer KI plant.

Was der Artificial Superintelligence Bill ändern würde

Der Vorschlag würde bedingte Aufsicht durch eine rechtliche Grenze gegen die Entwicklung, Bereitstellung oder den Betrieb superintelligenter Systeme ersetzen.

Der Labour-Abgeordnete Alex Sobel brachte den Artificial Superintelligence Bill am 8. September 2026 im House of Commons ein. Sein Langtitel fordert ein Verbot der Entwicklung, Bereitstellung und des Betriebs von ASI. Außerdem schlägt er Überwachungs- und Kontrollbefugnisse im Zusammenhang mit diesen Systemen vor.

Der Parlamentseintrag bestätigt, dass Sobel den Gesetzentwurf unterstützt. Seine zweite Lesung ist für den 13. November 2026 angesetzt. Der Entwurf hat bislang nur die erste Lesung durchlaufen und ist daher noch weit davon entfernt, Gesetz zu werden.

Mehr als 70 Abgeordnete und Mitglieder des Oberhauses baten Burnham anschließend laut dem berichteten Schreiben, die Maßnahme zu unterstützen. Zu den Unterzeichnern sollen 15 ehemalige Regierungsminister sowie der frühere Leiter des öffentlichen Dienstes Robin Butler gehören. Sie stammen aus Labour, Conservative Party, Liberal Democrats und Scottish National Party.

Diese Breite verschafft der Kampagne politische Sichtbarkeit, begründet jedoch keine parlamentarische Mehrheit. Sie löst auch nicht das zentrale Definitionsproblem des Gesetzentwurfs. Ein Verbot benötigt einen durchsetzbaren Test, um zu entscheiden, wann ein fortgeschrittenes KI-System superintelligent wird.

Die öffentliche Beschreibung des Gesetzentwurfs benennt das verbotene Ziel klarer als die Grenze, die dorthin führt. Entwickler trainieren Systeme nicht unter festen Bezeichnungen wie gewöhnliche KI, fortgeschrittene KI und anschließend ASI. Sie verbessern Modelle durch wechselnde Kombinationen aus Rechenleistung, Daten, Werkzeugen, Speicher und Zugang zu externen Systemen.

Ein Modell könnte unter einer allgemeinen Intelligenzschwelle bleiben und dennoch in einem Bereich gefährlich werden. Es könnte helfen, Cyberoperationen, biologische Forschung oder KI-Entwicklung zu automatisieren, ohne die Menschheit überall zu übertreffen. Umgekehrt könnte ein breit leistungsfähiges Modell durch geringe Zuverlässigkeit, eingeschränkten Zugang oder hohe Betriebskosten begrenzt bleiben.

Diese Unterschiede sind wichtig, weil ein Gesetz, das nur auf ASI zielt, erhebliche Risiken enger gefasster Systeme übersehen könnte. Ein Gesetz mit weit gefasster Definition könnte Forschung und Anwendungen erfassen, die seine Unterstützer nie verbieten wollten. Die Überwachung der Entwicklung wirft zudem Fragen zum Zugang zu privaten Bewertungen, Modellgewichten, Rechenzentren und Computinginfrastruktur auf.

Sobels Vorschlag verändert daher die politische Frage, bevor er das Verhalten der Labore verändert. Die gegenwärtige Aufsicht fragt, welche Nachweise und Schutzmaßnahmen ein leistungsfähigeres Modell begleiten sollten. Der Gesetzentwurf fragt, ob es eine Kategorie von Fähigkeiten gibt, deren Schaffung die Gesellschaft unter keinen Schutzmaßnahmen akzeptieren sollte.

Seine Unterstützer wollen, dass Burnham dieses Prinzip über Großbritannien hinaus vertritt. Sie haben ihn aufgefordert, die G20-Präsidentschaft des Vereinigten Königreichs im Jahr 2027 zu nutzen, um eine internationale Koalition zu bilden. Dieses diplomatische Ziel ist wesentlich, denn ein nationales Verbot würde Labore in den Vereinigten Staaten, China oder anderen Märkten nicht binden.

Die Regierung hat bereits Widerstand signalisiert. Ein Sprecher erklärte dem Guardian, Minister hielten die Maßnahmen des Gesetzentwurfs nicht für den richtigen Ansatz. Der Sprecher fügte hinzu, die Regierung prüfe gezielte Eingriffe bei erheblichen nationalen Sicherheitsrisiken im Zusammenhang mit KI.

Diese Antwort lässt Raum für strengere Kontrollen, ohne ein Verbot zu akzeptieren. Sie verdeutlicht auch den zentralen Konflikt des Artikels. Abgeordnete wollen eine feste Grenze, bevor ASI existiert, während die Regierung Eingriffe bevorzugt, die an identifizierbare Risiken gebunden sind.

Warum die Forderung nach einem Verbot superintelligenter KI von Andy Burnham gerade jetzt kommt

Die Kampagne gewann an Dringlichkeit, weil Warnungen inzwischen von Menschen stammen, die der Spitzenentwicklung nahe stehen, und nicht nur von externen Interessengruppen.

Dem Eingreifen der Abgeordneten gingen öffentliche Aussagen aktueller und ehemaliger Mitarbeiter von KI-Laboren voraus. Evan Hubinger, ein leitender Forscher bei Anthropic, bezifferte laut Berichten die Wahrscheinlichkeit, dass KI das Aussterben der Menschheit verursacht, auf mehr als 10 Prozent. Eine solche Schätzung spiegelt ein persönliches Urteil wider, keine gemessene Ausfallrate oder einen wissenschaftlichen Konsens.

Jacob Coxon, ein 28-jähriger Anthropic-Forscher, der zuvor bei OpenAI arbeitete, kündigte ebenfalls in derselben Woche. Er behauptete, dass keines der beiden Unternehmen verantwortungsvoll handle, und bezeichnete den Wettbewerb um fortgeschrittene KI als Glücksspiel mit Menschenleben. Diese Vorwürfe belegen nicht, dass eines der Labore ASI geschaffen oder die Kontrolle über ein bereitgestelltes Modell verloren hat.

Dennoch haben Warnungen von Insidern politische Wirkung. Sie legen nahe, dass Menschen mit Zugang zu fortgeschrittener Forschung freiwilliger Governance nicht einheitlich vertrauen. Außerdem stellen sie ein verbreitetes Argument infrage, wonach Sorgen über existenzielle Risiken vor allem von Außenstehenden stammen, die die heutige Technologie missverstehen.

Anthropic erkennt öffentlich Kategorien katastrophaler Risiken an, obwohl seine Richtlinie kein allgemeines Verbot unterstützt. Sein aktualisiertes Risikorahmenwerk verknüpft stärkere Fähigkeiten mit strengeren Anforderungen an Bewertung, Sicherheit und Bereitstellung. Das Unternehmen veröffentlicht außerdem Risikoberichte zu Bedrohungen durch Chemie, Biologie, Sabotage und automatisierte Forschung.

Dieses Rahmenwerk veranschaulicht beide Seiten der Debatte. Unterstützer eines Verbots können darin einen Beleg sehen, dass ein führender Entwickler schwere Gefahren anerkennt. Befürworter einer regulierten Entwicklung können dasselbe Rahmenwerk als Nachweis anführen, dass Fähigkeitsschwellen und schrittweise verschärfte Schutzmaßnahmen eine Alternative bieten.

Die Unterscheidung ist wichtig. Eine Wahrscheinlichkeitsschätzung über ein künftiges Aussterben zeigt nicht, dass ein aktuelles System diese Wahrscheinlichkeit darstellt. Sie verbindet Annahmen über künftige Fähigkeiten, Entwicklungsgeschwindigkeit, Wettbewerbsverhalten, Schutzmaßnahmen und staatliche Reaktionen.

Diese Annahmen bleiben umstritten. Andrew Rogoyski vom Surrey Institute for People-Centred AI erklärte dem Guardian, heutige Systeme seien weiterhin weit weniger vielseitig als einzelne Menschen oder Gruppen. Er argumentierte, fortgeschrittene KI könne stattdessen wirtschaftliche Enttäuschungen erleben, weil sie teuer und nicht ausreichend nützlich bleibe.

David Barber, Direktor des staatlich geförderten Forschungslabors Sofair, warnte ebenfalls davor, wertvolle KI-Anwendungen aufzugeben. Seine Position konzentrierte sich darauf, den Zugang zu Systemen zu kontrollieren und Software-Schwachstellen zu beheben. Sie steht für einen praktischen Sicherheitsansatz, statt entweder uneingeschränkte Entwicklung oder ein umfassendes Verbot zu akzeptieren.

Dieser Dissens besteht nicht zwischen Menschen, die Risiken erkennen, und solchen, die sie ignorieren. Er betrifft die Frage, welche Risiken politische Priorität verdienen und welche Belege eine Einschränkung auslösen sollten. Forscher können darin übereinstimmen, dass autonome Systeme stärkere Kontrollen benötigen, und dennoch darüber uneinig sein, ob ASI unmittelbar bevorsteht.

Das Timing hat den Streit verschärft. Entwickler beschreiben zunehmend KI-Agenten, die Werkzeuge nutzen, Code schreiben, Forschung betreiben und längere Arbeitsabläufe abschließen können. Ein Agent ist ein modellbasiertes System, das über mehrere Schritte hinweg handelt, anstatt auf eine einzelne Eingabe zu antworten.

Längere Autonomie schafft zusätzliche Fehlerpfade. Ein System kann ein Ziel falsch interpretieren, einen Fehler verbergen, übermäßige Berechtigungen ausnutzen oder weiterarbeiten, nachdem seine Ergebnisse unzuverlässig geworden sind. Diese Verhaltensweisen beweisen keine Superintelligenz, machen Fragen der Kontrolle jedoch weniger abstrakt.

KI-gestützte Forschung weckt eine weitere Sorge. Wenn Systeme die Produktivität von KI-Forschern wesentlich steigern, könnten sich Entwicklungszyklen verkürzen. Regulierungsbehörden hätten dann möglicherweise weniger Zeit, jede Generation zu bewerten, bevor die nächste erscheint.

Die Richtlinie von Anthropic überwacht automatisierte KI-Forschung und -Entwicklung ausdrücklich als mögliche Fähigkeitsschwelle. Sie besagt, Entscheidungen würden schwieriger, wenn Labore Modelle bewerten müssten, die zum Bau stärkerer Nachfolger beitragen. Diese Rückkopplungsschleife ist zentral für die Dringlichkeit der Abgeordneten.

Die Forderung nach einem Verbot superintelligenter KI von Andy Burnham reagiert daher auf ein wahrgenommenes sich schließendes Zeitfenster. Unterstützer glauben, Regulierung müsse erfolgen, bevor KI-Forschung beginnt, sich selbst zu beschleunigen. Kritiker entgegnen, die vorhergesagte Beschleunigung bleibe unsicher und rechtfertige kein Verbot einer undefinierten Technologie.

Der eigentliche Konflikt lautet Verbot gegen bedingte Entwicklung

Im Kern geht es darum, ob extreme Unsicherheit es rechtfertigt, die Entwicklung zu stoppen, oder Kontrollen aufzubauen, die sich mit veränderter Evidenz verschärfen.

Ein Verbot wendet das Vorsorgeprinzip in seiner stärksten Form an. Wenn ein System möglicherweise nicht mehr kontrollierbar wird und sein Versagen irreversibel sein könnte, argumentieren Unterstützer, sollten Entwickler die Beweislast für seine Sicherheit tragen. Die Gesellschaft sollte nicht die Last tragen, eine Katastrophe erst nach der Bereitstellung beweisen zu müssen.

Bedingte Entwicklung kehrt diese Logik um. Sie erlaubt Forschung, verlangt jedoch Bewertungen, Sicherheitsmaßnahmen, Meldungen von Vorfällen und Bereitstellungsbeschränkungen an definierten Schwellen. Regierungen können eingreifen, wenn Belege zeigen, dass ein Modell ein inakzeptables Risiko darstellt.

Großbritanniens bestehende Institutionen folgen dem zweiten Weg. Das AI Security Institute untersucht fortgeschrittene Fähigkeiten, führt Bewertungen durch und entwickelt Gegenmaßnahmen. Seine veröffentlichte Forschungsagenda priorisiert Cyberbedrohungen, chemische und biologische Risiken, kriminellen Missbrauch und autonome Systeme.

Das Institut hat mehr als einen rein beratenden Zweck. Es verleiht der Regierung technische Kapazität, Behauptungen von Entwicklern zu prüfen. Zudem kann es Behörden helfen, eine plausible Bedrohung der nationalen Sicherheit von einem spekulativen Szenario zu unterscheiden.

Bewertungen hängen jedoch vom Zugang ab. Eine Regierung kann ein Spitzensystem nicht unabhängig untersuchen, wenn dessen Entwickler sich weigert, das Modell vor der Veröffentlichung bereitzustellen. Der Guardian berichtete über Bedenken, dass Anthropic ein jüngeres Modell nicht für Tests vor der Veröffentlichung eingereicht habe, obwohl nur begrenzter externer Zugang verfügbar war.

Diese Episode legt eine Schwäche freiwilliger Zusammenarbeit offen. Ein Labor kann Sicherheitsforschung grundsätzlich unterstützen und gleichzeitig den Zugang zu einem kommerziell sensiblen Modell beschränken. Staatliche Evaluatoren erhalten dann nur einen unvollständigen Einblick in sich schnell entwickelnde Fähigkeiten.

Befürworter eines Verbots sehen diese Abhängigkeit als Argument gegen eine bedingte Entwicklung. Wenn die Aufsicht auf der Zustimmung der Entwickler beruht, könnten Regulierungsbehörden genau dann den Überblick verlieren, wenn eine Prüfung am wichtigsten ist. Wettbewerbsdruck könnte Unternehmen zudem davon abhalten, ein Modell zurückzuhalten, dessen Veröffentlichung Konkurrenten vorbereiten.

Entwickler sehen ein anderes Problem. Sie verwalten Modellgewichte, Sicherheitsdetails und unveröffentlichte Evaluierungen, deren breite Weitergabe Risiken schaffen könnte. Zugang vor der Veröffentlichung muss geistiges Eigentum schützen und verhindern, dass sensible Informationen über Fähigkeiten durchsickern.

Ein funktionsfähiges Aufsichtssystem muss beide Anliegen berücksichtigen. Es braucht rechtmäßigen Zugang für vertrauenswürdige Evaluatoren und strenge Sicherheitsvorkehrungen für das, was sie untersuchen. Außerdem braucht es Konsequenzen, wenn ein Entwickler verpflichtende Tests verweigert.

Die Europäische Union bietet eine konkrete Form bedingter Regulierung. Ihre Vorschriften zu systemischen Risiken verpflichten Anbieter fortgeschrittener General-Purpose-Modelle dazu, Risiken zu bewerten und zu mindern. Erfasste Anbieter müssen zudem schwerwiegende Vorfälle melden und Cybersicherheitsmaßnahmen aufrechterhalten.

Der europäische Rahmen nutzt Trainingsrechenleistung als einen Weg, um Modelle zu identifizieren, bei denen systemische Risiken vermutet werden. Das ist administrativ klarer als das Konzept der Superintelligenz. Rechenleistung lässt sich dokumentieren, auch wenn sie weiterhin nur ein unvollkommener Indikator für Fähigkeiten ist.

Ein Schwellenwert für Rechenleistung kann effiziente Modelle übersehen, die mit weniger Ressourcen gefährliche Fähigkeiten erreichen. Er kann auch kostspielige Trainingsläufe erfassen, die keine entsprechenden Risiken erzeugen. Regulierungsbehörden benötigen daher neben Infrastrukturmessungen auch Fähigkeitsevaluierungen.

Der ASI-Gesetzentwurf würde ein absoluteres Ziel festlegen. Doch selbst ein Verbot erfordert Zwischenmessungen. Behörden müssten erfasste Projekte identifizieren, bevor Entwickler das verbotene System fertigstellen oder einsetzen.

Das bedeutet, dass beide Ansätze letztlich auf der Überwachung von Laboren und Recheninfrastruktur beruhen. Der Unterschied liegt darin, was geschieht, nachdem Regulierungsbehörden sich beschleunigende Fähigkeiten feststellen. Bedingte Entwicklung verlangt stärkere Schutzvorkehrungen, während ein Verbot verlangt, dass die Arbeit vor einer festgelegten Grenze eingestellt wird.

Die Debatte betrifft auch gewöhnliche Organisationen, die KI einsetzen. Unternehmen verknüpfen Modelle zunehmend mit Repositories, Finanzunterlagen, Kundendaten und interner Kommunikation. Ihre unmittelbaren Risiken betreffen Berechtigungen, Datenschutz, ungenaue Ergebnisse und unzuverlässige automatisierte Handlungen.

Diese Risiken verdienen unabhängig von ASI-Zeitplänen Kontrollen. Teams sollten dokumentieren, welche Modelle mit sensiblen Informationen arbeiten, auf welche Tools diese Modelle zugreifen können und wer folgenschwere Handlungen überprüft. Eine durchsuchbare KI-Wissensdatenbank kann dabei helfen, Richtlinien, Evaluierungen und Belege zu Vorfällen zu bewahren, wenn sich Anforderungen ändern.

Unternehmenskontrollen können jedoch das zentrale Anliegen der Gesetzgeber nicht lösen. Ein Unternehmen kann seine eigenen Einsätze beschränken, aber kein Frontier-Training andernorts regulieren. Dafür sind staatliche Befugnisse und internationale Koordination erforderlich.

Ein britisches Verbot kann ein globales Wettrennen nicht allein stoppen

Der stärkste Einwand lautet nicht, dass katastrophale Risiken unmöglich seien, sondern dass ein nationales Verbot die Entwicklung verlagern könnte, ohne die globale Gefahr zu verringern.

Der Großteil der Entwicklung von Frontier-Modellen findet außerhalb Großbritanniens statt. Ein britisches Verbot könnte heimische Projekte verhindern und lokale Einsätze beschränken, doch Labore in anderen Rechtsräumen könnten weiterhin leistungsfähigere Systeme trainieren. Britische Nutzer könnten letztlich über ausländische Dienste oder offene Veröffentlichungen Zugang zu diesen Modellen erhalten.

Die Unterstützer kennen diese Einschränkung. Ihr Brief fordert Burnham auf, den Vorschlag während der britischen G20-Präsidentschaft zu einer internationalen Kampagne zu machen. Der vorgesehene Mechanismus ist diplomatische Koordination, nicht nationale Isolation.

Diese Strategie ähnelt Bemühungen zur Rüstungskontrolle, doch KI bringt eigene Verifikationsprobleme mit sich. Nuklearprogramme erfordern spezialisierte Materialien und sichtbare Industrieanlagen. Fortgeschrittene KI benötigt ebenfalls große Rechenzentren und High-End-Chips, Modelle können jedoch kopiert und grenzüberschreitend betrieben werden.

Ein Vertrag müsste gemeinsame Definitionen, Meldepflichten, Inspektionsrechte und Durchsetzung vorsehen. Er müsste zudem festlegen, welche Aktivitäten weiterhin erlaubt bleiben. Medizinische Entdeckungen, defensive Cybersicherheit und wissenschaftliche Modellierung können dieselben grundlegenden Forschungsmethoden nutzen wie bedenklichere Systeme.

Die teilnehmenden Länder stünden vor einem Anreizproblem. Jede Regierung könnte kollektive Zurückhaltung bevorzugen und zugleich fürchten, dass Rivalen heimlich weitermachen. Unternehmen könnten dieselbe Rechnung aufmachen, wenn Wettbewerber leistungsfähigere Produkte versprechen.

Die Vereinigten Staaten und China wären besonders wichtig. Eine Koalition ohne die größten Anbieter von Rechenleistung, Chip-Lieferketten und Frontier-Labore hätte nur begrenzte Reichweite. Exportkontrollen könnten den Zugang zu Hardware verlangsamen, aber gemeinsame Sicherheitsverpflichtungen nicht ersetzen.

Das macht britisches Handeln nicht bedeutungslos. Das Vereinigte Königreich kann technische Standards, Evaluierungspraktiken, Beschaffung und den Zugang zu seinem Markt beeinflussen. Es kann außerdem Unternehmen, die britische Nutzer bedienen, dazu verpflichten, Vorfälle zu melden und mit autorisierten Tests zusammenzuarbeiten.

Großbritannien spielte mit dem AI Safety Summit 2023 im Bletchley Park früh eine einberufende Rolle. Sein AI Security Institute hat seither technische Expertise und internationale Beziehungen aufgebaut. Diese Ressourcen verleihen der Regierung mehr Einfluss, als ihr Anteil am Training von Frontier-Modellen allein vermuten lässt.

Doch das Verbot superintelligenter KI von Andy Burnham würde prüfen, ob diplomatischer Einfluss eine absolute Politik übersteht. Einige Regierungen könnten sich einem eng gefassten Verbot von Systemen anschließen, die klar definierte Kriterien für Kontrollverlust erfüllen. Weniger würden wahrscheinlich ein Verbot akzeptieren, das durch eine weitreichende Überlegenheit gegenüber Menschen definiert ist.

Die Durchsetzung müsste auch offene Modelle berücksichtigen. Sobald Modellgewichte öffentlich verfügbar werden, können Regulierungsbehörden nicht jede Kopie zurückziehen. Ein Verbot, das sich nur auf den Einsatz durch große Unternehmen konzentriert, könnte dezentralen Betrieb unberührt lassen.

Cloud-Anbieter könnten zu Durchsetzungspunkten werden. Behörden könnten Meldungen über sehr große Trainingsläufe verlangen und Rechendienste für verbotene Projekte beschränken. Chip-Tracking und die Lizenzierung von Rechenzentren könnten zusätzliche Transparenz schaffen.

Solche Kontrollen würden Kosten verursachen. Sie könnten die KI-Entwicklung bei etablierten Unternehmen konzentrieren, die Compliance bewältigen können. Kleinere Forscher könnten mit Melde-, Sicherheits- und Genehmigungsanforderungen kämpfen, selbst wenn ihre Arbeit nur begrenzte Risiken birgt.

Ein enges Gesetz kann diese Belastung senken, indem es auf messbare Fähigkeitsschwellen abzielt. Ein weit gefasstes Gesetz kann Umgehung erschweren, riskiert aber, zu viel zu erfassen. Der Fortschritt des Gesetzentwurfs wird davon abhängen, ob seine detaillierten Bestimmungen diese Spannung auflösen können.

Es gibt auch ein geopolitisches Argument gegen ein Anhalten. Einige politische Entscheidungsträger glauben, dass fortgeschrittene KI Verteidigung, Wissenschaft, Produktivität und nachrichtendienstliche Analyse verbessern wird. Sie befürchten, dass einseitige Zurückhaltung strategische Vorteile an Regierungen mit schwächeren Schutzvorkehrungen übertragen würde.

Befürworter eines Verbots erwidern, dass ein Wettrüsten die nationale Unsicherheit erhöht, statt sie zu verringern. Wenn jeder Teilnehmer beschleunigt, weil andere möglicherweise beschleunigen, geraten alle Labore unter Druck, Tests zu verkürzen und Unsicherheit zu tolerieren. Das Ergebnis kann kollektiv gefährlich sein, selbst wenn jeder Akteur rational handelt.

Keine Seite verfügt über entscheidende Belege für ASI-Zeitpläne. Kein verifiziertes öffentliches System übertrifft Menschen derzeit bei praktisch jeder kognitiven Arbeit. Bestehende Modelle halluzinieren weiterhin, scheitern an langen Aufgaben und benötigen umfangreiche menschliche und rechnerische Unterstützung.

Diese Schwächen garantieren keinen schrittweisen Fortschritt. Sie belegen auch nicht, dass rasche Selbstverbesserung unmittelbar bevorsteht. Politik muss zwischen diesen beiden Unsicherheiten agieren.

Deshalb ist die nationale gegenüber der globalen Frage wichtiger als die dramatischste Vorhersage. Ein britisches Verbot kann sofort ein Prinzip zum Ausdruck bringen. Es verringert weltweite Risiken nur, wenn es das Verhalten in den Rechtsräumen verändert, die Frontier-Systeme entwickeln.

Was die Warnungen vor superintelligenter KI nicht beweisen

Schwerwiegende Warnungen rechtfertigen Untersuchungen, belegen jedoch nicht, dass ASI existiert, dass Aussterben wahrscheinlich ist oder dass ein Verbot durchsetzbar wäre.

Die berichtete Wahrscheinlichkeitsschätzung von über 10 Prozent ist bemerkenswert. Sie sollte nicht als Prognose interpretiert werden, die aus wiederholten Beobachtungen abgeleitet wurde. Die Menschheit verfügt über keinen historischen Datensatz superintelligenter Systeme, aus dem sich eine empirische Häufigkeit des Aussterbens berechnen ließe.

Solche Schätzungen fassen typischerweise die Überzeugungen eines Experten über mehrere unsichere Schritte zusammen. Dazu gehören das Erreichen breit übermenschlicher Fähigkeiten, der Verlust verlässlicher Kontrolle, der Zugang zur realen Welt, Widerstand gegen Eingriffe und das Verursachen irreversibler Schäden.

Jeder Schritt erfordert Belege. Ein Modell könnte beim Programmieren deutlich besser werden, ohne strategische Autonomie zu erlangen. Ein autonomes System könnte wirksam planen, während es weiterhin durch Berechtigungen, Infrastruktur oder menschliche Überprüfung eingeschränkt bleibt.

Der gegenteilige Fehler wäre, ein Risiko abzutun, weil ihm eine historische Häufigkeit fehlt. Regierungen bereiten sich routinemäßig auf seltene Ereignisse vor, wenn der mögliche Schaden enorm ist. Die angemessene Reaktion hängt davon ab, ob Verantwortliche glaubwürdige Pfade und nützliche Interventionen identifizieren können.

Die aktuelle Evidenz stützt Bedenken hinsichtlich enger gefasster Gefahren. Fortgeschrittene Modelle können Cyberoperationen unterstützen, Hürden für bestimmtes technisches Wissen senken und über verbundene Tools handeln. Forscher untersuchen außerdem, ob Modelle unter kontrollierten Bedingungen Evaluatoren täuschen oder unbeabsichtigte Ziele verfolgen können.

Labortests zeigen nicht unmittelbar, dass sich ein eingesetztes System der Kontrolle entziehen wird. Sie offenbaren Verhaltensweisen, die unter zunehmend realistischen Bedingungen untersucht werden sollten. Die Berichterstattung sollte diese Unterscheidung bewahren.

Die Debatte birgt zudem das Risiko, gegenwärtige Schäden zu übersehen. Automatisierte Entscheidungen können diskriminieren, private Informationen offenlegen, überzeugende Falschinformationen erzeugen oder menschliche Rechenschaftspflicht beseitigen. Arbeitnehmer und Kreative sehen sich bereits wirtschaftlichen und rechtlichen Streitigkeiten im Zusammenhang mit generativer KI gegenüber.

Eine auf künftiges Aussterben ausgerichtete Politik könnte von diesen Problemen ablenken. Umgekehrt sollten gegenwärtige Schäden kein Grund sein, katastrophale Szenarien mit geringer Wahrscheinlichkeit zu ignorieren. Regierungen benötigen für unterschiedliche Risikokategorien getrennte Instrumente.

Definitionen stellen eine weitere Unsicherheit dar. „Superintelligenz“ klingt präzise, weil der Begriff Leistung über der Menschheit impliziert. In der Praxis variiert menschliche Leistung zwischen Einzelpersonen, Teams, Institutionen und Aufgaben.

Ein System könnte jeden Einzelnen bei ausgewählten Benchmarks übertreffen und dennoch schlechter sein als eine koordinierte Expertenorganisation. Es könnte bessere Pläne erstellen, diese aber nicht zuverlässig umsetzen. Es könnte Menschen technisch übertreffen und dennoch keinen eigenständigen Zugang zu folgenreichen Systemen haben.

Gesetzgeber benötigen daher operative Tests, nicht nur eine philosophische Definition. Diese Tests könnten autonome Forschung, Cyberfähigkeiten, biologische Unterstützung, strategische Planung, Täuschung, Replikation und Widerstand gegen Abschaltung untersuchen.

Auch Tests selbst können manipuliert werden oder veralten. Entwickler können auf bekannte Benchmarks hin trainieren, ohne die allgemeine Zuverlässigkeit zu verbessern. Regulierungsbehörden benötigen vertrauliche Evaluierungen, externe Forscher, Vorfallsdaten und die Befugnis, Schwellenwerte zu aktualisieren.

Die Position der Regierung zu gezielten Interventionen hat hier einen Vorteil. Sie kann Kontrollen an spezifische Evidenz knüpfen, ohne im Voraus eine dauerhafte Kategorie festzulegen. Ihre Schwäche besteht darin, dass schrittweises Handeln raschen Fähigkeitszuwächsen hinterherhinken kann.

Das Verbotslager vertritt das umgekehrte Profil. Es schafft eine klare Vermutung gegen das Überschreiten einer gefährlichen Grenze. Seine Schwäche liegt darin, dieses Prinzip in eine Definition zu überführen, die Gerichte, Labore und Aufsichtsbehörden anwenden können.

Diese Unsicherheiten sollten prägen, wie Leser die Kampagne einordnen. Die Abgeordneten haben eine berechtigte Frage der Governance zugespitzt. Sie haben nicht nachgewiesen, dass innerhalb eines bekannten Zeitrahmens ein Aussterbeereignis bevorsteht.

Ebenso wenig haben sie gezeigt, dass bestehende freiwillige Schutzmaßnahmen wertlos sind. Die Richtlinien von Anthropic umfassen Fähigkeitsschwellen, Risikoberichte, Einsatzkontrollen und Sicherheitsanforderungen. Umstritten ist, ob ein Unternehmen die endgültige Entscheidungsbefugnis über Entwicklungsentscheidungen behalten sollte.

Diese Unterscheidung ist für Unternehmenskäufer wichtig. Ein veröffentlichtes Sicherheitsframework liefert nützliche Informationen, ist aber nicht gleichbedeutend mit einer unabhängigen Zertifizierung. Käufer sollten fragen, welche externe Bewertung stattgefunden hat, welche Vorfälle gemeldet werden müssen und auf welche Zugriffe ein Agent Zugriff erhält.

Sie sollten Modellintelligenz außerdem nicht als einzelnen Wert betrachten. Zuverlässigkeit, Autonomie, Sicherheit und Fachkompetenz entwickeln sich unterschiedlich schnell. Ein System, das bei Benchmarks überzeugt, kann in einem langen Workflow mit Berechtigungen dennoch scheitern.

Skepsis sollte in beide Richtungen gelten. Entwickler sollten nicht suggerieren, dass interne Kontrollen katastrophale Risiken ausschließen. Kampagnenakteure sollten persönliche Wahrscheinlichkeitsschätzungen nicht als Beweis dafür darstellen, dass ASI unmittelbar bevorsteht.

Drei Signale dafür, ob Burnhams Ansatz glaubwürdig ist

Der nächste Test wird zeigen, ob Großbritannien konkurrierende Warnungen in durchsetzbare Politik, messbare Aufsicht und internationale Verpflichtungen umsetzt.

Das erste Signal ist die zweite Lesung des Gesetzentwurfs am 13. November 2026. Die Abgeordneten werden über das Prinzip eines Verbots hinausgehen und eine operative Definition verteidigen müssen. Die Debatte sollte klären, welche Fähigkeiten ein Eingreifen auslösen und welche Stelle diese Entscheidung trifft.

Detaillierte Definitionen würden die Verbotskampagne stärken. Vage Formulierungen, die sich auf allgemeine Überlegenheit konzentrieren, würden sie schwächen. Ohne messbare Schwellenwerte könnte die Durchsetzung uneinheitlich werden oder rechtlich angreifbar sein.

Das zweite Signal ist die von der Regierung angekündigte Arbeit an gezielten Maßnahmen zur nationalen Sicherheit. Minister haben den aktuellen Ansatz des Gesetzentwurfs abgelehnt, die Tür für strengere Kontrollen jedoch nicht geschlossen. Der Inhalt dieser Alternativen wird zeigen, ob die Ablehnung eine andere Sicherheitsstrategie bedeutet oder weiterhin auf freiwillige Zusammenarbeit setzt.

Ein glaubwürdiges Paket würde verpflichtenden Zugang für Bewertungen, Meldungen von Vorfällen, Modellsicherheit und Folgen bei Nichteinhaltung abdecken. Es sollte außerdem erklären, wie das AI Security Institute zeitnahen Zugang zu Frontier-Systemen erhält.

Liefert die Regierung lediglich allgemeine Zusicherungen, können Abgeordnete argumentieren, dass bedingte Entwicklung keine Durchsetzung ermöglicht. Schlägt sie verbindliche Zugangs- und Eingriffsbefugnisse vor, bietet sie eine konkrete Alternative zum Verbot superintelligenter KI von Andy Burnham.

Das dritte Signal ist Burnhams internationale Agenda für die G20-Präsidentschaft 2027. Ein nationales Verbot kann die weltweit führenden Labore allein nicht erreichen. Die Regierung muss entscheiden, ob sie ein Verbot, einen Vertrag zur regulierten Entwicklung oder interoperable Bewertungsstandards anstrebt.

Unterstützung durch mehrere große KI-produzierende Länder würde die Behauptung stärken, dass Großbritannien globale Regeln mitgestalten kann. Eine Koalition, die auf Länder ohne Frontier-Labore beschränkt ist, hätte weniger praktische Wirkung.

Leser sollten auch beobachten, wie Entwickler reagieren, bevor formelle Gesetzgebung in Kraft tritt. Labore können qualifizierten Gutachtern kontrollierten Zugang gewähren, klarere Fähigkeitsschwellen veröffentlichen und schwerwiegende Vorfälle melden. Verweigerung oder Inkonsistenz würde den Druck für verpflichtende Aufsicht erhöhen.

Die aussagekräftigsten Belege werden nicht weitere dramatische Wahrscheinlichkeitsschätzungen sein. Entscheidend wird beobachtbares Verhalten sein. Reichen Unternehmen fortschrittliche Systeme für unabhängige Tests ein? Schaffen Regierungen rechtlich abgesicherten Zugang? Ermitteln Bewertungen Fähigkeiten, die bestehende Schutzmaßnahmen übersteigen?

Organisationen, die KI einsetzen, sollten diese Signale verfolgen, weil Regulierung nachgelagert wirken wird. Neue Anforderungen können Beschaffung, Dokumentation, Sicherheitsprüfungen und den Einsatz von Agenten mit sensiblen Werkzeugen beeinflussen. Richtlinien für Frontier-Labore prägen häufig die Erwartungen im breiteren Markt.

Teams sollten identifizieren, welche Workflows von bestimmten Modellanbietern abhängen. Sie sollten Bewertungsergebnisse, Zugriffsentscheidungen und Regeln für menschliche Freigaben dokumentieren. Außerdem sollten sie für den Fall planen, dass Dienste eingeschränkt werden, wenn Regulierer oder Entwickler ein schwerwiegendes Risiko entdecken.

Die politische Entscheidung lautet nicht einfach Beschleunigung oder Angst. Sie ist eine Wahl zwischen unterschiedlichen Beweislasten. Ein Verbot verlangt von Entwicklern, nachzuweisen, dass das Überschreiten einer Grenze sicher und öffentlich akzeptabel ist. Bedingte Entwicklung verlangt von Regulierern, nachzuweisen, dass ein bestimmtes System gefährlich genug ist, um gestoppt zu werden.

Burnham muss nun erklären, welche Beweislast Großbritannien übernehmen wird. Die Unterstützung des Gesetzentwurfs würde das Land hinter eine internationale Verbotskampagne stellen. Seine Ablehnung ohne verbindliche Alternative würde freiwillige Governance durch Labore im Zentrum der nationalen Politik belassen.

Die nächsten drei Monate sollten diese Entscheidung klarer machen. Verfolgen Sie die Debatte im November, die gezielten Vorschläge der Regierung und die ersten Verpflichtungen rund um die G20-Agenda. Stellen Sie dann eine praktische Frage: Hat Großbritannien durchsetzbaren Einblick in die Frontier-Entwicklung gewonnen, oder hat es lediglich die Sprache rund um das Rennen verändert?