Altman und Amodeis Appell für KI-Sicherheit erreicht die UN, doch Regierungen lehnen weiterhin ein einheitliches Regelwerk ab

Sam Altman und Dario Amodei brachten ihre Kampagne für KI-Sicherheit vor die 15 Mitglieder des Sicherheitsrats, trotz tiefgreifender Meinungsverschiedenheiten darüber, wer fortgeschrittene Modelle regulieren sollte. Die Sitzung am 23. September brachte OpenAI und Anthropic vor das Organ der Vereinten Nationen, das für internationalen Frieden und Sicherheit zuständig ist. Sie machte zugleich das Hindernis für den Appell von Altman und Amodei zur KI-Sicherheit sichtbar: Regierungen sind sich einig, dass Risiken Grenzen überschreiten, lehnen jedoch eine gemeinsame Autorität ab.

Die Führungskräfte baten Diplomaten nicht darum, gewöhnliche Chatbots zu regulieren. Ihr Fokus lag auf Frontier AI, also den leistungsfähigsten universell einsetzbaren Systemen in Entwicklung. Ihre Sorge gilt Modellen, die bei der Entwicklung biologischer Waffen helfen, Cyberangriffe durchführen oder die KI-Forschung schneller vorantreiben können, als Menschen sie wirksam überwachen können.

Diese Unterscheidung erhöht den Druck auf Entwickler, Unternehmen und öffentliche Stellen. Ein globaler Sicherheitsstandard könnte verändern, wie Modelle getestet, veröffentlicht, überwacht und mit sensiblen Systemen verbunden werden. Die Sitzung führte jedoch zu keiner verbindlichen Vereinbarung, und die Vereinigten Staaten widersetzten sich ausdrücklich einer zentralisierten internationalen Kontrolle.

Warnungen von Altman und Amodei zur KI-Sicherheit erreichen den Sicherheitsrat

Die Sitzung veränderte den Schauplatz der KI-Sicherheit, aber noch nicht die Regeln, die sie bestimmen.

Altman, der Chief Executive von OpenAI, nahm an der Sitzung des Sicherheitsrats in New York teil. Amodei, der Chief Executive von Anthropic, sprach per Fernzugriff zum Rat. Auch Hugging Face CEO Clément Delangue und der Informatiker Yoshua Bengio nahmen teil.

Der Auftritt war ungewöhnlich, weil sich der Sicherheitsrat normalerweise auf Kriege, Sanktionen, nukleare Proliferation und Bedrohungen zwischen Staaten konzentriert. Seine Beteiligung rahmte fortgeschrittene KI als mögliches internationales Sicherheitsproblem ein und nicht allein als Frage der Technologiepolitik.

Das UN-Briefing beschrieb die Sorge als Gefahr, die kein Land allein eindämmen könne. Bengio, Co-Vorsitzender des unabhängigen wissenschaftlichen KI-Gremiums der UN, warnte, Systeme außerhalb menschlicher Kontrolle würden nationale Grenzen nicht respektieren.

Amodei nannte zwei zentrale Risikokategorien. Die erste war der gezielte Missbrauch, einschließlich der Möglichkeit, dass ein Bioterrorist ein fortgeschrittenes Modell zur Unterstützung der Entwicklung biologischer Waffen nutzen könnte. Die zweite war der Kontrollverlust, wenn die Fähigkeiten von Modellen schneller voranschreiten, als Entwickler sie verstehen oder begrenzen können.

„Bei schlechtem Management glaube ich sogar, dass KI ein Risiko für die gesamte Menschheit darstellen könnte“, sagte Amodei laut Associated Press vor dem Rat. Altman äußerte eine ähnlich direkte Warnung: „Wir könnten die Kontrolle über die Zukunft an KI verlieren.“

Diese Aussagen sind bedeutsam, weil beide Unternehmen weiterhin immer leistungsfähigere Systeme entwickeln und veröffentlichen. Ihre Führungskräfte beschrieben keine ferne Technologie unbekannter Wettbewerber. Sie sprachen über Risiken, die mit demselben Wettlauf um Frontier-Entwicklung verbunden sind, den ihre Organisationen mit vorantreiben.

Die Unternehmen nannten internationale Standards zudem als praktischen Ausgangspunkt. Gemeinsame Evaluierungen könnten gefährliche Fähigkeiten vor einer Veröffentlichung messen. Einheitliche Meldungen zu Vorfällen könnten Regierungen warnen, wenn sich ein Modell unerwartet verhält oder böswillige Akteure ein System kompromittieren.

Auch die menschliche Aufsicht über automatisierte KI-Forschung stand im Fokus. Automatisierte KI-Forschung bezeichnet Modelle, die Teile der Arbeit zur Entwicklung, zum Training oder zur Verbesserung anderer Modelle übernehmen. Dieser Prozess kann die Entwicklung beschleunigen und zugleich die verfügbare Zeit für menschliche Prüfung verringern.

OpenAI hat erklärt, es erwarte, dass KI-gestützte Forschung zu einem wichtigen Fortschrittstreiber werde. In seinem Koordinierungsplan argumentierte das Unternehmen, eine internationale Organisation solle helfen, führende KI-Initiativen zu koordinieren und katastrophale Risiken zu verringern. Es befürwortete zudem koordinierte Verlangsamungen, wenn Sicherheitsmaßnahmen und gesellschaftliche Schutzvorkehrungen hinter den Fähigkeiten zurückbleiben.

Der Vorschlag legt nicht fest, wer eine Verlangsamung auslösen würde, welche Modelle dafür infrage kämen oder wie Länder die Einhaltung überprüfen sollten. Diese ungelösten Details trennen eine allgemeine Besorgniserklärung von einem durchsetzbaren internationalen System.

Die Sitzung des Sicherheitsrats bedeutete daher institutionelle Anerkennung, keine regulatorische Einigung. KI-Führungskräfte erhielten eine Plattform, die normalerweise Bedrohungen mit geopolitischen Folgen vorbehalten ist. Die Regierungen behielten volle Entscheidungsfreiheit darüber, wie sie auf ihre Warnungen reagieren.

Warum globale Zusammenarbeit für KI-Sicherheit plötzlich dringend ist

Die unmittelbare Sorge besteht darin, dass KI-Entwicklungszyklen inzwischen schneller voranschreiten, als diplomatische Institutionen gemeinsame Schutzmaßnahmen aushandeln und durchsetzen können.

Die Sitzung folgte auf eine Reihe öffentlicher Aufrufe, die Entwicklung an der Grenze des technisch Möglichen zu drosseln. Amodei hatte kürzlich argumentiert, Unternehmen und Regierungen sollten Fähigkeitsgewinne verlangsamen, wenn Sicherheitsmaßnahmen nicht Schritt halten können. Altman und weitere Branchenführer bekundeten Unterstützung für stärkere Koordination.

Drosselung bedeutet nicht zwangsläufig, KI-Forschung zu beenden. Sie bedeutet, die Geschwindigkeit von Fähigkeitsverbesserungen unter klar definierten Risikobedingungen zu begrenzen. Eine glaubwürdige Politik würde messbare Schwellenwerte, externe Bewertungen und Folgen für Entwickler benötigen, die diese ignorieren.

Anthropic erklärt, aktuelle Modelle blieben mit bestehenden Schutzvorkehrungen beherrschbar. Das Unternehmen erwartet jedoch ernstere Risiken, wenn die Systeme leistungsfähiger werden. Sein Ansatz kombiniert Tests vor der Veröffentlichung, externe Bewertungen, fähigkeitsspezifische Kontrollen und eine freiwillige Responsible Scaling Policy.

Diese Richtlinie verknüpft stärkere Schutzmaßnahmen mit Belegen dafür, dass ein Modell gefährliche Fähigkeiten besitzt. Anthropic räumt zudem ein, dass Evaluierungen nicht jeden Fehler vor der Bereitstellung zuverlässig erkennen können. Modelle erkennen mitunter Testbedingungen, wodurch kontrollierte Bewertungen das tatsächliche Verhalten weniger gut abbilden können.

Die Veröffentlichung von Claude Opus 5.5 verdeutlichte diese Spannung. Anthropic beschrieb ausgeweitete Verhaltenstests und Schutzvorkehrungen für Cybersicherheit und Biologie. Zugleich erklärte das Unternehmen in seiner Sicherheitsbewertung, dass die zuverlässige Erkennung jedes Fehlers weiterhin ein ungelöstes Problem sei.

OpenAI steht vor derselben grundlegenden Herausforderung. Leistungsfähigere Systeme können Sicherheitsforscher unterstützen, aber auch Entwicklungszeitpläne verdichten. Ein Modell, das Forschung automatisiert, kann helfen, Alignment-Techniken zu entdecken, während es gleichzeitig den nächsten Trainingszyklus beschleunigt.

Diese Rückkopplungsschleife beunruhigt politische Entscheidungsträger, weil gewöhnliche Produktregulierung von relativ stabiler Technologie ausgeht. Gesetzgeber können eine Produktkategorie untersuchen, Standards definieren und die Einhaltung prüfen. Automatisierte Forschung kann die zugrunde liegende Fähigkeit verändern, bevor dieser Prozess abgeschlossen ist.

Das Risiko reicht zudem über ein Labor hinaus. Unternehmen verbinden KI-Agenten zunehmend mit Code-Repositories, internen Dokumenten, Browsern und operativer Software. Ein Modellfehler wird folgenreicher, wenn das System Handlungen ausführen kann, statt lediglich Text zu erzeugen.

Ein Agent mit Zugriff auf die Infrastruktur einer Organisation könnte Code verändern, sensible Datensätze abrufen oder Transaktionen auslösen. Diese Systeme benötigen Berechtigungskontrollen, Prüfprotokolle und verlässliche Eskalation an Menschen. Teams müssen außerdem eine präzise KI-Wissensbasis pflegen, um Entscheidungen und unterstützende Belege zu überprüfen.

Die internationale Dimension zeigt sich, wenn ein Modell Nutzer in vielen Rechtsordnungen bedient. Eine schwerwiegende Schwachstelle, die in einem Land entdeckt wird, kann Kunden andernorts betreffen. Ein gestohlenes Modell kann zudem verändert und außerhalb der Schutzvorkehrungen seines ursprünglichen Entwicklers erneut eingesetzt werden.

Biologischer Missbrauch stellt ein noch schwierigeres Koordinierungsproblem dar. Zugangsbeschränkungen in einem Markt haben nur begrenzten Wert, wenn ein vergleichbares System anderswo uneingeschränkt bleibt. Wirksame Kontrollen erfordern Einigkeit über Evaluierungen, vertrauenswürdige Nutzer und Meldepflichten.

Die Cybersicherheit erzeugt einen ähnlichen Dual-Use-Konflikt. Fortgeschrittene Systeme können Verteidigern helfen, Software-Schwachstellen zu finden und schneller zu beheben. Dieselbe Fähigkeit kann Angreifern helfen, Ziele zu identifizieren, Exploits zu erzeugen oder Angriffskampagnen zu automatisieren.

Länder stehen daher unter Druck aus zwei Richtungen. Zu langsames Handeln kann gefährliche Fähigkeiten unkontrolliert lassen. Alleingänge können heimische Unternehmen benachteiligen oder die Entwicklung in Rechtsräume mit schwächeren Kontrollen verlagern.

Dieser Druck erklärt, warum Altman und Amodei Zusammenarbeit statt isolierter nationaler Verbote betonten. Ihr Argument lautet, dass Risiken an der technologischen Grenze geteilt werden, selbst wenn Regierungen wirtschaftlich und militärisch konkurrieren.

Der Vorschlag wird deutlich schwieriger, wenn Zusammenarbeit die Offenlegung sensibler Informationen verlangt. Regierungen werden sich dagegen wehren, Erkenntnisse über Cyberoperationen, biologische Abwehrmaßnahmen oder Militärsysteme zu teilen. Unternehmen werden sich dagegen wehren, Modelldetails offenzulegen, die proprietäre Techniken preisgeben.

Ein funktionsfähiges System muss Sicherheit koordinieren, ohne das Wissen zu verbreiten, das für den Bau gefährlicherer Modelle erforderlich ist. Für dieses Gleichgewicht gibt es kein etabliertes Modell, und die Sitzung des Sicherheitsrats lieferte keines.

Der eigentliche Konflikt lautet globale Standards gegen nationale Kontrolle

Der zentrale Konflikt besteht nicht darin, ob fortgeschrittene KI Risiken birgt, sondern darin, ob Regierungen ausreichend Kontrolle abgeben werden, um diese Risiken gemeinsam zu bewältigen.

Die Vereinigten Staaten lehnten während der Sitzung eine zentralisierte globale Governance-Struktur ab. Der wissenschaftliche Berater des Weißen Hauses, Michael Kratsios, erklärte, Sorgen über Kontrolle seien kein Grund, die Entwicklung zu pausieren oder eine neue internationale Behörde zu schaffen.

Diese Position unterstützt nationale Verantwortung und technische Zusammenarbeit, ohne die letztliche Entscheidungsgewalt bei den UN anzusiedeln. Sie spiegelt auch den strategischen Wert wider, den Washington der amerikanischen Führungsrolle bei KI beimisst.

China hat eine größere Rolle der Vereinten Nationen befürwortet und davor gewarnt, fortgeschrittene Fähigkeiten in wenigen Ländern oder Unternehmen zu konzentrieren. Unterstützung für eine UN-Beteiligung garantiert jedoch keine Einigung über Inspektionen, Modellzugang oder Durchsetzung.

Der Streit führt zu einer schwierigen Asymmetrie. Regierungen können weitreichende Grundsätze wie menschliche Kontrolle, Transparenz und Meldung von Vorfällen unterstützen. Vorsichtiger werden sie, wenn diese Grundsätze externe Inspektoren oder Beschränkungen für nationale Labore erfordern.

Ein gemeinsames technisches Vokabular bietet eine mögliche Brücke. Länder könnten Hochrisikofähigkeiten definieren, ohne sich auf eine einzige Regulierungsbehörde zu einigen. Sie könnten auch kompatible Testmethoden etablieren und die Durchsetzung zugleich in nationalen Systemen belassen.

Frontier-Evaluierungen würden prüfen, ob Modelle fortgeschrittene Cyberoperationen, biologische Forschung, autonome Replikation oder KI-Entwicklung unterstützen können. Entwickler könnten die Ergebnisse in standardisierten Formaten an benannte nationale Behörden melden.

Die Meldung von Vorfällen bietet eine weitere begrenzte Form der Zusammenarbeit. Berichten zufolge haben die Vereinigten Staaten und China einen Mechanismus für KI-Ereignisse erörtert, die die nationale Sicherheit betreffen. Ein solcher Kanal könnte bestehenden Krisenkommunikationen ähneln, ohne ein globales Lizenzierungsorgan zu schaffen.

Diese Maßnahmen würden weiterhin wichtige Fragen offenlassen. Regierungen müssten definieren, welche Vorfälle meldepflichtig sind und wie schnell Unternehmen berichten müssen. Sie bräuchten außerdem Schutzvorkehrungen gegen Falschmeldungen, strategische Verschleierung und politisch motivierte Anschuldigungen.

Verifizierung ist die schwierigste Frage. Ein Land kann versprechen, dass seine Entwickler Sicherheitsgrenzwerte einhalten, doch Wettbewerber benötigen Belege. Vollständiger Zugang zu Trainingssystemen würde Geschäftsgeheimnisse und Informationen zur nationalen Sicherheit offenlegen.

Unabhängige Prüfer können diese Spannung verringern, wenn alle Seiten ihnen vertrauen. Unabhängige Testorganisationen könnten spezifische Fähigkeiten unter sicheren Bedingungen untersuchen. Sie könnten Risikobefunde veröffentlichen, ohne Modellgewichte oder gefährliche technische Details preiszugeben.

Doch auch das Vertrauen in Prüfer ist politisch. Ein von den Vereinigten Staaten akzeptiertes Labor wird möglicherweise nicht von China oder Russland anerkannt. Eine an die UN angebundene Prüfstelle könnte auf Widerstand von Regierungen stoßen, die zentrale Aufsicht ablehnen.

Auch der Sicherheitsrat hat strukturelle Grenzen. Seine fünf ständigen Mitglieder besitzen ein Vetorecht und konkurrieren unmittelbar um militärischen und technologischen Einfluss. Ein verbindliches KI-Regime würde Zusammenarbeit zwischen Staaten erfordern, die bereits über bewaffnete Konflikte, Sanktionen und Cyberoperationen uneins sind.

Das macht Diplomatie nicht sinnlos. Die Verringerung nuklearer Risiken entstand durch schrittweise Vereinbarungen, Inspektionssysteme und Kommunikationskanäle. KI-Governance kann einem ähnlichen Weg folgen, ohne die nukleare Rüstungskontrolle exakt zu kopieren.

KI unterscheidet sich, weil die zugrunde liegende Technologie weitgehend kommerziell und softwarebasiert ist. Modelle können kopiert, verändert oder über Cloud-Dienste abgerufen werden. Trainingsinfrastruktur ist in großem Maßstab sichtbar, doch eingesetzte Software kann sich schneller verbreiten als Nuklearmaterial.

Open-Weight-Modelle schaffen einen weiteren Konflikt. Ihre Parameter können heruntergeladen und verändert werden, was Forschung und breiteren Zugang unterstützt. Dieselbe Offenheit erschwert nach der Veröffentlichung einen zentralisierten Rückzug oder eine kontinuierliche Überwachung.

Delangues Teilnahme stellte dieses Thema neben die Sicherheitsagenda geschlossener Modelle. Hugging Face repräsentiert ein Ökosystem, das Zugang, Forschung und dezentrale Entwicklung schätzt. Seine Präsenz stellte die Annahme infrage, dass die Konzentration der Kontrolle in einigen wenigen großen Laboren automatisch zum sichersten Ergebnis führt.

Die daraus entstehende politische Entscheidung lautet nicht einfach offene gegen geschlossene KI. Regierungen müssen das Missbrauchsrisiko weithin verfügbarer Modelle gegen das Konzentrationsrisiko abwägen, das durch wenige private Gatekeeper entsteht.

Deshalb setzt der KI-Sicherheitsvorschlag von Altman und Amodei sowohl Regierungen als auch Entwickler unter Druck. Staaten müssen entscheiden, wie viel Souveränität sie für Koordination eintauschen wollen. Unternehmen müssen Aufsicht akzeptieren, die Produkte, Zeitpläne und Wettbewerbsstrategie einschränken kann.

Die Unternehmen, die Regeln fordern, kontrollieren weiterhin das Rennen

Forderungen nach öffentlicher Aufsicht sind nur glaubwürdig, wenn OpenAI und Anthropic Beschränkungen akzeptieren, die auch dann gelten, wenn sie kommerziell unbequem werden.

Beide Unternehmen haben massiv in die Entwicklung leistungsfähigerer Modelle investiert. Sie konkurrieren um Unternehmenskunden, Entwickler, Forschende, Rechenkapazität und strategische Beziehungen zu Regierungen. Eine freiwillige Verlangsamung kann scheitern, wenn eine der Organisationen glaubt, dass ein Rivale weitermachen wird.

Dieses Anreizproblem geht über OpenAI und Anthropic hinaus. Google DeepMind, Meta, xAI, chinesische Labore und neue Entwickler arbeiten unter unterschiedlichen Strukturen. Einige veröffentlichen Modellgewichte, während andere den Zugang über gehostete Produkte begrenzen.

Eine Sicherheitsvereinbarung, die nur zwei Unternehmen umfasst, hätte daher begrenzte Reichweite. Sie könnte deren Praktiken verbessern und gleichzeitig den Vorteil auf Firmen außerhalb der Vereinbarung verlagern. Ein glaubwürdiger Rahmen benötigt fähigkeitsbasierte Regeln, die unabhängig von der Unternehmensidentität gelten.

Das Kartellrecht bringt eine weitere Komplikation mit sich. Direkte Koordination unter führenden Wettbewerbern kann Bedenken hinsichtlich Absprachen wecken. Staatliche Aufsicht oder eine formelle rechtliche Ausnahme könnte erforderlich sein, damit Unternehmen über Entwicklungsgrenzen und Veröffentlichungszeitpläne sprechen können.

Selbst dann kann Sicherheitskoordination etablierte Unternehmen vor Wettbewerb schützen. Große Labore können die Kosten für Evaluierung, Sicherheit und Berichterstattung leichter tragen als kleinere Entwickler. Von etablierten Akteuren geschriebene Regeln können zu Barrieren werden, die ihre Marktposition erhalten.

Kritiker stellen daher infrage, ob Frontier-Unternehmen bei der Gestaltung ihrer eigenen Aufsicht helfen sollten. Ihre technische Expertise ist notwendig, doch ihre finanziellen Interessen sind unvermeidlich. Regierungen benötigen unabhängige Wissenschaftler, zivilgesellschaftliche Gruppen, Sicherheitsspezialisten und kleinere Entwickler im Prozess.

Auch die eigenen Sicherheitsbehauptungen der Unternehmen erfordern eine sorgfältige Einordnung. Anthropic erklärt, seine Tests erfassten viele ernste Risiken, räumt jedoch ein, dass das Bild unvollständig sei. OpenAI unterstützt breiten Zugang und verteilte Vorteile, während es eine der weltweit einflussreichsten Modellplattformen betreibt.

Externe Evaluierung kann konkrete Behauptungen prüfen, doch kein Benchmark kann beweisen, dass ein System in jeder Umgebung sicher bleibt. Reale Einsätze umfassen unerwartete Prompts, Tool-Zugriff, Nutzerverhalten und Interaktionen mit anderer Software.

Die Schwierigkeit wächst bei langlaufenden Agenten. Eine kurze Laborevaluierung zeigt möglicherweise nicht, wie sich ein Modell während einer mehrtägigen Aufgabe verhält. Kleine Fehler können sich aufsummieren, wenn ein Agent Code schreibt, externe Dienste aufruft und Arbeit delegiert.

Organisationen sollten Modellevaluierungen daher als eine Kontrolleebene behandeln, nicht als Sicherheitszertifikat. Berechtigungsgrenzen, menschliche Prüfung, Überwachung und Abschaltverfahren bleiben unverzichtbar. Teams benötigen zudem Aufzeichnungen darüber, was ein Agent versucht hat und auf welche Daten er zugegriffen hat.

Der Streit über militärische Nutzung fügt einen weiteren Test hinzu. Regierungen wollen fortschrittliche Modelle für Geheimdienstanalyse, Cyberoperationen, Planung und autonome Systeme einsetzen. Unternehmen können Beschränkungen auferlegen, die Verteidigungsvertreter als unvereinbar mit operativen Anforderungen betrachten.

Anthropic hat sich öffentlich gegen die Nutzung seiner Modelle für umfassende inländische Überwachung und vollständig autonome Waffen ohne angemessene Schutzvorkehrungen ausgesprochen. Das Unternehmen erklärt, dass aktuelle Frontier-Systeme nicht zuverlässig genug seien, um Ziele ohne wirksame menschliche Kontrolle auszuwählen und anzugreifen.

Diese Haltung zeigt, wie Sicherheitsprinzipien mit staatlicher Beschaffung kollidieren können. Eine nationale Sicherheitsbehörde kann umfassende rechtmäßige Nutzung verlangen, während ein Entwickler darauf besteht, dass manche Anwendungen inakzeptabel bleiben.

Internationale Standards würden diese Meinungsverschiedenheiten vervielfachen. Länder teilen keine einheitliche Definition rechtmäßiger Überwachung, legitimer militärischer Maßnahmen oder ausreichender menschlicher Aufsicht. Eine Regel, die in einer Rechtsordnung bürgerliche Freiheiten schützt, kann andernorts als ausländische Einmischung zurückgewiesen werden.

Die Unternehmen müssen zudem erklären, was eine Verlangsamung operativ bedeutet. Würden sie einen Trainingslauf verzögern, einen Einsatz verschieben, Tools beschränken oder den Zugang zu einem fertiggestellten Modell begrenzen? Jede Entscheidung beeinflusst das Risiko auf andere Weise.

Die Verlangsamung einer öffentlichen Veröffentlichung verlangsamt nicht zwingend die interne Entwicklung. Die Beschränkung eines gehosteten Produkts verhindert weder Diebstahl noch unabhängige Replikation. Das Pausieren einer Fähigkeit kann Forschung auf einen anderen Weg mit ähnlichen Folgen umlenken.

Eine sinnvolle Verpflichtung benötigt einen Auslöser, eine messbare Reaktion und unabhängige Verifizierung. Sie benötigt zudem eine Ausstiegsbedingung, die erklärt, wann die Entwicklung wieder aufgenommen werden kann. Ohne diese Elemente bleibt Taktung ein Prinzip statt eines durchsetzbaren Sicherheitsmechanismus.

Die Skepsis ist daher gerechtfertigt, entkräftet die Warnung aber nicht. Ein Unternehmen kann finanzielle Anreize haben und dennoch ein echtes technisches Risiko identifizieren. Die politische Herausforderung besteht darin, Insiderwissen in Regeln zu überführen, die Insider nicht allein kontrollieren können.

Was KI-Sicherheitskooperation braucht, um zu funktionieren

Eine praktikable Vereinbarung sollte mit engen technischen Verpflichtungen beginnen, die Regierungen überprüfen können, ohne eine universelle KI-Regulierungsbehörde zu schaffen.

Die erste Verpflichtung sollte eine standardisierte Bewertung von Fähigkeiten sein. Länder benötigen keine identischen politischen Systeme, um zu prüfen, ob ein Modell hochentwickelte Cyberangriffe, biologischen Missbrauch oder automatisierte KI-Forschung unterstützt.

Tests sollten gemeinsame Definitionen und sichere Verfahren verwenden. Ergebnisse sollten Risikostufen benennen, ohne Anleitungen zu veröffentlichen, die Missbrauch ermöglichen. Unabhängige Prüfer sollten ausreichend Zugang erhalten, um Behauptungen von Entwicklern hinterfragen zu können.

Die zweite Verpflichtung sollte eine verpflichtende Meldung von Vorfällen sein. Entwickler sollten schweren Modelldiebstahl, unbefugte Replikation, Eindämmungsfehler und gefährliches Verhalten innerhalb eines festgelegten Zeitraums offenlegen.

Meldepflichten müssen gewöhnliche Produktfehler von Ereignissen mit internationalen Sicherheitsfolgen unterscheiden. Eine falsche Antwort eines Consumer-Chatbots ist nicht mit einem System gleichzusetzen, das Infrastruktur autonom ausnutzt.

Eine gemeinsame Vorfallstaxonomie würde Regulierern helfen, Ereignisse über Unternehmen und Länder hinweg zu vergleichen. Sie könnte Schweregrad, betroffene Fähigkeiten, Modellzugang, menschliches Eingreifen und das Potenzial für grenzüberschreitende Schäden beschreiben.

Die dritte Verpflichtung sollte automatisierte KI-Forschung abdecken. Entwickler sollten dokumentieren, wenn Modelle zu Modelldesign, der Erstellung von Evaluierungen, Trainingscode oder Forschungsplanung beitragen. Für Maßnahmen, die Frontier-Fähigkeiten wesentlich beschleunigen, sollte menschliche Genehmigung verpflichtend bleiben.

Diese Anforderung adressiert die Rückkopplungsschleife, die Altman und Amodei beunruhigt. Sie würde KI-gestützte Forschung nicht verbieten. Sie würde Beschleunigung sichtbar machen, bevor Unternehmen von Prozessen abhängig werden, die Menschen nicht angemessen prüfen können.

Die vierte Verpflichtung sollte die Modellinfrastruktur schützen. Eine Sicherheitspolitik hat wenig Wert, wenn Angreifer Gewichte stehlen, Einsatzsysteme kompromittieren oder Fähigkeiten durch großangelegte Abfragen extrahieren können.

Sicherheitsanforderungen könnten Mitarbeiterzugang, Verwaltung von Zugangsdaten, Rechenumgebungen, externe Tests und Reaktionsplanung abdecken. Die strengsten Kontrollen sollten für Modelle gelten, die definierte Fähigkeitsschwellen überschreiten.

Die fünfte Verpflichtung sollte vertrauenswürdige Kommunikationskanäle zwischen Großmächten schaffen. Regierungen benötigen eine Möglichkeit, einander über schwere KI-Vorfälle zu informieren, ohne sensible operative Details öffentlich offenzulegen.

Solche Kanäle würden politische Streitigkeiten nicht lösen. Sie könnten verhindern, dass ein KI-gestütztes Cyberereignis oder Modellversagen als vorsätzliche staatliche Aggression missverstanden wird.

Eine begrenzte Vereinbarung, die auf diesen Verpflichtungen aufbaut, würde sich von der von Washington abgelehnten globalen Behörde unterscheiden. Nationale Regulierungsbehörden könnten die inländische Einhaltung durchsetzen und zugleich gemeinsame technische Standards nutzen.

Dieses föderierte Modell ist weiterhin mit Umgehung konfrontiert. Entwickler könnten in Rechtsordnungen mit schwächeren Regeln trainieren oder Arbeit auf verbundene Unternehmen verteilen. Cloud-Anbieter könnten helfen, indem sie für große Trainingskunden Sicherheits- und Meldeanforderungen anwenden.

Compute-Governance bietet Einflussmöglichkeiten, weil Frontier-Training erhebliche Infrastruktur erfordert. Allerdings können Compute-Schwellen veralten, wenn sich Algorithmen verbessern. Regeln müssen Fähigkeiten berücksichtigen und dürfen sich nicht nur auf die Hardware-Nutzung stützen.

Offene Modelle erfordern eine gesonderte Behandlung. Jede offene Entwicklung zu beschränken, würde legitime Forschung unterdrücken und Macht konzentrieren. Veröffentlichungen mit hohen Fähigkeiten zu ignorieren, würde es unmöglich machen, Schutzvorkehrungen nach der Verbreitung zu aktualisieren.

Ein abgestufter Ansatz könnte breit nützliche Modelle von Systemen mit nachgewiesenen gefährlichen Fähigkeiten unterscheiden. Die Anforderungen sollten mit den Belegen für Risiken steigen, nicht mit der Größe eines Entwicklers oder seinem Geschäftsmodell.

Dieses Prinzip schützt auch kleinere Unternehmen. Compliance-Anforderungen sollten sich auf Maßnahmen konzentrieren, die ernste externe Risiken schaffen. Routinemäßige Softwareprodukte sollten nicht dieselben Verpflichtungen wie Frontier-Labore übernehmen.

Auch globale Repräsentation ist wichtig. Viele Länder nutzen KI-Dienste, ohne führende Modelle oder große Recheninfrastruktur zu kontrollieren. Sie sind dennoch mit Arbeitsmarktverwerfungen, Informationsmanipulation, Cyberrisiken und Abhängigkeit von ausländischen Anbietern konfrontiert.

Diese Länder benötigen Beteiligung an Standarddiskussionen, auch wenn sie keine Frontier-Labore betreiben. Andernfalls wird KI-Governance zu einer Vereinbarung zwischen einigen Unternehmen und mächtigen Staaten, deren Systeme alle anderen betreffen.

Die Vereinten Nationen können dieses Forum bieten, ohne zum alleinigen Regulierer zu werden. Ihre wissenschaftlichen Gremien können Belege zusammenführen, und ihre diplomatischen Organe können Kommunikationsnormen festlegen. Nationale Institutionen können ihre Durchsetzungsbefugnisse behalten.

Diese Regelung ist weniger spektakulär als eine globale Lizenzierungsbehörde. Kurzfristig ist sie jedoch auch plausibler. Die Sitzung des Sicherheitsrats zeigte, dass Regierungen über gemeinsame Risiken sprechen werden, bevor sie gemeinsame Kontrolle akzeptieren.

Drei Signale werden zeigen, ob der UN-Appell Bedeutung hat

Der nächste Test besteht darin, ob aus den Reden überprüfbare Verpflichtungen hervorgehen – statt eines weiteren Zyklus aus Warnungen und anschließend schnelleren Modellveröffentlichungen.

Das erste Signal ist eine schriftliche Vereinbarung zwischen führenden KI-Laboren. Sie sollte eine Fähigkeitsschwelle, unabhängige Bewertungen und die erforderliche Reaktion festlegen, wenn ein Modell diese Schwelle überschreitet.

Eine Erklärung zur Unterstützung verantwortungsvoller KI würde wenig bewirken. Ein nützliches Abkommen würde präzisieren, ob Unternehmen das Training verzögern, die Bereitstellung einschränken oder externe Tests ausweiten. Außerdem müsste es benennen, wer die Einhaltung überprüft.

Wenn OpenAI, Anthropic, Google DeepMind, xAI, Meta und große chinesische Entwickler kompatible Verpflichtungen übernehmen, gewinnt der Appell des Sicherheitsrats an Glaubwürdigkeit. Eine Vereinbarung, die sich auf freiwillige Formulierungen beschränkt, würde das Argument schwächen, dass die Branche sich selbst koordinieren kann.

Das zweite Signal ist staatliches Handeln bei der Meldung von Vorfällen und bei Evaluierungsstandards. Die Vereinigten Staaten müssen keiner globalen Regulierungsbehörde zustimmen, um inländische Labore zur Meldung von Vorfällen mit hoher Schwere zu verpflichten.

China, die Europäische Union, das Vereinigte Königreich und andere KI-Zentren können kompatible Anforderungen einführen. Eine Abstimmung ihrer Systeme würde einen praktikablen internationalen Standard schaffen, ohne eine zentrale Autorität einzurichten.

Unvereinbare nationale Regeln würden das Gegenteil bewirken. Entwickler könnten Arbeiten in weniger restriktive Rechtsräume verlagern, während Regierungen unterschiedliche Informationen über vergleichbare Risiken erhielten.

Das dritte Signal ist ein formeller Sicherheitskanal zwischen den USA und China. Die beiden führenden KI-Mächte der Welt konkurrieren bei Chips, Talenten, Modellen und militärischen Anwendungen. Ihre Beteiligung ist für jedes System erforderlich, das grenzüberschreitende Risiken an der KI-Spitze adressieren soll.

Ein Benachrichtigungsmechanismus für schwere KI-Vorfälle wäre ein bescheidener, aber bedeutungsvoller Anfang. Er würde zeigen, dass strategische Wettbewerber bestimmte gemeinsame Gefahren vom umfassenderen Technologiewettbewerb trennen können.

Das Ausbleiben eines solchen Kanals würde die Grenzen der KI-Sicherheitskampagne von Altman und Amodei offenlegen. Unternehmen könnten ihre internen Schutzvorkehrungen verbessern, doch das geopolitische Koordinationsproblem könnten sie nicht allein lösen.

Leser sollten auch darauf achten, wie sich die Unternehmen nach ihren Warnungen verhalten. Eine rasche Folge neuer Fähigkeitseinführungen ohne klarere Schwellenwerte würde die Skepsis verstärken. Mehr externe Bewertungen und transparente Meldungen von Vorfällen würden ihre Argumentation stützen.

Unternehmen müssen nicht auf einen Vertrag warten. Sie können Berechtigungen von Agenten erfassen, Entscheidungsprotokolle aufbewahren, menschliche Überprüfung für folgenreiche Maßnahmen verlangen und die Wiederherstellung nach Fehlern testen. Diese Schritte verringern die Gefährdung, selbst wenn die globale Politik ungeklärt bleibt.

Entwickler sollten Evaluierungsstandards und Vorschläge zur Berichterstattung verfolgen, weil sie die Produktgestaltung verändern können. Anforderungen für führende KI-Labore beeinflussen häufig Cloud-Plattformen, die Beschaffung in Unternehmen, Versicherungen und Kundenaudits.

Wissensarbeiter sollten sich dafür interessieren, weil Sicherheitsregeln bestimmen, auf welche Daten KI-Systeme zugreifen und was sie tun können. Strenge Kontrollen können bestimmte Aufgaben begrenzen, aber sie können Agenten auch sicherer für die Anbindung an sensible Informationen am Arbeitsplatz machen.

Der Auftritt bei den Vereinten Nationen verschaffte der KI-Sicherheit ein höheres politisches Profil. Er klärte jedoch nicht, wer die Regeln schreibt, wer die Modelle prüft oder wer eine Verlangsamung anordnen kann.

Diese ungeklärte Autorität ist die zentrale Spannung der Geschichte. Altman und Amodei forderten Regierungen auf, zusammenzuarbeiten, bevor fortschrittliche Systeme die bestehenden Kontrollen überholen. Die Regierungen antworteten, indem sie die Gefahr anerkannten und zugleich ihre eigene Macht verteidigten.

Die kommenden ein bis drei Monate sollten zeigen, ob sich diese Lücke schließt. Achten Sie auf einen Pakt zwischen Laboren, kompatible nationale Meldevorschriften und einen Vorfallkanal zwischen den USA und China. Falls nichts davon entsteht, bleiben die Reden Warnungen vor einer Institution, der die Einigung zum Handeln fehlte.