China AI Safety Governance Framework 3.0 richtet den Fokus auf Agenten und Kontrolle
China veröffentlichte am 14. September die China AI Safety Governance Framework 3.0 und legte damit innerhalb von drei Jahren die dritte Überarbeitung vor. Das Dokument behält Chinas risikobasiertes Modell bei, verlagert die Aufmerksamkeit jedoch auf KI-Agenten, Systeme mit Bezug zur physischen Welt und die Gefahr eines Verlusts menschlicher Kontrolle. Das ist bedeutsam, weil KI sich vom Generieren von Antworten hin zum Ausführen von Handlungen entwickelt.
Der Nationale Technische Ausschuss 260 für Cybersicherheit, bekannt als TC260, veröffentlichte das Framework zur Eröffnung der chinesischen Nationalen Cybersicherheitswoche 2026 in Jinan. Die Cyberspace Administration of China (CAC) begleitete seine Entwicklung.
Die Veröffentlichung ist kein neues Gesetz und verhängt nicht automatisch neue Sanktionen gegen KI-Unternehmen. Ihre Bedeutung liegt woanders. TC260-Frameworks können technische Standards, Testverfahren, Branchenleitlinien und die Erwartungen prägen, die Aufsichtsbehörden an Entwickler und Dienstanbieter stellen.
Version 3.0 erscheint zudem ein Jahr nachdem das Framework umfassendere gesellschaftliche und ethische Risiken aufgenommen hatte. China überträgt nun dasselbe Governance-Modell auf Systeme, die Werkzeuge nutzen, auf Dateien zugreifen, mit anderen Diensten kommunizieren und mit weniger direkter Aufsicht handeln können.
Daraus ergibt sich die zentrale Spannung. China will den KI-Einsatz in Unternehmen und öffentlichen Diensten ausweiten und besteht zugleich darauf, dass zunehmend autonome Systeme vorhersehbar, nachvollziehbar und menschlichen Eingriffen unterworfen bleiben.
Was die China AI Safety Governance Framework 3.0 verändert
Das Framework behandelt autonomes Handeln – nicht bessere Konversation – als das prägende Sicherheitsproblem des nächsten KI-Einführungszyklus.
Laut der offiziellen Veröffentlichung des Frameworks behielt TC260 drei Elemente früherer Ausgaben bei: Risikoklassifizierung, technische Gegenmaßnahmen und umfassende Governance. Die Risiken innerhalb dieser Struktur wurden aktualisiert und die empfohlenen Reaktionen angepasst.
Diese Kontinuität ist wichtig. Version 3.0 verwirft Chinas bisherigen Ansatz nicht. Sie versucht, denselben Ansatz auf Systeme mit umfassenderem Zugriff, längeren Betriebszeiten und größerem Einfluss außerhalb eines Chatfensters anzuwenden.
Das Dokument beschreibt, wie sich KI-Anwendungen von spezialisierten Umgebungen in die breite Nutzung ausweiten. Als Beispiele nennt es Arbeitsassistenten, persönliche Assistenten und agentenfähige Smartphones. Zudem unterscheidet es zwischen Systemen, die Fragen beantworten, und solchen, die Aufgaben ausführen.
Ein KI-Agent ist ein System, das Informationen wahrnehmen, Kontext speichern, Entscheidungen treffen, Werkzeuge aufrufen und Schritte zur Erreichung eines Ziels ausführen kann. Diese Fähigkeiten können Routinearbeit verringern, schaffen aber auch längere mögliche Fehlerketten.
Ein Chatbot kann eine falsche Antwort liefern. Ein Agent kann diese Antwort übernehmen, einen Dienst öffnen, einen Eintrag ändern, Informationen versenden oder einen weiteren Prozess auslösen, bevor jemand den Fehler bemerkt.
Version 3.0 behandelt Agentenrisiken daher ausdrücklich ausführlicher. Ihr Anhang zum Risikomanagement von KI-Agenten deckt den gesamten Systemlebenszyklus ab – von Entwicklung und Einsatz über den Betrieb bis zur Außerbetriebnahme.
Das Framework fordert Organisationen auf zu prüfen, was ein Agent liest, welchen Anweisungen er vertraut, welche Werkzeuge er aufrufen kann und ob seine Handlungen innerhalb der Anfrage des Nutzers bleiben. Diese Fragen betreffen den Prozess hinter einem Ergebnis, nicht nur das Ergebnis selbst.
Diese Unterscheidung verändert die Sicherheitsbewertung. Ein Abschlussbericht kann korrekt wirken, obwohl der Agent bei seiner Erstellung vertrauliche Daten offengelegt hat. Eine abgeschlossene Transaktion kann gültig erscheinen, obwohl böswillige Anweisungen einen Schritt des Workflows umgeleitet haben.
Prompt Injection veranschaulicht das Problem. Bei einem Prompt-Injection-Angriff werden versteckte oder täuschende Anweisungen in Inhalte eingebettet, die ein KI-System verarbeitet. Ein Agent, der eine Webseite durchsucht, könnte diese Anweisungen als Befehle interpretieren, obwohl der Nutzer sie nie genehmigt hat.
Das Framework erörtert zudem Risiken durch kompromittierte Plug-ins, manipulierte Werkzeugantworten, übermäßige Berechtigungen und unzuverlässigen Speicher. Jede Schwachstelle wird gravierender, wenn das System ohne Bestätigung handeln kann.
Auch verkörperte Intelligenz erhält mehr Aufmerksamkeit. Der Begriff umfasst KI, die mit Maschinen verbunden ist, welche die physische Welt wahrnehmen oder beeinflussen, darunter Roboter, Fahrzeuge und Industrieanlagen.
Sobald Software ein physisches Gerät steuern kann, kann ein Cybersicherheitsversagen zu einem Sicherheitsvorfall werden. Eine manipulierte Anweisung könnte Bewegungen, Produktion, Zugangskontrollen oder den Betrieb von Anlagen beeinflussen.
Das Dokument nennt außerdem rekursive Verbesserung und sich selbst beschleunigende Entwicklung als Themen, die besondere Wachsamkeit erfordern. Es behauptet nicht, dass aktuelle Systeme der menschlichen Kontrolle entkommen seien. Stattdessen argumentiert es, dass eine schnellere autonome Optimierung kontinuierliche Tests und Aufsicht verdient.
Das Ergebnis ist ein KI-Sicherheitsframework, das durch eine neue operative Realität erklärt wird. Das Verhalten von Modellen bleibt wichtig, doch Berechtigungen, Werkzeuge, Verbindungen, Speicher und physischer Zugriff gehören nun ebenfalls innerhalb der Sicherheitsgrenze.
Warum China sein KI-Governance-Programm erneut aktualisiert
Drei jährliche Veröffentlichungen zeigen, dass China KI-Governance als dynamischen technischen Prozess betrachtet und nicht als politisches Dokument, das über Jahre unverändert bleiben kann.
TC260 veröffentlichte die erste Ausgabe im September 2024. Diese Version strukturierte Risiken rund um Modelle, Algorithmen, Daten, Systeme, Cybersicherheit, physische Sicherheit, Kognition und Ethik.
Das erste Framework legte Prinzipien fest, die die Reihe bis heute prägen. Es priorisierte Innovation und forderte zugleich inklusive, umsichtige, risikoorientierte und kooperative Governance.
Version 2.0 folgte am 15. September 2025. Sie bewahrte die ursprüngliche Struktur, ergänzte jedoch eine Kategorie für Folgerisiken, also breitere Konsequenzen, die durch den weitverbreiteten KI-Einsatz entstehen.
Zu diesen Risiken gehörten Auswirkungen auf Beschäftigung, soziale Strukturen, Ressourcenbedarf, Bildung, menschliche Beziehungen und die Umwelt. Die zweite Ausgabe ergänzte zudem ein klareres Prinzip vertrauenswürdiger Nutzung und der Verhinderung von Kontrollverlust.
Offizielle Erläuterungen zum zweiten Framework erklärten, es umfasse 14 umfassende Governance-Maßnahmen und vier Sicherheitsleitlinien. Außerdem verankerte es wissenschaftliche und technologische Ethik stärker im KI-Lebenszyklus.
Version 3.0 baut auf diesem Fundament auf, statt ein weiteres Klassifizierungssystem zu schaffen. Ihr Zeitpunkt spiegelt wider, wie stark sich das Ziel der Einführung verändert hat.
Viele generative KI-Produkte funktionierten einst als isolierte Schnittstellen. Nutzer gaben Prompts ein, Modelle lieferten Text zurück, und Menschen entschieden, was als Nächstes geschehen sollte. Diese Trennung verschwindet.
Agenten können heute interne Dokumente durchsuchen, Softwareschnittstellen aufrufen, Code schreiben, Browser bedienen, Nachrichten vorbereiten und mehrstufige Aufgaben koordinieren. Selbst begrenzte Autonomie erhöht die Zahl der Entscheidungen, die ein System zwischen menschlichen Kontrollpunkten trifft.
Chinas politische Arbeit im Jahr 2026 deutete diesen Wandel bereits an. Im Mai veröffentlichten die CAC, die Nationale Entwicklungs- und Reformkommission sowie das Ministerium für Industrie und Informationstechnologie Umsetzungsleitlinien für KI-Agenten.
Die Leitlinien für Agenten definieren Agenten als Systeme, die zu autonomer Wahrnehmung, Speicherung, Entscheidungsfindung, Interaktion und Ausführung fähig sind. Sie benennen außerdem 19 Anwendungsszenarien in Forschung, Industrie, Verbraucherdiensten, öffentlicher Wohlfahrt und gesellschaftlicher Governance.
Dieses Dokument fördert die Einführung und betont zugleich Sicherheit, Kontrollierbarkeit und standardisierte Entwicklung. Framework 3.0 liefert eine umfassendere Ebene des Risikomanagements für dieselbe Richtung.
Deshalb ist das Update mehr als jährliche Politikpflege. China versucht, Sicherheitserwartungen festzulegen, bevor Agenten in sensiblen Sektoren zur alltäglichen Infrastruktur werden.
Das Framework nennt Regierung, Finanzwesen, Bildung, Rundfunk, Gesundheitswesen und Notfallmanagement als Bereiche, die sektorspezifische Leitlinien benötigen. Eine einzige horizontale Regel kann die unterschiedlichen Folgen eines Versagens in diesen Umgebungen nicht erfassen.
Ein unzuverlässiger Einkaufsassistent könnte die Zeit eines Kunden verschwenden. Ein unzuverlässiges medizinisches System oder Notfallmanagementsystem kann Entscheidungen beeinflussen, die Gesundheit, öffentliche Ressourcen oder unmittelbare Sicherheit betreffen.
Chinas KI-Governance verbindet daher allgemeine Prinzipien mit Plänen für engere Standards. Das Framework beschreibt die Risiken, während spätere Standards ausgewählte Teile in Anforderungen übersetzen können, die Prüfer und Testorganisationen bewerten können.
Diese geschichtete Struktur ermöglicht es zudem, Politik anzupassen, ohne jede verbindliche Regel neu zu schreiben. Regulierungsbehörden können technische Leitlinien aktualisieren, wenn sich das Systemverhalten verändert, und anschließend ausgewählte Kontrollen in Standards oder sektorale Vorschriften aufnehmen.
Für Unternehmen entsteht dadurch eine praktische Belastung. Eine Sicherheitsprüfung für ein Textmodell deckt möglicherweise keinen Agenten ab, der externe Werkzeuge nutzt. Eine für einen bestimmten Einsatz entwickelte Prüfung kann unvollständig werden, nachdem sich Berechtigungen, Integrationen oder Betriebsumfang ändern.
Version 3.0 begegnet diesem Problem durch agile Governance. Risikobewertungen sollten Anwendungskontext, Systemintelligenz und Einsatzumfang berücksichtigen und sich verändern, wenn sich diese Bedingungen ändern.
Die jährliche Abfolge macht die politische Botschaft unübersehbar. Der Einsatz eines leistungsfähigeren Systems bedeutet, den Sicherheitsnachweis erneut zu prüfen – selbst wenn der zugrunde liegende Modellname unverändert bleibt.
Der zentrale Zielkonflikt lautet Innovation versus nachweisbare Kontrolle
China will, dass Organisationen nützliche Agenten einsetzen, erwartet aber von ihnen den Nachweis, dass die Autonomie während der gesamten Aufgabe begrenzt bleibt.
Das Framework beschreibt Innovation als Priorität und unterstützt kontrollierte Experimente, einschließlich regulatorischer Sandboxes. Eine regulatorische Sandbox erlaubt ausgewählten Produkten, unter begrenzten Bedingungen zu arbeiten, während Behörden und Entwickler Risiken beobachten.
Gleichzeitig fordert das Dokument Systeme, die unter menschlicher Kontrolle bleiben. Diese beiden Ziele passen nicht automatisch zusammen, sobald ein Agent Werkzeuge und Zwischenschritte auswählen kann.
Ein stark eingeschränkter Agent lässt sich leichter überwachen, ist aber weniger flexibel. Ein weitreichend autorisierter Agent kann mehr Aufgaben erledigen, schafft jedoch eine größere Angriffsfläche und mehr Wege zu unbeabsichtigtem Verhalten.
Betrachten wir einen Rechercheassistenten am Arbeitsplatz. Er könnte interne Notizen durchsuchen, öffentliche Webseiten besuchen, Einträge vergleichen und eine Empfehlung vorbereiten. Jede Fähigkeit wirkt vernünftig, wenn sie separat bewertet wird.
Das Risiko entsteht durch ihre Kombination. Eine öffentliche Seite könnte eine versteckte Anweisung enthalten, die dem Agenten aufträgt, vertrauliches Material abzurufen. Umfassender Dateizugriff könnte ihm die Befolgung ermöglichen, während eine ausgehende Verbindung das Ergebnis offenlegen könnte.
Um diese Abfolge zu verhindern, reicht es nicht aus, den finalen Text des Agenten zu filtern. Entwickler müssen vertrauenswürdige Anweisungen von nicht vertrauenswürdigen Inhalten trennen, Berechtigungen minimieren, Werkzeugaufrufe validieren und Aktionen zur späteren Überprüfung protokollieren.
Das Framework fordert stärkere Überwachung, Frühwarnung, Notfallreaktion und Tests. Es unterstützt zudem Schwachstellendatenbanken und Mechanismen zum Informationsaustausch unter Entwicklern, Dienstanbietern und technischen Institutionen.
Diese Maßnahmen weisen auf ein evidenzbasiertes Kontrollmodell hin. Ein Unternehmen sollte nachweisen können, worauf das System zugegriffen hat, welche Entscheidung eine Handlung ausgelöst hat und wann ein Mensch sie stoppen konnte.
Diese Erwartung erzeugt Druck für Entwickler, Unternehmenskäufer und Betreiber. Entwickler müssen Schutzvorkehrungen in Agentenarchitekturen integrieren. Käufer müssen die gesamte Bereitstellung bewerten, statt sich auf Sicherheitsbehauptungen eines Modellanbieters zu verlassen.
Auch Betreiber benötigen klare Verantwortungsgrenzen. Wenn Modellanbieter, Anwendungsentwickler, Plug-in-Anbieter, Cloud-Dienst und Kunde gemeinsam Einfluss auf einen Workflow haben, kann die Rechenschaftspflicht fragmentiert werden.
Framework 3.0 verteilt Verantwortung auf Modell- und Algorithmusentwickler, Dienstleister und Nutzer. Eine allgemein formulierte Verantwortung löst jedoch nicht automatisch Streitfälle nach einem komplexen Ausfall.
Lieferketten verschärfen das Problem. Ein Agent kann auf ein Open-Source-Modell, Retrieval-Software von Drittanbietern, externe APIs und Unternehmensdatensysteme angewiesen sein. Eine Schwachstelle in jeder dieser Komponenten kann das Endverhalten beeinflussen.
Das Framework erkennt unterschiedliche Risiken bei offenen und geschlossenen Modellen an. Geschlossene Systeme können externe Prüfungen und Anpassungen einschränken, weil ein Anbieter ihre Sicherheitsmechanismen kontrolliert.
Offene Modelle ermöglichen breitere Prüfung und Anpassung, doch Schutzvorkehrungen können entfernt oder umgangen werden. Updates erreichen möglicherweise auch nicht jede modifizierte oder privat bereitgestellte Kopie.
Keiner der beiden Ansätze beseitigt die Governance-Arbeit. Geschlossene Anbieter müssen aussagekräftige Nachweise zu ihren Kontrollen liefern, während offene Bereitstellungen lokale Tests, Konfigurationsmanagement und einen Plan für Sicherheitsupdates benötigen.
Der gleiche Zielkonflikt zeigt sich bei der Modellgenauigkeit. Halluzinationen – also plausible Ausgaben, die nicht durch verlässliche Belege gestützt sind – werden gefährlicher, wenn ein Agent sie als Grundlage für Handlungen behandelt.
Teams können dieses Problem nicht durch einen Warnhinweis unter der Ausgabe lösen. Sie brauchen Mechanismen, die maßgebliche Belege verlangen, unbegründete Handlungen blockieren oder Entscheidungen mit hoher Auswirkung an Menschen weiterleiten.
Diese Kontrollen verringern die Geschwindigkeit und erhöhen die Betriebskosten. Sie können zudem die Autonomie einschränken, die Agenten attraktiv macht. Darin liegt der zentrale Kompromiss hinter dem China AI Safety Governance Framework 3.0.
Das Dokument verlangt nicht, dass jedes System identisch behandelt wird. Sein Ansatz zur Risikoeinstufung berücksichtigt die Bedeutung des Szenarios, die Intelligenz des Systems und den Umfang der Nutzung.
Dieser Ansatz ist praktischer, als überall maximale Kontrollen anzuwenden. Er wirft jedoch auch schwierige Fragen zu Schwellenwerten auf.
Organisationen müssen entscheiden, wann ein gewöhnlicher Assistent zu einem Agenten mit hoher Auswirkung wird. Sie müssen bestimmen, welche Berechtigungen ein wesentliches Risiko schaffen und welche Handlungen eine Bestätigung erfordern.
Das Framework gibt Orientierung, doch viele operative Antworten werden von späteren Standards, sektoralen Regeln und Bewertungsmethoden abhängen. Bis diese vorliegen, müssen Unternehmen breite Prinzipien in ihren eigenen technischen Umgebungen auslegen.
Ein Framework ist nicht dasselbe wie ein durchsetzbares Regelwerk
Die Veröffentlichung signalisiert regulatorische Prioritäten, schafft jedoch für sich genommen keinen vollständigen Compliance-Test für jeden KI-Agenten.
TC260 ist Chinas nationales Gremium für Cybersicherheitsstandards. Seine technischen Dokumente können Regulierung, Beschaffung, Bewertungen und formelle Standards beeinflussen, ihre rechtliche Wirkung hängt jedoch vom jeweiligen Dokument und den damit verbundenen Regeln ab.
Framework 3.0 lässt sich am besten als Governance-Landkarte verstehen. Es identifiziert Risikokategorien und empfiehlt technische sowie institutionelle Maßnahmen. Es ersetzt keine geltenden Gesetze oder verbindlichen Standards.
China verfügt bereits über verbindliche Regeln für bestimmte generative KI-Dienste. Die Interim Measures for Generative AI Services gelten hauptsächlich für Dienste, die der Öffentlichkeit auf dem chinesischen Festland angeboten werden.
Weitere Anforderungen können Algorithmusmeldungen, Sicherheitsbewertungen, personenbezogene Informationen, Datensicherheit, Content Governance und sektorale Aufsicht betreffen. Die relevanten Pflichten hängen vom Anbieter, Dienst, den Nutzern und dem Bereitstellungskontext ab.
Ein finalisierter nationaler Standard bietet einen nützlichen Vergleich. Chinas GB/T 45654-2025 behandelt grundlegende Sicherheitsanforderungen für generative KI-Dienste, darunter die Sicherheit von Trainingsdaten, Modellsicherheit und Schutzmaßnahmen.
Eine englische Standardübersetzung weist darauf hin, dass sie Meldung, Registrierung, Tests und Bewertung unterstützt. Sie gilt für Anbieter und kann Regulierungsbehörden sowie unabhängigen Prüfern Orientierung geben.
Dieser Standard ist konkreter als das breite Framework. Er behandelt Verfahren für Trainingsdaten, generierte Inhalte, Modellsicherheit und Sicherheitsbewertung.
Dennoch haben externe Analysten hinterfragt, wie konsequent anspruchsvolle Maßnahmen im schnellen Wettbewerb um Modelle durchgesetzt werden. Dieselbe Unsicherheit ist bei Empfehlungen, die auf Framework-Ebene bleiben, noch größer.
Version 3.0 fordert regelmäßige Tests auf mögliche technologische Kontrollverluste. Die Veröffentlichung etabliert jedoch weder eine universelle Testsuite noch einen öffentlichen Score oder einen einheitlichen Schwellenwert, der entscheidet, ob ein Agent sicher ist.
Begriffe wie Kontrollierbarkeit, vertrauenswürdige Nutzung und katastrophales Risiko benötigen ebenfalls messbare Definitionen. Ohne sie können zwei Organisationen Compliance beanspruchen und dabei sehr unterschiedliche Schutzvorkehrungen anwenden.
Der unabhängige Zugang ist ein weiteres ungelöstes Problem. Geschlossene Modelle können externe Forschende daran hindern, interne Kontrollen zu untersuchen. Offene Bereitstellungen lassen sich nach Modifikation und Weiterverbreitung schwer inventarisieren.
Transparenz bei Vorfällen wird ebenso wichtig sein wie Tests vor der Bereitstellung. Ein Unternehmen kann eine planmäßige Bewertung bestehen und dennoch nach der Integration neuer Tools oder der Änderung von Systemanweisungen Ausfälle erleben.
Die öffentliche Berichterstattung ist in der KI-Branche weiterhin uneinheitlich. Ohne vergleichbare Vorfalldaten können Regulierungsbehörden und Käufer kaum beurteilen, welche Kontrollen außerhalb von Laborbedingungen funktionieren.
Das Framework empfiehlt, Informationen über Schwachstellen, Mängel, Risiken und Vorfälle auszutauschen. Der Aufbau eines nützlichen Meldemechanismus wird klare Übermittlungsregeln und Schutz gegen unvollständige Offenlegung erfordern.
Grenzüberschreitende Koordinierung ist ein weiterer ambitionierter Teil des Dokuments. Version 3.0 unterstützt die Vereinten Nationen als zentralen Kanal für globale KI-Governance und fordert Krisenmanagementmechanismen.
Dieses Ziel steht vor politischen und technischen Hindernissen. Regierungen unterscheiden sich bei nationaler Sicherheit, Inhaltsregeln, Datenschutz, geistigem Eigentum, offenen Modellen und akzeptablem staatlichem Zugriff auf Daten.
Selbst eine gemeinsame Sorge über gefährliche Fähigkeiten garantiert keine Einigung über Belege. Länder können unterschiedliche Bewertungen, Bedrohungsmodelle und Offenlegungsanforderungen verwenden.
Die internationale Sprache des Frameworks sollte daher als politische Position und nicht als Beweis globaler Abstimmung gelesen werden. Sein Einfluss wird davon abhängen, ob China nutzbare Testmethoden veröffentlicht und gegenseitige technische Zusammenarbeit unterstützt.
Zudem besteht das Risiko, dass breite Sicherheitsvorgaben für kleinere Entwickler zur Hürde werden. Große Unternehmen können Rechtsabteilungen, Audits, Red Teaming, Monitoring und Incident Response finanzieren.
Kleinere Labore könnten mit denselben Erwartungen Schwierigkeiten haben, insbesondere wenn sich Standards schnell ändern. Sandboxes und gemeinsame Testressourcen könnten diese Belastung verringern, doch ihre Zugänglichkeit wird entscheidend sein.
Die skeptische Lesart ist einfach. Framework 3.0 identifiziert mehrere aufkommende Risiken zutreffend, doch Identifikation ist leichter als Umsetzung.
Sein tatsächlicher Wert wird an den nachfolgenden Standards, Bewertungen, Meldesystemen und Durchsetzungspraktiken gemessen werden. Ohne diese Mechanismen bleibt Kontrollierbarkeit ein Ziel statt einer verifizierten Eigenschaft.
Chinas KI-Governance reicht nun über das Modell hinaus
Die politische Grenze umfasst zunehmend das gesamte Betriebsumfeld, einschließlich Daten, Speicher, Tools, Infrastruktur, Nutzer und physischer Geräte.
Frühere Debatten über KI-Governance konzentrierten sich oft auf Trainingsdatensätze und Modellausgaben. Diese Themen bleiben wichtig, doch Agenten machen das umgebende System ebenso bedeutsam.
Das Verhalten eines Modells kann sich verändern, wenn Entwickler Systemanweisungen, Retrieval-Quellen, Speicher, Plug-ins oder verfügbare Tools ändern. Das Basismodell kann identisch bleiben, während die Bereitstellung neue Risiken erhält.
Das bedeutet, dass eine reine Modellbewertung kein agentisches Produkt zertifizieren kann. Tests müssen das zusammengesetzte System und die Bedingungen einbeziehen, unter denen Menschen es nutzen.
Das Framework empfiehlt Sicherheitsanforderungen für Forschung, Entwicklung, Bereitstellung, Betrieb und Stilllegung. Die Stilllegung ist wichtig, weil alte Zugangsdaten, gespeicherter Speicher und angebundene Dienste nach der Schließung eines Produkts weiterhin offengelegt sein können.
Data Governance bleibt ein zentrales Anliegen. Das Dokument fordert den Schutz personenbezogener Informationen während Training, Annotation, Nutzung und Ausgabe, einschließlich De-Identifizierung, wo angemessen.
Es hebt außerdem wichtige und zentrale Daten in Bereichen wie Regierung und Finanzen hervor. Agenten in diesen Sektoren können Informationsgrenzen schneller überschreiten als menschliche Nutzer, insbesondere wenn Berechtigungen von verbundenen Konten geerbt werden.
Speicher führt eine weitere Ebene ein. Persistenter Agentenspeicher kann die Kontinuität verbessern, aber auch fehlerhafte, sensible oder böswillig platzierte Informationen bewahren.
Eine sichere Bereitstellung benötigt Regeln dafür, was der Agent speichert, wie lange er Informationen aufbewahrt und wer sie prüfen oder löschen kann. Speicher sollte nicht zu einem unsichtbaren Protokoll werden, das spätere Handlungen ohne Wissen der Nutzer prägt.
Tool-Governance ist ebenso wichtig. Entwickler benötigen Positivlisten, Berechtigungsgrenzen, Vorschauen von Handlungen, Transaktionsgrenzen und starke Authentifizierung für Operationen mit hoher Auswirkung.
Ein Agent sollte keinen dauerhaften administrativen Zugriff erhalten, nur weil ein Workflow gelegentlich erhöhte Berechtigungen benötigt. Zeitlich begrenzte und aufgabenspezifische Autorisierung reduziert Schäden durch Fehler oder Angriffe.
Auch menschliche Aufsicht benötigt ein präzises Design. Ein Bestätigungsfenster bringt wenig, wenn Nutzer die vorgeschlagene Handlung nicht verstehen können oder häufige Warnungen zur automatischen Zustimmung verleiten.
Wirksame Intervention erfordert rechtzeitige, relevante Informationen. Nutzer müssen sehen, was der Agent vorhat, welche Daten er nutzen wird und welche Folgen die Handlung hat.
Protokollierung unterstützt sowohl Aufsicht als auch Untersuchung. Aufzeichnungen sollten Tool-Aufrufe, Datenzugriffe, Berechtigungsänderungen, Modellentscheidungen und menschliche Genehmigungen erfassen, ohne einen weiteren unkontrollierten Speicher sensibler Informationen zu schaffen.
Die Aufmerksamkeit des Frameworks für verkörperte KI erhöht den Einsatz zusätzlich. Physische Systeme benötigen sichere Rückfallzustände, Umgebungsgrenzen und Möglichkeiten, den Betrieb zu stoppen, wenn Kommunikation oder Wahrnehmung ausfallen.
Ein Lagerroboter, Laborsystem oder vernetztes Fahrzeug kann sich nicht allein auf einen textbasierten Ablehnungsmechanismus verlassen. Sicherheit muss in Software, Hardware, Betriebsverfahren und physischen Kontrollen vorhanden sein.
Cybersicherheitsteams stehen zudem vor einer Doppelrolle. KI kann, wie das Framework anerkennt, Code-Reviews, Schwachstellensuche, Angriffserkennung und Behebung automatisieren.
Angreifer können dieselben Fähigkeiten nutzen, um Geschwindigkeit und Umfang böswilliger Aktivitäten zu erhöhen. Agentische Systeme können Aufklärung, Ausnutzung und Datenverarbeitung mit weniger direkter Eingabe verketten.
Dies erzeugt Druck, von reaktiver Verteidigung zu kontinuierlichem Monitoring überzugehen. Organisationen müssen das Verhalten ihrer eigenen Agenten bewerten und KI-gestützte Angriffe von außen erkennen.
Der breitere Umfang bringt Chinas KI-Governance mit einer allgemeinen Lehre in Einklang, die sich marktübergreifend herausbildet. Sicherheit hängt davon ab, wie ein Modell verbunden und genutzt wird – nicht nur davon, was das Modell isoliert leisten kann.
Für Unternehmenskäufer verändert das die Beschaffungsfragen. Benchmark-Ergebnisse und Model Cards reichen nicht aus, wenn ein Produkt auf interne Aufzeichnungen zugreifen oder Transaktionen auslösen kann.
Käufer sollten fragen, auf welche Tools der Agent zugreifen kann, wie Berechtigungen erteilt werden, ob externe Inhalte als nicht vertrauenswürdig behandelt werden und wie Handlungen rückgängig gemacht werden können.
Sie sollten außerdem fragen, ob der Anbieter Vorfälle offenlegt und unabhängige Tests unterstützt. Eine überzeugende Oberfläche kann operative Nachweise nicht ersetzen.
Wissensarbeiter stehen in kleinerem Maßstab vor einer ähnlichen Herausforderung. Ein Assistent, der Recherchen organisiert oder einen Bericht vorbereitet, benötigt weiterhin verlässliche Quellengrenzen und einen klaren Umgang mit privatem Material.
Gute Informationspraktiken werden Teil der KI-Sicherheit. Teams benötigen nachvollziehbare Quellen, bewusst festgelegte Zugriffskontrollen und Prüfschritte, die den Folgen der jeweiligen Aufgabe entsprechen.
Das erfordert keine Ablehnung von Automatisierung. Es erfordert, Agenten als Beteiligte in Arbeitsabläufen zu behandeln – mit klar definierten Befugnissen und beobachtbarem Verhalten.
Drei Signale werden zeigen, ob Framework 3.0 Substanz hat
Die nächste Phase hängt von messbaren Standards, echter Meldung von Vorfällen und sektorspezifischen Kontrollen ab – nicht von einer weiteren Grundsatzerklärung.
Das erste Signal ist die Veröffentlichung konkreter Teststandards für Agenten. Diese sollten Verfahren zur Bewertung von Prompt Injection, Tool-Missbrauch, Rechteausweitung, Beschädigung des Speichers und Verlust der Aufgabenkontrolle definieren.
Klare Tests würden die Glaubwürdigkeit des Frameworks stärken. Sie gäben Entwicklern ein gemeinsames Ziel und ermöglichten Käufern, Sicherheitsversprechen anhand vergleichbarer Nachweise zu beurteilen.
Vage Bewertungssprache würde dieses Ergebnis schwächen. Wenn jeder Anbieter eigene Tests und Schwellenwerte auswählt, erhält der Markt viele Behauptungen, aber kaum Vergleichbarkeit.
Das zweite Signal ist ein funktionierendes System zur Meldung von Vorfällen und Schwachstellen. Framework 3.0 fordert Datenbanken und Mechanismen zum Informationsaustausch unter Beteiligung von Entwicklern, Anbietern und technischen Institutionen.
Ein nützliches System würde Kategorien, Meldefristen, Erwartungen zur Behebung und genügend anonymisierte Details veröffentlichen, damit andere ihre Abwehr verbessern können. Es würde außerdem zwischen kleineren Fehlern und schwerwiegenden Sicherheitsereignissen unterscheiden.
Konsistente Meldungen würden das Modell der agilen Governance des Frameworks unterstützen, weil Behörden Kontrollen anhand beobachteter Fehler aktualisieren könnten. Spärliche oder unzugängliche Meldungen würden die Politik von hypothetischen Risiken abhängig machen.
Das dritte Signal ist die sektorspezifische Umsetzung. Staat, Finanzwesen, Bildung, Gesundheitswesen, Medien und Notfallmanagement benötigen unterschiedliche Schwellenwerte für Autonomie und menschliche Überprüfung.
Leitlinien für einzelne Sektoren sollten festlegen, welche Agentenaktionen eine Genehmigung benötigen, welche Datenquellen eingeschränkt bleiben und welche Nachweise Organisationen aufbewahren müssen. Beschaffungsanforderungen könnten ein früher Weg zur Einführung dieser Kontrollen sein.
Detaillierte sektorale Regeln würden zeigen, dass sich das Framework von einer nationalen Strategie hin zu operativer Praxis entwickelt. Allgemeine Leitlinien würden kritische Entscheidungen einzelnen Organisationen mit unterschiedlich ausgeprägter Expertise überlassen.
Internationale Koordination verdient Aufmerksamkeit, ist jedoch ein längerfristiger Test. Krisenprotokolle erfordern Einigkeit über Kontakte, Beweise, Vertraulichkeit und Reaktionsverfahren, bevor ein schwerwiegender Vorfall eintritt.
Die unmittelbarsten Belege werden aus der nationalen Umsetzung stammen. China hat inzwischen drei Versionen seines KI-Sicherheitsframeworks in drei aufeinanderfolgenden Jahren veröffentlicht.
Dieses Tempo zeigt Aufmerksamkeit, doch Wiederholung allein belegt keine Wirksamkeit. Entscheidend ist, ob die jüngsten Risiken zu testbaren Anforderungen werden, bevor sich der Einsatz von Agenten weiter ausbreitet.
Entwickler sollten die Arbeitspläne von TC260, Standardentwürfe und öffentliche Konsultationsdokumente beobachten. Unternehmenskäufer sollten verfolgen, ob Regulierungsbehörden bei Bewertungen oder Beschaffungen beginnen, auf Agentenkontrollen zu verweisen.
Wissensarbeiter sollten auf Änderungen bei Berechtigungen auf Produktebene achten. Leistungsfähigere Assistenten werden zunehmend Zugriff auf Dateien, Konten, Kommunikation und Geschäftssysteme anfordern.
Das China AI Safety Governance Framework 3.0 trifft eine klare Einschätzung: KI-Sicherheit kann nicht länger bei der Antwort des Modells enden. Sie muss jeden Schritt zwischen der Anfrage eines Nutzers und der Handlung eines Systems abdecken.
Die nächsten ein bis drei Monate sollten zeigen, ob diese Einschätzung operative Details erhält. Achten Sie auf Testmethoden für Agenten, Regeln zum Austausch von Vorfällen und sektorale Kontrollen, die breite Prinzipien in Nachweise überführen.
Bevor Sie einem KI-Assistenten weitergehende Befugnisse erteilen, stellen Sie drei Fragen: Worauf kann er zugreifen, was kann er ändern und wie können Sie ihn stoppen? Die Antworten darauf zeigen, ob kontrollierbare KI in der Praxis existiert – und nicht nur auf dem Papier.
