AXA XL warnt vor AI Governance: Einführung überholt die Aufsicht
AXA XL zufolge hat die Einführung von AI eine gefährliche Schwelle überschritten: Systeme halten Einzug in kritische Arbeitsabläufe, während Governance, Sicherheit und Reaktion auf Vorfälle mehrere Schritte zurückliegen.
Die AXA XL-Warnung zur AI Governance wurde am 23. September in einem gemeinsamen Bericht mit der Intelligence- und Cybersecurity-Beratung S-RM veröffentlicht. Darin wird argumentiert, dass Organisationen AI-Risiken nicht länger als eng gefasstes Compliance-Projekt behandeln dürfen. AI betrifft heute sensible Informationen, Softwarezugriffe, Geschäftsentscheidungen und Beziehungen zu externen Anbietern.
Dadurch entsteht ein Konflikt zwischen Einführungsgeschwindigkeit und operativer Kontrolle. Unternehmen wollen Agents und generative AI in alltägliche Arbeitsabläufe integrieren, doch viele können nicht zuverlässig jedes System, jeden Verantwortlichen, jede Datenquelle oder jede nachgelagerte Abhängigkeit identifizieren.
Die Warnung wiegt besonders schwer, weil AXA XL das Thema aus der Perspektive von Versicherung und Risikoberatung betrachtet. Versicherer müssen verstehen, wie Fehler entstehen, wie gravierend sie werden können und ob unterschiedliche Schäden miteinander verbunden sind. AI erschwert alle drei Fragen.
Das Kernproblem geht daher über die Frage hinaus, ob ein Modell gelegentlich eine falsche Antwort liefert. Unternehmen geben AI-Systemen mehr Zugriff und Befugnisse, bevor sie eine kontinuierliche Aufsicht über diesen Zugriff etabliert haben.
AXA XL-Warnung zur AI Governance verlagert das Risiko über Compliance hinaus
Die wichtigste Verschiebung des Berichts besteht darin, dass er AI-Ausfälle als Problem der Unternehmensresilienz behandelt – und nicht lediglich als Problem der Modellqualität.
AXA XL ist der Bereich für Sach-, Unfall- und Spezialrisiken von AXA. S-RM berät Organisationen zu Cybersecurity, Intelligence und Unternehmensrisiken. Ihr gemeinsamer Bericht zu resilienter AI verknüpft den Einsatz von AI mit Cybervorfällen, Betrug, Haftung, Betriebsunterbrechungen und Ausfällen bei Dritten.
Der Zeitpunkt spiegelt wider, wie schnell AI in den normalen Betrieb vorgedrungen ist. AXA XL verweist auf Forschungsergebnisse, wonach 88 % der Organisationen AI in mindestens einer Geschäftsfunktion einsetzen. Die Einführung reicht inzwischen über kontrollierte Experimente und isolierte Chatbots hinaus.
Mitarbeitende nutzen generative Systeme, um Unterlagen zusammenzufassen, Kommunikation zu entwerfen, Dokumente zu analysieren und Entscheidungen zu unterstützen. Softwareanbieter integrieren AI zudem in Produkte, die Kunden bereits nutzen. Eine Organisation kann dadurch eine neue AI-Abhängigkeit erwerben, ohne ein separates AI-Projekt zu genehmigen.
Agentische Systeme erhöhen den Einsatz zusätzlich. Ein AI-Agent ist Software, die ein Ziel über mehrere Schritte verfolgen kann, teils unter Nutzung externer Tools oder durch Änderungen an anderen Systemen. Sein Risiko hängt davon ab, was er lesen und verändern kann und ob eine Person seine Handlungen überprüft.
AXA XL benennt fünf Prioritäten für Organisationen, die sich diesem Wandel stellen. Führungskräfte benötigen klare Verantwortlichkeiten für genehmigte Systeme, integrierte AI-Funktionen und Shadow AI. Sie müssen sensible Daten schützen und zugleich Identitäts- und Zugriffskontrollen stärken.
Organisationen benötigen außerdem eine Lifecycle-Governance, die Datenerhebung, Entwicklung, Bereitstellung, Überwachung und Reaktion auf Vorfälle abdeckt. Die Due Diligence bei Anbietern muss AI-Abhängigkeiten innerhalb externer Dienste berücksichtigen. Schließlich sollten Unternehmen sich auf Schäden vorbereiten, die klassische Versicherungskategorien überschreiten.
Dieser letzte Punkt ist wichtig. Ein einzelnes Ereignis könnte mit einem manipulierten Modell beginnen, vertrauliche Informationen offenlegen, den Betrieb unterbrechen und einen Haftungsanspruch auslösen. Derselbe Vorfall kann Cybersecurity, Datenschutz, professionelle Dienstleistungen und Managemententscheidungen betreffen.
Jonathan Salter, Leiter der Risikoberatung bei AXA XL, fasste den Konflikt direkt zusammen. AI dringe in Systeme vor, auf die Organisationen angewiesen seien, sagte er, während die Governance nicht immer Schritt halte.
Seine Einordnung verlagert die Frage von „Ist dieses Modell präzise?“ zu „Was geschieht mit dem Unternehmen, wenn dieses System ausfällt?“ Diese Frage erfordert Verantwortliche, Eskalationswege, getestete Kontrollen und Wiederherstellungspläne.
Der Bericht weist außerdem einen verbreiteten Kurzschluss zurück. Eine Sicherheitsprüfung vor dem Start bietet nach der Bereitstellung keine fortlaufende Kontrolle. Modelle verändern sich, Anbieter aktualisieren ihre Dienste, Mitarbeitende entdecken neue Einsatzmöglichkeiten und Zugriffsrechte werden ausgeweitet.
AXA XL zufolge bewerten inzwischen 64 % der Organisationen die Sicherheit von AI-Tools vor deren Einführung, gegenüber 37 % ein Jahr zuvor. Diese Verbesserung betrifft jedoch nur den Einstiegspunkt. Das Risiko besteht weiter, nachdem ein Tool seine erste Prüfung bestanden hat.
Dies ist die erste zentrale Folgerung der AXA XL-Warnung zur AI Governance: Eine Genehmigung kann nicht als dauerhaftes Sicherheitszertifikat dienen. Die Aufsicht muss das System während seines gesamten Einsatzlebens begleiten.
Die AI-Einführung löst eine Krise bei Inventarisierung und Verantwortlichkeit aus
Ein Unternehmen kann AI-Systeme nicht steuern, die es weder finden noch klassifizieren oder einem verantwortlichen Eigentümer zuordnen kann.
Das Inventarproblem beginnt mit Fragmentierung. Einige AI-Anwendungen entstehen im Rahmen formaler Technologieprogramme. Andere erscheinen als Funktionen in Kundenservice-Plattformen, Produktivitätssuiten, Sicherheitsprodukten oder Entwickler-Tools.
Mitarbeitende können außerdem ohne Genehmigung Verbraucherdienste nutzen. Diese Praxis, oft Shadow AI genannt, kann Geschäftsinformationen außerhalb genehmigter Kontrollen offenlegen. Das Risiko beschränkt sich nicht auf absichtliche Verstöße gegen Richtlinien.
Eine Arbeitskraft könnte vernünftigerweise annehmen, dass eine gewöhnliche Softwarefunktion durch die bestehende Genehmigung des Unternehmens abgedeckt ist. Die Funktion könnte Daten jedoch an einen anderen Modellanbieter senden, Prompts unter anderen Bedingungen speichern oder Inhalte über einen externen Dienst erzeugen.
Ein wirksames Inventar benötigt daher mehr als eine Liste von Modellnamen. Es muss jeden Anwendungsfall mit einem geschäftlichen Verantwortlichen, einem technischen Verantwortlichen, Zweck, Datenquellen, Berechtigungen, Anbieter, betroffenen Nutzern und Wiederherstellungsprozess verknüpfen.
Es sollte zudem erfassen, ob das System lediglich Handlungen empfiehlt oder sie ausführen kann. Ein Zusammenfassungstool mit schreibgeschütztem Zugriff birgt andere Risiken als ein Agent, der Nachrichten senden, Transaktionen genehmigen oder Produktionsdaten ändern kann.
Rebiah Bardot-Girard, Leiterin der Beratungsdienste für Cyberrisiken bei AXA XL, argumentiert, dass Organisationen wissen müssen, wo AI arbeitet, auf welche Informationen sie zugreifen kann und wo sie Handlungen beeinflussen kann. Dieses Inventar wird zum Ausgangspunkt für Resilienz.
Die Empfehlung entspricht eng dem AI-Risikoframework des US National Institute of Standards and Technology. NIST beschreibt Governance als kontinuierliche Funktion über die gesamte Lebensdauer eines AI-Systems hinweg.
Das Framework fordert Mechanismen, die AI-Systeme nach den Risikoprioritäten der Organisation inventarisieren. Es verlangt zudem, Verantwortlichkeiten zu dokumentieren, Kontrollen zu überwachen, Komponenten Dritter zu bewerten und eine sichere Außerbetriebnahme zu planen.
Diese Aktivitäten wirken administrativ, bestimmen aber, ob ein Unternehmen während eines Vorfalls reagieren kann. Ein Sicherheitsteam kann Zugriffe nicht schnell widerrufen, wenn es nicht weiß, welche Zugangsdaten ein Agent nutzt. Rechtsteams können Risiken nicht bewerten, ohne zu wissen, welche Datensätze in das System gelangt sind.
Geschäftsverantwortliche benötigen außerdem ausreichend Dokumentation, um beabsichtigtes Verhalten von einem Fehler unterscheiden zu können. Wenn ein Agent eine nicht genehmigte Kommunikation versendet, müssen Untersuchende Eingaben, Modellversion, Anweisungen, Tool-Aufrufe, Genehmigungen und daraus resultierende Handlungen rekonstruieren.
Diese Nachweise können über Anbieter-Dashboards, lokale Anwendungen, Identitätssysteme und Mitarbeitendennachrichten verstreut sein. Ohne eine definierte Dokumentation könnte das Unternehmen Schwierigkeiten haben festzustellen, was passiert ist oder ob dieselbe Schwachstelle an anderer Stelle fortbesteht.
Eine durchsuchbare Wissensdatenbank kann Teams dabei helfen, Richtlinien und technische Unterlagen zu organisieren. Dokumentation hilft jedoch nur, wenn Verantwortliche sie mit den aktiven Systemen verknüpft halten.
Verantwortlichkeit ist die zweite Hälfte des Problems. AI überschreitet häufig organisatorische Grenzen, etwa zwischen Sicherheit, Datenschutz, Recht, Beschaffung, Produkt und Betrieb. Jedes Team kann eine Kontrolle verantworten, während niemand das vollständige Geschäftsergebnis verantwortet.
Ein Modellentwickler könnte Tests verwalten, aber nicht die von Mitarbeitenden bereitgestellten Informationen. Die Beschaffung könnte Vertragsbedingungen prüfen, aber nicht operative Berechtigungen. Die Sicherheit könnte technische Ereignisse überwachen, ohne die Folgen einer fehlerhaften Geschäftsentscheidung zu verstehen.
Klare Verantwortlichkeit bedeutet nicht, jedes Problem einem zentralen AI-Büro zuzuweisen. Sie bedeutet, zu benennen, wer das Risiko akzeptiert, wer Kontrollen aufrechterhält, wer Verhalten überwacht und wer das System aussetzen kann.
Diese letzte Befugnis ist wichtig. Teams benötigen vorab festgelegte Bedingungen, unter denen sie einen AI-Workflow verlangsamen, isolieren oder deaktivieren. Andernfalls kann kommerzieller Druck ein fragwürdiges System weiterlaufen lassen, während Abteilungen über Zuständigkeiten debattieren.
Die Botschaft von AXA XL zur AI Governance lautet daher nicht einfach „Schreibt eine Richtlinie.“ Sie lautet: „Verknüpft jede bereitgestellte Fähigkeit mit Befugnissen, Nachweisen und einem Reaktionsweg.“
Der eigentliche Zielkonflikt lautet Zugriff versus Kontrolle
AI wird nützlicher, je mehr Kontext und Befugnisse sie erhält, doch genau diese Eigenschaften erhöhen den Schaden, den ein kompromittiertes oder unzuverlässiges System verursachen kann.
Ein eigenständiger Chatbot kann fehlerhaften Text produzieren. Ein integrierter Agent kann private Datensätze abrufen, interne Tools aufrufen und auf Grundlage des Ergebnisses handeln. Das zweite System kann mehr Geschäftswert liefern, eröffnet jedoch auch einen breiteren Weg vom Fehler zum Schaden.
AXA XL und S-RM nennen Datenlecks, Prompt Injection, Modellmanipulation, unzuverlässige Ergebnisse, Shadow AI und übermäßige Autonomie als relevante Bedrohungen.
Prompt Injection tritt auf, wenn bösartige oder nicht vertrauenswürdige Inhalte ein Modell von seinen vorgesehenen Anweisungen ablenken. Der Angriff kann in einem Dokument, einer Webseite, einer E-Mail oder einer Datenquelle erscheinen, die das System verarbeitet.
Die Gefahr wächst, wenn ein Modell Tools aufrufen kann. Eine manipulierte Antwort muss dann nicht länger Text auf einem Bildschirm bleiben. Sie könnte eine Datenbankabfrage, eine ausgehende Nachricht, eine Workflow-Entscheidung oder die Übertragung von Informationen beeinflussen.
Herkömmliche Zugriffskontrollen bleiben in diesem Umfeld wichtig. Ein AI-System sollte keine weitreichenden Berechtigungen erhalten, nur weil Nutzende umfassenderen Zugriff bequem finden. Seine Identität sollte nur die Ressourcen erhalten, die für den genehmigten Anwendungsfall erforderlich sind.
Berechtigungen benötigen zudem Grenzen für Handlungen. Lesezugriff ist nicht dasselbe wie Schreibzugriff. Eine Antwort zu entwerfen unterscheidet sich vom Versenden, während die Empfehlung einer Transaktion etwas anderes ist als deren Genehmigung.
Menschliche Aufsicht bleibt wichtig, doch der Ausdruck kann schwache Kontrollen verschleiern. Ein rein nomineller Prüfer kann keine sinnvolle Aufsicht leisten, wenn Hunderte Ergebnisse zu schnell oder ohne relevanten Kontext eintreffen.
Organisationen müssen definieren, welche Entscheidungen eine Genehmigung erfordern, welche Nachweise der Prüfer erhält und wie sich das System verhält, wenn niemand reagiert. Sie müssen außerdem messen, ob Prüfer Ergebnisse routinemäßig ohne Prüfung akzeptieren.
Dieser Zielkonflikt verschärft sich, wenn Unternehmen Agents mit sensiblen Geschäftsprozessen verbinden. Die Nützlichkeit des Systems kann von Kundenhistorien, technischer Dokumentation, Finanzunterlagen, Verträgen oder Mitarbeiterdaten abhängen.
Dieser Kontext kann die Relevanz verbessern. Er kann aber auch wertvolle Informationen durch unsichere Integrationen, übermäßige Speicherung, kompromittierte Konten oder unbedachte Prompts offenlegen.
Die fünf Grundlagen für sicheres Design von AXA XL behandeln dieses Thema durch Daten-Governance, sichere Modelle und Anwendungen, resiliente Anbieter-Ökosysteme, Zugriffskontrollen und kontinuierliche Überwachung. Keine davon bietet für sich allein vollständigen Schutz.
Data Governance legt fest, welche Informationen das System nutzen darf. Sichere Anwendungsentwicklung begrenzt Eingaben, Ausgaben und Tool-Verbindungen. Identitätskontrollen beschränken, worauf das System zugreifen kann.
Das Monitoring sollte anschließend unerwartete Zugriffe, ungewöhnliche Tool-Nutzung, Veränderungen bei Ausgaben und versuchte Richtlinienverstöße erkennen. Incident-Pläne müssen sowohl technische Eindämmung als auch geschäftliche Folgen berücksichtigen.
Die breitere AXA-Organisation zeigt, wie solche Kontrollen die Einführung unterstützen können, statt sie zu verhindern. AXA beschreibt ein KI-Governance-Programm, das eine KI-Risikobibliothek, Fairness-Tools, Expertenprüfungen und konzernweite Leitlinien umfasst.
AXA baut zudem gemeinsame KI-Infrastruktur in seinen globalen Aktivitäten aus. Insurance Business berichtete, dass sein Global AI Hub bis September 2026 in fünf Einheiten tätig war, darunter auch bei Projekten mit AXA XL.
Das schafft einen aufschlussreichen Kontrast. AXA warnt Unternehmen nicht davor, KI zu meiden, während es selbst der Technologie fernbleibt. Das Unternehmen setzt KI ein und argumentiert zugleich, dass Zugang, Governance und operative Verantwortung gemeinsam weiterentwickelt werden müssen.
Das beweist nicht, dass die eigenen Kontrollen von AXA jedes Risiko ausschließen. Öffentliche Beschreibungen können weder unabhängige Tests noch Belege aus tatsächlichen Vorfällen ersetzen. Sie zeigen jedoch, dass die Debatte nicht länger zwischen Einführung und Nichteinführung geführt wird.
Der praktische Wettbewerb besteht zwischen kontrollierter Einführung und schlecht überwachter Einführung. Die erste betrachtet Zugang als begrenztes, an Nachweise gebundenes Privileg. Die zweite wertet Integrationsgeschwindigkeit als Erfolg und versucht anschließend, Kontrollen nachzurüsten.
Versicherungen machen sichtbar, was Governance-Frameworks noch nicht messen können
Die Versicherungsperspektive offenbart eine schwierige Wahrheit: Organisationen können KI-Kontrollen leichter beschreiben, als Versicherer die daraus entstehende Schadenexponierung quantifizieren können.
Versicherungen sind auf Informationen darüber angewiesen, wie häufig Schäden eintreten, wie schwer sie ausfallen und ob viele Versicherungsnehmer gleichzeitig betroffen sein können. Für generative KI gibt es kaum eine ausreichend reife Schadenshistorie, um diese Fragen zu beantworten.
Ein einziges fehlerhaftes System kann zudem zahlreiche Unternehmen betreffen. Viele Organisationen nutzen dieselben Basismodelle, Cloud-Anbieter, Softwaredienste oder Datenpipelines. Eine gemeinsame Schwachstelle könnte bei vielen versicherten Unternehmen korrelierte Schäden verursachen.
Diese Abhängigkeiten erschweren die traditionelle Risikobündelung. Ein Versicherer könnte glauben, sein Risiko über verschiedene Branchen hinweg diversifiziert zu haben, obwohl diese Kunden vom selben zugrunde liegenden KI-Anbieter abhängig sind.
Auch die Fehlerkategorien können sich überschneiden. Eine halluzinierte Antwort könnte eine Berufshaftung auslösen. Eine Datenoffenlegung könnte Datenschutz- und Cyber-Schäden nach sich ziehen. Eine automatisierte Entscheidung könnte regulatorische Maßnahmen oder Diskriminierungsvorwürfe hervorrufen.
Eine Unterbrechung eines KI-abhängigen Workflows könnte operative Verluste verursachen. Betrug mit synthetischen Medien könnte mit Kriminalitätsdeckung, Identitätskontrollen und internen Autorisierungsverfahren zusammenwirken.
Diese Komplexität erklärt, warum AXA XL Unternehmen dazu auffordert, Szenarien vorzubereiten, die Cyberrisiken, Betrug, Haftung und Betriebsunterbrechungen umfassen. Die Organisation muss die gesamte Folgenkette betrachten, nicht nur das erste technische Ereignis.
Eine aktuelle Analyse des Versicherungsmarkts des Center for Strategic and International Studies beschreibt ähnliche Hindernisse. Sie argumentiert, dass begrenzte Einsatzdaten und Informationsasymmetrien die Fähigkeit der Versicherer einschränken, KI-Risiken zu bewerten.
Informationsasymmetrie bedeutet, dass der Kunde mehr über seine Exponierung weiß als der Versicherer. Ein Unternehmen weiß, welche Modelle es verwendet, welche Informationen sie verarbeiten, wie Prompts verwaltet werden und ob die menschliche Überprüfung tatsächlich funktioniert.
Der Versicherer erhält möglicherweise nur Fragebögen oder allgemeine Beschreibungen der Kontrollen. Er kann das tägliche Verhalten innerhalb jeder Bereitstellung nicht ohne Weiteres beobachten.
Das ist ein triftiger Grund für Versicherer, bessere Nachweise zu verlangen. Ein KI-Inventar, Zugriffsprotokolle, Vorfallsaufzeichnungen, Testergebnisse und Lieferantendokumentationen können Risiken sichtbarer machen.
Governance-Artefakte sind jedoch nicht dasselbe wie Governance-Leistung. Eine vollständige Richtlinie zeigt nicht, dass Mitarbeitende sie befolgen. Ein Testergebnis garantiert nicht, dass ein Lieferanten-Update das bisherige Verhalten bewahrt.
Die skeptische Lesart der Empfehlungen von AXA XL beginnt hier. Die fünf Prioritäten sind sinnvoll, doch der Bericht liefert kein universelles Messsystem, das belegt, dass ein Unternehmen sie wirksam umgesetzt hat.
Organisationen unterscheiden sich erheblich hinsichtlich ihrer Systeme, regulatorischen Pflichten, Ressourcen und Anwendungsfälle. Eine Kontrolle, die für das Verfassen von Marketingtexten geeignet ist, kann für Gesundheitswesen, Kreditvergabe, Beschäftigung oder kritische Infrastruktur unzureichend sein.
Auch das Verhalten von KI kann je nach Kontext variieren. Ein System könnte einen kontrollierten Test bestehen, aber scheitern, wenn Nutzer unbekannte Eingaben liefern oder verbundene Tools unerwartete Daten zurückgeben.
NIST hat Tests, Evaluierung, Verifizierung und Validierung über den gesamten KI-Lebenszyklus hinweg hervorgehoben. Seine Arbeit im Jahr 2026 umfasst einen Entwurf eines Frameworks zur Bewertung realer Ergebnisse über Modelle, multimodale Systeme und Agenten hinweg.
Diese Richtung ist wichtig, weil statische Überprüfungen nicht jede operative Bedingung erfassen können. Organisationen benötigen wiederholbare Bewertungen, die mit tatsächlichen geschäftlichen Folgen verknüpft sind.
Sie müssen zudem entscheiden, welche Restrisiken sie akzeptieren, reduzieren, vermeiden oder übertragen. Versicherungen können einen Teil eines finanziellen Verlusts auffangen, aber keine geleakten Informationen zurückholen, eine schädliche Entscheidung rückgängig machen oder beschädigtes Vertrauen sofort wiederherstellen.
Der Versicherungsschutz kann außerdem Grenzen zwischen Cyber-, Berufshaftpflicht-, Kriminalitäts- und anderen Policen enthalten. Ein KI-Vorfall, der diese Grenzen überschreitet, kann Streit darüber auslösen, welche Police greift.
Unternehmen sollten Versicherungen daher nicht als Ersatz für Governance betrachten. Versicherer wiederum können nicht davon ausgehen, dass ein Governance-Framework ein Risiko automatisch messbar macht.
Die stärkere Interpretation der KI-Risikoposition von AXA XL ist bedingt. Bessere Governance schafft bessere Nachweise, und bessere Nachweise können ein fundierteres Underwriting unterstützen. Beides garantiert nicht, dass jedes KI-Risiko versicherbar wird.
Regulierung erhöht die Kosten von Governance-Drift
Die Lücke zwischen Einführung und Aufsicht wird kostspieliger, wenn KI-Systeme Jurisdiktionen, Geschäftsbereiche und regulierte Entscheidungen überschreiten.
KI-Regeln treten nicht als ein universeller Compliance-Standard in Kraft. Organisationen müssen Datenschutz, Cybersicherheit, Verbraucherschutz, geistiges Eigentum, Beschäftigung, sektorale Regulierung und vertragliche Verpflichtungen berücksichtigen.
Der AI Act der Europäischen Union fügt risikobasierte Pflichten für Systeme innerhalb seines Geltungsbereichs hinzu. Andere Jurisdiktionen wenden bestehende Gesetze an oder entwickeln andere KI-spezifische Regeln. Ein multinationales Unternehmen kann für denselben Workflow mehreren Verpflichtungen unterliegen.
Diese Fragmentierung erzeugt operativen Druck. Ein für einen Markt oder Zweck genehmigtes System kann andernorts andere Dokumentation, Tests oder menschliche Aufsicht erfordern.
Lieferantenbeziehungen erschweren das Problem. Ein Kunde entwickelt das Modell möglicherweise nicht, kontrolliert dessen Trainingsdaten nicht und bestimmt auch nicht, wann der Anbieter es verändert. Dennoch entscheidet der Kunde weiterhin, wie das System Menschen und Geschäftsprozesse beeinflusst.
Verträge müssen Sicherheitsverantwortlichkeiten, Vorfallsmeldungen, Datenverarbeitung, Prüfungsrechte, Unterauftragnehmer, Modelländerungen, Servicekontinuität und Kündigung regeln. Beschaffungsteams benötigen zudem ausreichend technischen Kontext, um diese Bestimmungen bewerten zu können.
Eine allgemeine Softwareprüfung könnte KI-spezifische Abhängigkeiten übersehen. Der Dienst könnte auf mehreren Modellanbietern, Retrieval-Systemen, Datenverarbeitern und Monitoring-Tools beruhen. Jede Komponente fügt einen weiteren Punkt hinzu, an dem sich Verhalten oder Exponierung ändern können.
Die Empfehlung von AXA XL zur Due Diligence bei Lieferanten geht daher über die Prüfung hinaus, ob ein Anbieter Prinzipien für verantwortungsvolle KI veröffentlicht. Käufer benötigen Nachweise, die mit dem tatsächlichen Dienst und Anwendungsfall verknüpft sind.
Sie sollten wissen, welche Partei das Modellverhalten überwacht, wer Protokolle aufbewahrt und wie schnell der Anbieter einen Vorfall meldet. Außerdem sollten sie verstehen, was nach Vertragsende mit Kundendaten geschieht.
Das bedeutet nicht, dass jede Organisation den Quellcode oder Trainingskorpus eines Anbieters prüfen kann. Viele Anbieter werden diese Informationen nicht offenlegen. Es bedeutet, dass Käufer die daraus resultierende Unsicherheit identifizieren und entscheiden müssen, ob der Anwendungsfall sie tolerieren kann.
Eine Organisation könnte begrenzte Transparenz für risikoarme Unterstützung beim Verfassen von Texten akzeptieren. Bevor sie sich für folgenreiche Entscheidungen oder autonome Handlungen auf denselben Anbieter verlässt, sollte sie stärkere Nachweise verlangen.
Die Ergebnisse zu Zukunftsrisiken von AXA aus dem Jahr 2025 zeigten, warum diese Governance-Lücke bereits Aufmerksamkeit auf sich zieht. Experten stuften KI- und Big-Data-Risiken weltweit auf den vierten Platz ein.
Unter den Befragten, die KI als führendes Risiko auswählten, nannten 43% der Experten Gefahren für menschliche Interessen oder Rechte als ihr vorrangiges Anliegen. Mangelnde Transparenz und uneinheitliche Regulierung folgten.
Nur 11% dieser Experten hielten öffentliche Behörden für gut auf KI- und Big-Data-Risiken vorbereitet. Die Befragten priorisierten strengere Regulierung und bessere Rahmenwerke für Risikogovernance als öffentliche Reaktionen.
Diese Zahlen messen nicht die Qualität der Governance innerhalb einzelner Unternehmen. Sie zeigen jedoch eine weitverbreitete Sorge, dass bestehende Institutionen nicht mit der Geschwindigkeit der Technologie Schritt gehalten haben.
Governance-Drift tritt auf, wenn sich das reale System schneller verändert als sein dokumentiertes Kontrollumfeld. Eine neue Funktion erscheint, eine Modellversion ändert sich, Nutzer erweitern den Workflow oder ein Anbieter fügt eine Integration hinzu.
Die ursprüngliche Prüfung kann zwar weiterhin vorliegen, doch ihre Annahmen können veraltet sein. In dieser Situation erzeugt formale Compliance falsches Vertrauen.
Die kontinuierliche Aufsicht muss daher auch Change Management umfassen. Teams benötigen Auslöser für erneute Tests, wenn sich Modelle, Daten, Tools, Berechtigungen oder vorgesehene Nutzungen ändern.
Sie benötigen außerdem Rückmeldungen aus Vorfällen und Beinahevorfällen. Ein Ereignis ohne Schaden kann dennoch schwache Zugriffskontrollen, unklare Verantwortlichkeiten oder einen unzuverlässigen Eskalationsprozess aufdecken.
Die regulatorische Frage lautet nicht einfach, ob ein Unternehmen eine KI-Richtlinie besitzt. Sie lautet, ob diese Richtlinie noch beschreibt, was seine Systeme tun.
Drei Signale werden zeigen, ob die Aufsicht aufholt
Die nächste Phase der Unternehmens-KI wird anhand operativer Nachweise beurteilt werden, nicht anhand der Anzahl von Governance-Prinzipien, die ein Unternehmen veröffentlicht.
Das erste Signal ist, ob Unternehmen verlässliche Inventare aufbauen, die eingebettete und nicht autorisierte KI einschließen. Diese Kennzahl geht über das Zählen genehmigter Modelle hinaus.
Ein glaubwürdiges Inventar sollte Systeme mit Daten, Berechtigungen, Lieferanten, Verantwortlichen und geschäftlichen Folgen verbinden. Es sollte zudem Agenten identifizieren, die handeln können, und nicht nur Inhalte generieren.
Wenn Organisationen beginnen, Inventarabdeckung, Prüfungsergebnisse oder Rückgänge bei unbekannter KI-Nutzung offenzulegen, wird die Diagnose von AXA XL praktische Unterstützung erhalten. Das würde zeigen, dass Unternehmen Sichtbarkeit als Grundlage für Kontrolle erkennen.
Wenn die meisten Unternehmen weiterhin auf selbst gemeldete Tool-Listen und einmalige Genehmigungen setzen, wird die Governance-Lücke bestehen bleiben. Schatten-KI und eingebettete Lieferantenfunktionen werden sich außerhalb formaler Prüfungen weiter ausbreiten.
Das zweite Signal ist die Einführung kontinuierlicher Tests und Vorfallsübungen. Sicherheitsbewertungen vor der Bereitstellung nehmen zu, doch AXA XL argumentiert, dass Prüfungen zum Go-live nicht ausreichen.
Organisationen sollten Prompt-Injection, Datenlecks, übermäßige Berechtigungen, unzuverlässige Ausgaben und Ausfälle von Anbietern testen. An den Übungen sollten Rechtsabteilung, Sicherheit, Betrieb, Kommunikation und Geschäftsverantwortliche beteiligt sein.
Die nützlichsten Tests werden sich auf Folgen konzentrieren. Kann das Unternehmen unautorisierte Tool-Nutzung erkennen? Kann es die Zugangsdaten eines Agenten isolieren? Kann es eine Entscheidung rekonstruieren und betroffene Parteien benachrichtigen?
Eine wachsende Menge realer Daten zu Vorfällen würde sowohl Governance als auch Versicherungen stärken. Sie könnte Organisationen dabei helfen, Kontrollen zu vergleichen, und Underwritern zugleich bessere Informationen über Häufigkeit und Schwere liefern.
Ein Mangel an gemeinsam nutzbaren Nachweisen zu Vorfällen würde das Vertrauen schwächen. Unternehmen könnten eine stärkere Aufsicht behaupten, während sie Fehler wiederholen, die außerhalb ihrer eigenen Systeme unsichtbar bleiben.
Das dritte Signal ist, ob Versicherer und Aufsichtsbehörden nach vergleichbaren Nachweisen fragen. Achten Sie auf Fragen im Underwriting zu KI-Inventaren, Zugriffskontrollen, menschlicher Überprüfung, Anbieterabhängigkeiten und Monitoring.
Beobachten Sie auch, wie Aufsichtsbehörden allgemeine Prinzipien in konkrete Anforderungen an Dokumentation und Tests überführen. Klarere Anforderungen an Nachweise können die Unsicherheit für Käufer, Anbieter und Versicherer verringern.
Die falsche Reaktion wäre ein Wettlauf um Papierarbeit. Unternehmen können umfangreiche Richtlinien erstellen, ohne produktive Systeme tatsächlich zu kontrollieren. Nachweise sollten reale Berechtigungen, Verhalten, Überwachung und Reaktionsfähigkeit abbilden.
Ein besserer Ansatz verknüpft Governance mit Bereitstellungsentscheidungen. Systeme mit höherem Risiko sollten strengeren Kontrollen, häufigeren Tests und klareren Regeln für eine Aussetzung unterliegen. Anwendungen mit geringerem Risiko sollten verhältnismäßig behandelt werden.
Für Entwickler- und Produktteams bedeutet das, Beobachtbarkeit und Überprüfung vor dem Start in den Workflow einzubauen. Protokollierung, die erst nach einem Vorfall ergänzt wird, kann fehlenden Kontext möglicherweise nicht wiederherstellen.
Unternehmenskäufer sollten fragen, worauf ein Produkt zugreifen kann, was es verändern kann und wie sein Anbieter über Aktualisierungen informiert. Sie sollten zudem klären, wer nach der Integration für Fehler verantwortlich ist.
Wissensarbeiter sollten verstehen, dass praktische KI-Funktionen organisatorische Risiken schaffen können. Sensible Unterlagen, Kundendaten, interne Strategien und geschützte Dokumente erfordern genehmigte Verarbeitungswege.
Die Warnung von AXA XL zur KI-Governance stellt letztlich ein vertrautes Bereitstellungsmuster infrage: zuerst starten, später Verantwortlichkeiten festlegen und erst nach einem Fehler Monitoring hinzufügen.
Unternehmen müssen nicht jedes KI-Risiko ausschließen, bevor sie die Technologie einsetzen. Sie müssen jedoch wissen, welche Risiken sie akzeptieren und wer handeln kann, wenn Annahmen scheitern.
Die nächsten ein bis drei Monate sollten zeigen, ob Unternehmen mit operativen Veränderungen oder zusätzlicher Richtliniensprache reagieren. Achten Sie auf vollständige Inventare, wiederholte Tests über den Lebenszyklus hinweg und evidenzbasierte Fragen im Underwriting.
Diese Signale werden wichtiger sein als eine weitere Welle von KI-Prinzipien. Hat Ihre Organisation jedes KI-System erfasst, das auf sensible Daten zugreifen oder eine Geschäftsentscheidung beeinflussen kann, und kann sie nachweisen, dass diese Übersicht aktuell bleibt?
