Die Guardrails von Anthropic, Google und OpenAI bremsen offensive Cybersicherheitsforschung

Die Sicherheitskontrollen von Anthropic, Google und OpenAI stehen nun vor einer schwierigen Bewährungsprobe: Forschende sagen, strengere Guardrails behinderten autorisierte offensive Cybersicherheitsarbeit. Die Beschränkungen richten sich gegen böswilliges Hacking, doch dieselben Kontrollen können die Validierung von Schwachstellen, Reverse Engineering und die Entwicklung von Exploits blockieren.

Dieser Konflikt ließ sich kaum noch ignorieren, nachdem mehrere Forschende im Bereich Offensive Security wiederholte Ablehnungen und uneinheitliche Ergebnisse schilderten. Ihre Arbeit besteht darin, unbekannte Schwachstellen zu finden, bevor Kriminelle sie ausnutzen – häufig durch die Entwicklung kontrollierter Proofs of Concept.

Das Problem besteht nicht nur darin, dass KI-Unternehmen gefährliche Anfragen ablehnen. Forschende sagen, die Systeme hätten Schwierigkeiten, zwischen einem autorisierten Test und einem tatsächlichen Angriff zu unterscheiden. Diese Unklarheit führt zu Verzögerungen, schränkt die Reproduzierbarkeit ein und verlagert sensible Arbeiten auf lokal gehostete Open Models.

OpenAI und Anthropic haben Verifizierungsprogramme eingeführt, die diese Reibung verringern sollen. Google beschränkt ebenfalls Anwendungen generativer KI, die Malware, Störungen der Infrastruktur oder die Umgehung von Sicherheitsfiltern betreffen. Zusammen zeigen diese Richtlinien, wie führende US-KI-Unternehmen Grenzen für Cyberfähigkeiten mit doppeltem Verwendungszweck ziehen.

Der zentrale Streitpunkt geht über eine routinemäßige Beschwerde über Modellablehnungen hinaus. Offensive und defensive Sicherheit erfordern häufig dieselben technischen Schritte. Ein Modell kann die Autorisierung des Akteurs nicht immer anhand des Codes, Befehls oder der Schwachstelle erkennen, die ihm im Kontext vorgelegt werden.

Damit stehen Frontier Labs vor der Wahl zwischen zwei kostspieligen Fehlern. Ein zu permissives Modell kann einem Angreifer helfen, schneller voranzukommen. Ein übervorsichtiges Modell kann einen Verteidiger daran hindern, dieselbe Schwäche zu verstehen und zu beheben.

Forschende sagen, legitime Cyberarbeit werde blockiert

Die unmittelbare Veränderung besteht darin, dass Cyber-Guardrails inzwischen praktische Forschungsabläufe unterbrechen – nicht nur offensichtlich böswillige Anfragen.

Eine Untersuchung zur Cybersicherheit vom 23. Juli dokumentierte Beschwerden von Forschenden, die Schwachstellen finden und Exploits entwickeln. Mehrere erklärten, Frontier-Modelle hätten legitime Anfragen abgelehnt oder bei autorisierter Arbeit uneinheitliche Antworten geliefert.

Offensive Security bedeutet, Systeme mit Zustimmung des Eigentümers aus der Perspektive eines Angreifers zu testen. Dazu gehören Penetrationstests, Exploit-Validierung, Red Teaming und einige Formen des Reverse Engineering.

Diese Aktivitäten können Schwächen aufdecken, die eine herkömmliche Codeprüfung übersieht. Ein verdächtiger Codepfad wird erst dann relevant, wenn ein Forschender feststellt, ob er erreichbar und ausnutzbar ist.

Chris Anley, Chief Scientist bei NCC Group, sagte TechCrunch, die Bitte an ein Modell, einen Bug auszunutzen, könne bestätigen, ob dieser behoben werden müsse. Eine Ablehnung in dieser Phase nehme nicht nur Komfort weg. Sie könne den Prozess der Beweisführung unterbrechen, der einem Unternehmen hilft, eine Behebung zu priorisieren.

Anley verglich die Technologie mit einem Hammer, der sowohl Werkzeug als auch Waffe sein könne. Sein übergeordneter Punkt betrifft technische Überschneidungen. Anweisungen, die für die Ausnutzung nützlich sind, können auch essenziell sein, um zu demonstrieren, dass anfälliger Code ein reales Risiko schafft.

Diese Überschneidung ist besonders bei Zero-Days wichtig, also bei Schwachstellen, die dem betroffenen Anbieter bei ihrer Entdeckung unbekannt sind. Forschende müssen häufig die Ausführung nachverfolgen, Speicher manipulieren oder ungewöhnliche Eingaben konstruieren, bevor sie einen Fehler verstehen.

Diese Schritte ähneln dem Verhalten von Angreifern, weil Forschende den Angriff reproduzieren. Ein Klassifikator sieht verdächtige Begriffe, Code und Befehle. Möglicherweise sieht er nicht den Vertrag oder die Autorisierung im Labor, die die Arbeit legitimiert.

Ein Forschender bei einem Hersteller von Smartphone-Komponenten sagte TechCrunch, die Tools von Anthropic seien für die Suche nach Schwachstellen außerhalb des Verifizierungsprogramms kaum noch nutzbar geworden. Das System habe die Arbeit eingestellt, sobald es sicherheitsbezogene Tätigkeiten erkannt habe.

Chris Thompson, CEO von RemoteThreat, beschrieb einen weiteren Fehlermodus. Er sagte, Guardrails hätten sich je nach Sitzung unterschiedlich verhalten, auch innerhalb geprüfter Programme mit lockereren Beschränkungen.

Diese Inkonsistenz ist relevant, weil Schwachstellenforschung von wiederholbaren Experimenten abhängt. Ein Forschender muss feststellen, ob ein Ergebnis vom Zielsystem, der Testmethode oder dem wechselnden Eingreifen des Modells stammt.

Wenn sich die Durchsetzung von Richtlinien ohne klare Erklärung ändert, fügt das Modell eine weitere unkontrollierte Variable hinzu. Zeit fließt dann von der Analyse der Schwachstelle in die Umformulierung von Prompts und die Diagnose von Ablehnungen.

Die Beschränkungen betreffen nicht alle Praktiker gleichermaßen. Giuseppe Cali, der Zero-Days findet und Exploits entwickelt, sagte TechCrunch, Guardrails hätten seine Arbeit nicht behindert.

Cali nutzt KI für anfängliches Reverse Engineering und zum Aufbau unterstützender Tools. Die eigentliche Suche nach Schwachstellen und die Weaponization behält er unter eigener Kontrolle – teilweise, weil ihm diese Arbeit Freude bereitet.

Seine Erfahrung setzt der Kritik eine wichtige Grenze. Frontier-Modelle können nützlich bleiben, wenn Forschende ihnen unterstützende Aufgaben mit geringerem Risiko zuweisen. Der Konflikt verschärft sich, wenn ein Workflow sich der Ausnutzbarkeit, dem Verhalten von Payloads oder operativen Tests nähert.

Die aktuelle Debatte betrifft daher den Zugang zu bestimmten Fähigkeiten, nicht die Frage, ob KI in der Sicherheit überhaupt einen Wert hat. Modelle können Code zusammenfassen, Funktionen erklären, Tests vorschlagen oder bei der Dokumentation helfen, ohne die schwierigsten Richtliniengrenzen zu überschreiten.

Probleme entstehen, wenn ein Forschender das Modell bittet, diese Schritte miteinander zu verbinden. Gerade diese Verbindung macht aus einem möglichen Fehler häufig einen verifizierten Sicherheitsbefund.

Warum Richtlinien von Anthropic und Google Angriff und Verteidigung nicht sauber trennen können

Die Richtlinien von Anthropic, Google und anderen Frontier Labs stehen vor einem Klassifizierungsproblem, das sich allein mit Prompts nicht zuverlässig lösen lässt.

Anthropic erklärt, seine Echtzeit-Schutzmaßnahmen blockierten verbotene Nutzung und risikoreiche Aktivitäten mit doppeltem Verwendungszweck. Zu den verbotenen Kategorien gehöre Verhalten mit geringem legitimen defensiven Nutzen, etwa die Entwicklung von Ransomware oder die massenhafte Exfiltration von Daten.

Die Kategorie mit hohem Risiko und doppeltem Verwendungszweck ist komplizierter. Anthropic nennt ausdrücklich die Ausnutzung von Schwachstellen und die Entwicklung offensiver Sicherheitstools, die beide legitimen defensiven Zwecken dienen können.

Diese Anfragen werden bei betroffenen Claude-Modellen standardmäßig blockiert. Verifizierte Nutzer können über das Cyber Verification Program von Anthropic, kurz CVP, Anpassungen beantragen.

Anthropic sagt, dass zugelassene Praktiker weiterhin auf Blockaden stoßen könnten. Das Unternehmen räumt ein, berechtigte Antragsteller fälschlich ablehnen zu können und dass zugelassene Nutzer bei legitimer Arbeit Beschränkungen erleben könnten.

Dieses Eingeständnis spiegelt die zentrale technische Herausforderung wider. Ein Modell kann von einem Penetrationstester und einem Kriminellen identische Anweisungen zur Exploit-Entwicklung erhalten. Der sichtbare Unterschied ist häufig die Autorisierung, nicht der angefragte Vorgang.

Die Richtlinie zu verbotener Nutzung von Google untersagt in ähnlicher Weise Inhalte generativer KI, die Malware, Missbrauch von Infrastruktur oder die Umgehung von Sicherheitsfiltern erleichtern. Sie erlaubt Ausnahmen, wenn Bildungs-, Wissenschafts- oder Gemeinwohlvorteile den Schaden überwiegen.

Die Ausnahmeregelung erkennt den Kontext an, doch die Durchsetzung im großen Maßstab bleibt schwierig. Ein Nutzer kann behaupten, ein Zielsystem zu besitzen, ohne dies nachzuweisen. Ein legitimer Forschender kann auch an einem Produkt arbeiten, ohne dessen Infrastruktur zu kontrollieren.

OpenAI beschreibt Cyberfähigkeiten als grundsätzlich dual-use. Das Unternehmen erklärt, defensive und offensive Workflows beruhten weitgehend auf demselben Wissen und vielen derselben Techniken.

Das Unternehmen berichtete für 2025 von einem starken Anstieg der Cyberleistung. Die Capture-the-Flag-Ergebnisse seiner Modelle stiegen laut seinem Plan zur Cyberresilienz von 27 % im August auf 76 % im November.

Capture-the-Flag-Herausforderungen sind kontrollierte Sicherheitsübungen mit absichtlich verwundbaren Zielen. Sie testen Fähigkeiten wie Aufklärung, Reverse Engineering, Ausnutzung und Privilegienerweiterung.

OpenAI nutzt höhere Fähigkeitsgrenzen, um Modelle vorherzusehen, die Remote-Zero-Day-Exploits entwickeln oder bei komplexen Eindringversuchen helfen können. Diese Entwicklung erklärt, warum das Unternehmen nicht jede Cyberanfrage wie gewöhnliche Programmierarbeit behandeln wird.

Google DeepMind verfolgt auf Ebene der Modellentwicklung einen ähnlichen risikobasierten Ansatz. Sein Sicherheitsrahmen zählt Cybersicherheit zu den Bereichen, die Fähigkeitsbewertungen und eskalierende Schutzmaßnahmen erfordern.

Diese Richtlinien reagieren auf ein reales Problem. Ein leistungsfähiges Modell kann Spezialwissen komprimieren, repetitive Arbeit automatisieren und Tools koordinieren. Dieselbe Effizienz, die einem Verteidiger zur Verfügung steht, kann den Aufwand für Missbrauch senken.

Aggressives Prompt-Filtering ist jedoch eine grobe Antwort auf ein Problem der Identität und Autorisierung. Technische Inhalte allein liefern nur schwache Hinweise auf den Zweck eines Nutzers.

Auch einfache Formulierungen können irreführend sein. Ein harmloser Prompt kann Begriffe wie Shellcode, Exploit, Persistenz oder Credential Extraction enthalten, weil diese Konzepte in legitimen Prüfungen vorkommen.

Eine böswillige Anfrage kann bereinigte Sprache verwenden. Ein Angreifer könnte den Diebstahl von Zugangsdaten als Kontowiederherstellung beschreiben oder die Ausnutzung als Kompatibilitätstest tarnen.

Klassifikatoren müssen Code, Absicht, Ziel, Kontohistorie und begleitende Aktivitäten bewerten. Selbst dann treffen sie probabilistische Urteile, statt die rechtliche Autorisierung zu verifizieren.

False Positives werden besonders bei explorativer Forschung wahrscheinlich. Forschende wissen nicht immer, was aus einem verdächtigen Codepfad wird. Möglicherweise müssen sie mehrere offensive Hypothesen testen, bevor sie die tatsächliche Schwachstelle identifizieren.

Diese Unsicherheit steht im Konflikt mit Systemen, die zu Beginn einen sauber definierten defensiven Zweck erwarten. Der Forschungsprozess liefert diese Erklärung häufig erst, nachdem technisch riskant wirkende Arbeit begonnen hat.

Verifizierter Zugang hilft, beseitigt die Reibung aber nicht

Verifizierungsprogramme verbessern den Zugang für bekannte Verteidiger, können jedoch keine uneingeschränkten oder vorhersehbaren Forschungsabläufe garantieren.

Das CVP von Anthropic ist ein antragsbasiertes Programm für legitime Cyberarbeit mit hohem Risiko. Das Unternehmen erklärt, innerhalb von zwei Geschäftstagen eine Prüfentscheidung treffen zu wollen.

Die Genehmigung ist an eine bestimmte Organisation gebunden. Forschende können weiterhin Blockaden erhalten, wenn sie einen anderen Workspace nutzen oder auf eine Aktivität treffen, die weiterhin verboten ist.

Auch die Verfügbarkeit variiert je nach Plattform. Anthropic erklärt, dass CVP derzeit nicht über Amazon Bedrock oder Google Vertex AI verfügbar ist. Drittanbieteranwendungen, die Claude nutzen, nehmen möglicherweise ebenfalls nicht teil.

Diese Unterschiede schaffen operative Komplexität. Ein Sicherheitsteam kann je nach Cloud-Anbieter, Workspace-Konfiguration oder Softwareintegration unterschiedlich behandelt werden.

Das Programm erfordert zudem Datenaufbewahrung. Anthropic rät Organisationen, die Zero Data Retention nutzen, einen separaten Workspace einzurichten, in dem die Aufbewahrung aktiviert ist.

Diese Bedingung wirft über Guardrails hinaus ein zweites Problem auf. Offensive Forschung umfasst häufig vertraulichen Quellcode, ungepatchte Schwachstellen, proprietäre Firmware und Informationen, die eine Kompromittierung ermöglichen könnten.

Das Senden dieser Materialien an ein gehostetes Modell kann zu einer inakzeptablen Offenlegung führen, selbst wenn vertragliche Schutzmaßnahmen bestehen. Einige Forschende vermeiden Frontier-Dienste daher, bevor ein Anbieter den Fehler gepatcht hat.

Paolo Stagno, Chief Technology Officer bei Crowdfense, sagte TechCrunch, sein Team nutze Frontier-Modelle für Reverse Engineering. Um Schwachstellen zu finden oder Exploits zu erstellen, setze es sie jedoch nicht ein.

Stagno verwies auf Bedenken, sensible Informationen über Schwachstellen preiszugeben oder Daten in künftige Trainingsdaten einfließen zu lassen. Für Exploit-Arbeit nutzt sein Team lokal betriebene offene Modelle, bei denen das Material nicht an einen Anbieter gesendet werden muss.

Das System von OpenAI für trusted cyber access umfasst mehrere Fähigkeitsstufen. Der Standardzugang unterstützt gängige defensive Aufgaben, während der verifizierte Zugang einige Beschränkungen für autorisierte Arbeiten lockert.

Noch spezialisiertere Zugänge decken offensive Tests ab, darunter Exploit-Entwicklung, Penetrationstests, Reverse Engineering und Red Teaming. Die Genehmigung für eine Zugangsstufe gewährt nicht automatisch Zugriff auf jedes cyberspezialisierte Modell.

OpenAI erklärt außerdem, dass das Programm nicht jede Schutzmaßnahme oder Ablehnung aufhebt. Der Zugang bleibt auf zugelassene Nutzer, interne Arbeitsabläufe und Systeme beschränkt, die die Organisation besitzt oder für deren Tests sie eine Erlaubnis hat.

Diese Bedingungen sind nachvollziehbar. Ein Anbieter kann eine Verifizierung nicht sicher als pauschale Erlaubnis interpretieren, jedes beliebige Ziel anzugreifen.

Gleichzeitig zeigen sie, warum Verifizierung das Forschungsproblem nicht vollständig löst. Autorisierung ist granular. Sie kann für ein bestimmtes System, einen Zeitraum, eine Testmethode oder einen Kundenauftrag gelten.

Eine allgemeine Genehmigung auf Kontoebene kann nicht jede Änderung des Umfangs abbilden. Eine fortlaufende Prüfung von Dokumenten würde zusätzliche Verzögerungen verursachen und weitere Kundeninformationen offenlegen.

OpenAI erklärte zuvor, sein vertrauensbasiertes Programm habe Tausende verifizierter Verteidiger und Hunderte Teams erreicht, die kritische Software schützen. Dieser Umfang zeigt Nachfrage, misst aber weder Fehlalarme noch abgebrochene Arbeitsabläufe.

Die fehlenden Leistungsindikatoren sind praktischer Natur. Forschende müssen wissen, wie häufig genehmigte Anfragen blockiert werden, wie lange Einsprüche dauern und ob Entscheidungen zwischen Modell-Updates stabil bleiben.

Sie benötigen auch nützliche Erklärungen. Eine allgemeine Sicherheitsmeldung verrät nicht, ob das Ziel, das Codeverhalten, die gewünschte Ausgabe oder kumulierte Kontoaktivitäten den Auslöser bildeten.

Ohne diese Informationen experimentieren Nutzer mit der Formulierung von Prompts. Dieses Verhalten kann wie ein Umgehungsversuch wirken, selbst wenn Forschende lediglich ein legitimes Ergebnis erzielen wollen.

Bessere Durchsetzung würde sich auf die gesamte Betriebsumgebung konzentrieren. Anbieter können Identitätsprüfung mit isolierter Ausführung, Positivlisten für Ziele, Ratenbegrenzungen, Audit-Protokollen und kontrolliertem Netzwerkzugang verbinden.

Dieses Modell ähnelt einer Cyber Range, also einer isolierten Umgebung für Sicherheitsübungen. Es liefert stärkere Nachweise für eine Autorisierung als die Klassifizierung von Prompts allein.

Es verlagert jedoch auch mehr Verantwortung auf die Infrastruktur. Anbieter müssen bestätigen, dass ein vermeintlich isoliertes Ziel nicht zu einer Brücke in ein externes System werden kann.

Dieser Ansatz wird nicht alle Forschenden abdecken. Unabhängige Spezialisten und kleine Beratungen verfügen womöglich nicht über die organisatorischen Unterlagen, die unternehmensorientierte Programme erwarten.

Die Sicherheitsforschung hat lange von Außenstehenden profitiert, die Produkte ohne formelle Beziehung zum Anbieter untersuchen. Würde man erweiterten Zugang auf große, leicht überprüfbare Institutionen beschränken, könnte das diese Gemeinschaft verkleinern.

Das Ergebnis wäre ein Zwei-Klassen-System. Große Unternehmen erhielten spezialisierte Modelle und Unterstützung, während unabhängige Forschende auf Consumer-Tools, lokale offene Modelle oder manuelle Methoden angewiesen wären.

Schutzmaßnahmen drängen sensible Arbeit zu offenen Modellen

Wenn gehostete Frontier-Modelle für vertrauliche Arbeiten unberechenbar oder ungeeignet werden, haben Forschende einen Grund, offene Modelle lokal zu betreiben.

Mehrere Forschende berichteten TechCrunch, dass sie auf herunterladbare Modelle zurückgreifen, wenn amerikanische Frontier-Dienste offensive Aufgaben ablehnen. Thompson verwies ausdrücklich auf chinesische offene Modelle wie GLM.

Die lokale Bereitstellung verändert die Kontrollstruktur. Forschende können die Modellversion wählen, Prompts aufbewahren, externe Verbindungen deaktivieren und anfälligen Code auf ihrer eigenen Hardware behalten.

Sie können ein Experiment auch reproduzieren, nachdem ein Anbieter seinen gehosteten Dienst aktualisiert hat. Ein fester Modell-Checkpoint verhält sich konsistenter als ein Dienst, dessen Schutzmaßnahmen sich ohne Vorankündigung ändern können.

Das bedeutet nicht, dass jedes offene Modell mit der Denkqualität eines führenden gehosteten Modells mithalten kann. Forschende müssen Fähigkeiten, Kontextverarbeitung, Hardwareanforderungen und Tool-Integration vergleichen.

Offene Modelle übertragen zudem mehr Sicherheitsverantwortung auf den Betreiber. Ein schlecht isolierter Agent kann unsichere Befehle ausführen, Geheimnisse preisgeben oder Produktionssysteme erreichen.

Dennoch adressiert lokale Kontrolle zwei Beschwerden zugleich. Sie beseitigt Ablehnungen auf Anbieterebene und verringert die Notwendigkeit, unveröffentlichte Schwachstellendaten an einen externen Dienst zu senden.

Diese Kombination ist wichtiger als die Spitzenposition in Benchmarks. Ein etwas schwächeres Modell kann nützlicher sein, wenn es während eines sensiblen, wiederholbaren Arbeitsablaufs verfügbar bleibt.

Die Verschiebung schafft auch ein strategisches Spannungsfeld für amerikanische KI-Unternehmen. Strenge Schutzmaßnahmen können Missbrauch auf ihren eigenen Plattformen verringern, während sie legitime Experten zu Systemen außerhalb ihrer Kontrolle lenken.

Diese Forschenden liefern dann Feedback, Integrationen und Wissen über Arbeitsabläufe für ein anderes Modell-Ökosystem. Ihre Nutzung kann Tools rund um Modelle verbessern, die weniger Beschränkungen haben.

Das ist kein Beweis dafür, dass Schutzmaßnahmen das Internet unsicherer machen. Angreifer können offene Modelle nutzen, unabhängig davon, wofür sich verifizierte Verteidiger entscheiden.

Die Abwanderung von Verteidigern kann jedoch das Argument schwächen, dass gehostete Beschränkungen verantwortungsvollen Nutzern einen Vorteil sichern. Dieser Vorteil zählt nur, wenn diese Nutzer sinnvolle Arbeit abschließen können.

OpenAI beschreibt seine Strategie als Versuch, Verteidigern bessere Tools zu geben und gleichzeitig böswillige Fähigkeitssteigerungen zu begrenzen. Anthropic bietet verifizierten Fachleuten ähnlich angepasste Schutzmaßnahmen an.

Beide Ziele hängen von kalibriertem Zugang ab. Eine Kontrolle, die fast jedes gefährlich wirkende Verhalten blockiert, kann Missbrauch reduzieren, aber auch genau die Fähigkeiten beseitigen, die Verteidigern zugesagt wurden.

Der Migrationsdruck geht über ausdrückliche Ablehnungen hinaus. Gehostete Modelle können unattraktiv werden, wenn Aufbewahrungsanforderungen, Plattformausschlüsse oder unklare Einspruchsverfahren vertrauliche Aufträge erschweren.

Eine Beratungsfirma kann mehrere Kunden mit getrennten Autorisierungsgrenzen betreuen. Sie kann deren Quellcode und Erkenntnisse nicht bedenkenlos in einem einzigen gespeicherten Arbeitsbereich vermischen.

Ein unabhängiger Forscher kann ein weit verbreitetes Produkt untersuchen, bevor er dessen Hersteller kontaktiert. Diese Person kann nicht immer einen Kundenvertrag als Nachweis einer Autorisierung vorlegen.

Bug-Bounty-Programme schaffen eine weitere Grauzone. Sie laden unter veröffentlichten Regeln zu Tests ein, doch ein Modellanbieter kann möglicherweise nicht prüfen, ob jede angefragte Handlung innerhalb des Umfangs bleibt.

Diese Situationen zeigen die Grenzen einer Prüfung auf Unternehmensebene. Vertrauen ist an eine Person oder Organisation gebunden, während Autorisierung an einen konkreten Vorgang gebunden ist.

Lokal betriebene Modelle umgehen diese Lücke bei der Verifizierung. Sie entfernen aber auch den Anbieter, der groß angelegten Missbrauch erkennen, Zugänge sperren oder verdächtige Muster untersuchen könnte.

Der Zielkonflikt verlagert sich daher, statt zu verschwinden. Gehostete Dienste bieten Aufsicht, können aber Reibung und Vertraulichkeitsbedenken schaffen. Lokale Modelle bieten Kontrolle, verringern jedoch die zentrale Durchsetzung.

Amerikanische Frontier-Labore können die Verfügbarkeit offener Modelle nicht durch strengere Ablehnungen rückgängig machen. Ihre realistischere Option besteht darin, verantwortungsvollen gehosteten Zugang besser zu machen als die lokale Alternative.

Das bedeutet vorhersehbare Richtlinien, schnellere Einsprüche, wirksame Datenschutzkontrollen und Umgebungen, die für kontrollierte Exploitation entwickelt wurden. Allein die rohe Modellfähigkeit wird Sicherheitsforschende nicht auf einer Plattform halten.

Die Kritik der Forschenden hat wichtige Grenzen

Offensive Forschende benennen reale Probleme in Arbeitsabläufen, aber ihre Interessen entscheiden nicht darüber, wie breit gefährliche KI-Fähigkeiten freigegeben werden sollten.

Einige Unternehmen im Bereich offensiver Sicherheit entdecken, erwerben oder verkaufen Schwachstellen an staatliche Kunden. Ihre Arbeit führt nicht immer zu einer sofortigen Offenlegung und Behebung.

Mark Dowd, ein prominenter, von TechCrunch zitierter Forscher, hat Zero-Days an westliche Regierungen verkauft. Er räumte ein, dass dieser Hintergrund seine Sicht auf unternehmerische Beschränkungen prägen kann.

Regierungen schätzen nicht offengelegte Schwachstellen, weil Geheimdienste sie nutzen können, solange Ziele weiterhin gefährdet sind. Dieser Markt erschwert jede einfache Gleichsetzung offensiver Forschung mit öffentlicher Verteidigung.

Ein Modellanbieter muss mehr berücksichtigen als die Frage, ob ein Kunde vertrauenswürdig wirkt. Er muss auch bedenken, ob Unterstützung Überwachung, Eindringen in Systeme oder das Horten von Exploits ausweiten könnte.

Rechtliche Autorisierung ist nicht mit öffentlichem Nutzen gleichzusetzen. Eine staatlich genehmigte Operation kann weiterhin umstritten sein oder systemische Risiken schaffen, wenn eine Schwachstelle weit verbreitete Software betrifft.

Auch Forschende unterscheiden sich darin, wie zentral KI werden sollte. Calis Arbeitsablauf legt nahe, dass nützliche Unterstützung vor automatisierter Fehlersuche oder Bewaffnung enden kann.

Dieser Ansatz bewahrt menschliches Urteilsvermögen in den riskantesten Phasen. Er verringert auch die Wahrscheinlichkeit, dass ein Modell aus einer unvollständigen Idee eine wiederverwendbare Angriffsmethode macht.

Das Risikoargument der Anbieter ist unterdessen nicht hypothetisch. OpenAI erklärt, die Cyber-Leistung von Modellen sei rasch gestiegen, und alle drei Labore behandeln fortgeschrittene Cyber-Fähigkeiten als ernsthaftes Sicherheitsfeld.

Wenn Modelle zu länger laufender Agentenfähigkeit gelangen, wird eine einzelne Antwort weniger wichtig als eine Abfolge von Handlungen. Ein Agent kann Code prüfen, Tests erzeugen, Befehle ausführen, Fehler bewerten und seinen Plan überarbeiten.

Diese Fähigkeit verändert die Tragweite. Eine Ablehnung, die früher eine kurze Malware-Anfrage blockierte, muss möglicherweise Tausende koordinierter Aktionen steuern.

Sie macht auch isolierte Tests unverzichtbar. Ein mit Tools arbeitender Agent kann Grenzen überschreiten, die ein rein textbasierter Assistent nicht erreichen kann.

Forschende verdienen vorhersehbaren Zugang, doch Anbieter benötigen Nachweise, dass die umgebende Umgebung Fehler auffängt. Verifizierung allein kann diese Nachweise nicht liefern.

Zudem gibt es keine öffentliche, standardisierte Messung der Qualität von Schutzmaßnahmen für legitime Cyber-Arbeit. Anekdoten zeigen Fehlermodi auf, belegen aber keine allgemeinen Fehlalarmraten.

Die TechCrunch-Interviews umfassen unterschiedliche Organisationen und Arbeitsabläufe. Sie liefern glaubwürdige Warnsignale, aber keine repräsentative Umfrage der Sicherheitsbranche.

Auch Anbieter veröffentlichen nur begrenzte Daten über die Erfahrungen zugelassener Nutzer. Einschreibungszahlen zeigen Reichweite, sagen jedoch wenig über den Abschluss von Aufgaben oder die Nützlichkeit von Modellen aus.

Diese Evidenzlücke ermutigt beide Seiten, ihre Position zu überzeichnen. Forschende können eine Ablehnung als Beweis dafür deuten, dass Sicherheitspolitik willkürlich ist. Anbieter können die Verfügbarkeit eines Programms als Beweis betrachten, dass legitimer Zugang funktioniert.

Eine bessere Bewertung würde realistische autorisierte Arbeitsabläufe über mehrere Modelle hinweg testen. Sie sollte Aufgabenerfolg, unangemessene Ablehnungen, unsichere Befolgung, Konsistenz, Einspruchsdauer und Anforderungen an die Datenverarbeitung messen.

Der Benchmark sollte auch mehrdeutige Fälle enthalten. Einfache defensive Prompts und eindeutige Ransomware-Anfragen testen die umstrittene Grenze nicht.

Szenarien könnten die Validierung eines Exploits innerhalb einer Cyber Range, Reverse Engineering von Malware, die Analyse eines Bug-Bounty-Ziels und die Entwicklung eines sicheren Proof of Concept umfassen.

Unabhängige Evaluatoren müssten außerdem Zugang zu den Modellstufen mit dem höchsten Risiko erhalten. Andernfalls würden sie öffentliche Beschränkungen messen, ohne zu prüfen, ob Verifizierung das Problem tatsächlich löst.

Die Ergebnisse sollten keine operativen Details offenlegen, die Missbrauch ermöglichen. Eine aggregierte Berichterstattung kann dennoch zeigen, ob Kontrollen legitime Arbeit im Laufe der Zeit genauer unterscheiden.

Solange solche Nachweise fehlen, bleiben weitreichende Schlussfolgerungen verfrüht. Schutzmaßnahmen verursachen für einige Forschende eindeutig Reibung, doch ihre Entfernung würde ein anderes und potenziell größeres Risiko schaffen.

Das praktische Ziel ist nicht uneingeschränkter Zugang. Es geht um verantwortbaren Zugang, der unter realistischen offensiven Testbedingungen nützlich bleibt.

Was Anthropic, Google und OpenAI als Nächstes beweisen müssen

Die nächste Phase sollte an Zuverlässigkeit in Arbeitsabläufen, kontrollierter Ausführung und daran gemessen werden, ob verantwortungsvolle Forschende auf regulierten Plattformen bleiben.

Das erste Signal sind messbare Ergebnisse innerhalb von Verifizierungsprogrammen. Anthropic und OpenAI sollten Genehmigungsfristen, Ergebnisse von Einsprüchen und Falsch-Positiv-Raten bei legitimen Dual-Use-Anfragen veröffentlichen.

Diese Zahlen benötigen Kontext, einschließlich Modell, Zugriffsebene und Aufgabenkategorie. Ein einziger programmweiter Prozentsatz könnte gravierende Probleme bei der Validierung von Exploits verschleiern.

Anthropic erklärt bereits, CVP-Anträge innerhalb von zwei Geschäftstagen entscheiden zu wollen. Die wichtigere Frage lautet, was nach der Genehmigung geschieht.

Wenn verifizierte Forschende weiterhin häufig auf unerklärliche Sperren stoßen, hat die Prüfung die Grenze lediglich verlagert, ohne das Problem im Arbeitsablauf zu lösen. Sinkende Falsch-Positiv-Raten würden die Argumentation für abgestufte Schutzmaßnahmen stärken.

Das zweite Signal ist die Verbreitung kontrollierter Forschungsumgebungen. Frontier-Labs können isolierte Arbeitsbereiche mit überprüfbaren Tools, eingeschränkter Netzwerkanbindung und klarer Zielautorisierung bereitstellen.

Solche Umgebungen würden es Modellen ermöglichen, gefährlich wirkende Aufgaben auszuführen, ohne offenen Zugriff auf externe Infrastruktur zu gewähren. Außerdem würden sie die Prüfung von Vorfällen konkreter machen als Spekulationen auf Prompt-Ebene.

Erfolg würde Unterstützung über Cloud-Plattformen und Tools von Drittanbietern hinweg erfordern. Anthropics aktuelle Verfügbarkeitslücken beim CVP zeigen, wie der Zugang beeinträchtigt werden kann, wenn das Modell Nutzende über Vermittler erreicht.

Datenschutzkontrollen werden ebenso wichtig sein wie Ausführungskontrollen. Sicherheitsteams benötigen glaubwürdige Optionen für den Umgang mit proprietärem Code und nicht veröffentlichten Schwachstellen, ohne zusätzliche Risiken zu schaffen.

Wenn Unternehmen Cyber-Ranges mit starken Optionen zur Datenaufbewahrung kombinieren, können mehr Forschende den Einsatz gehosteter Modelle rechtfertigen. Bleibt die Aufbewahrung verpflichtend, wird sensible Arbeit weiterhin lokal verlagert.

Das dritte Signal ist das Verhalten der Forschenden. Anbieter sollten beobachten, ob angesehene offensive Teams spezialisierte Frontier-Modelle zur Validierung von Exploits nutzen und nicht nur zur Zusammenfassung von Code.

Eine anhaltende Verlagerung zu GLM und anderen herunterladbaren Modellen würde die Behauptung schwächen, dass verifizierter Zugang Verteidigern einen praktischen Vorteil verschafft. Eine stabile Nutzung würde darauf hindeuten, dass Schutzmaßnahmen brauchbar werden.

Google gehört in diesen Vergleich, obwohl sich die jüngsten Berichte von Forschenden hauptsächlich auf Anthropic und OpenAI konzentrierten. Seine Richtlinien und sein Frontier-Framework spiegeln denselben grundlegenden Zielkonflikt wider.

Die Keyword-Kombination anthropic google erfasst zudem eine breitere Marktrealität. Sicherheitsteams vergleichen Governance, Bereitstellung, Datenschutz und Zugang über verschiedene Anbieter hinweg – nicht nur rohe Benchmark-Werte.

Kein Unternehmen kann die Klassifizierung von Dual-Use-Fällen mit einer besseren Ablehnungsnachricht lösen. Die entscheidenden Verbesserungen werden Identität, Umgebung, Autorisierung, Überwachung und einen transparenten Weg zur Korrektur von Fehlern verbinden.

Entwickler und Unternehmenskäufer sollten vor der Einführung eines KI-Modells für Sicherheitsarbeit direkte Fragen stellen. Welche Aufgaben lösen erweiterte Schutzmaßnahmen aus? Können genehmigte Nutzende während eines laufenden Engagements Einspruch einlegen?

Sie sollten außerdem Datenaufbewahrung, regionale Verarbeitung, Plattformverfügbarkeit, Prüfbarkeit und Stabilität der Modellversionen untersuchen. Diese Details entscheiden darüber, ob ein Produkt ein tatsächliches Sicherheitsprogramm unterstützen kann.

Offensive Forschende sollten Falsch-Positive dokumentieren, ohne Material zu veröffentlichen, das Schaden ermöglicht. Vergleichbare Nachweise werden es Anbietern erschweren, Fehler als isolierten Missbrauch abzutun.

KI-Unternehmen wiederum sollten ungerechtfertigte Ablehnungen als Sicherheitsmängel behandeln. Ein System, das Verteidiger unterschiedslos blockiert, erreicht nicht die angestrebte Balance.

Der kommende Test ist einfach. Können Anthropic, Google und OpenAI eine sinnvolle Aufsicht wahren und zugleich autorisierten Forschenden verlässlichen Zugang zu den Fähigkeiten geben, die Angreifer bereits suchen?

Wenn verifizierte Programme konsistent und vertraulich werden, können regulierte Frontier-Modelle verantwortungsvolle Fachleute halten. Falls nicht, werden diese Fachleute weiterhin zu lokalen Alternativen mit weniger Einschränkungen und geringerer Aufsicht durch Anbieter wechseln.