SK Shieldus AI Red Teaming verlagert sich von Modelltests zu Agentenaktionen
SK Shieldus AI Red Teaming hat seinen Fokus über Modellsicherungen hinaus auf das Verhalten von Agenten, medizinische Systeme, vernetzte Daten und externe Dienste ausgeweitet. Dieser breitere Ansatz ist wichtig, weil Agenten handeln können, statt lediglich unsicheren Text zu generieren.
Das Unternehmen erklärt, seine White-Hat-Hackergruppe EQST entwickle Angriffsszenarien für Systeme, die Modelle mit Anwendungen, privaten Informationen und operativen Tools verbinden. Das Team wendet seine Methoden außerdem auf medizinische KI an, bei der eine manipulierte Entscheidung die Patientensicherheit beeinträchtigen kann.
Dies ist mehr als nur eine weitere Geschichte über einen Hacking-Wettbewerb. Microsoft, OWASP und Sicherheitsforscher haben bereits gezeigt, dass Prompt Injection moderne Schutzmaßnahmen überstehen kann. SK Shieldus versucht nun, Wettbewerbserfahrung in wiederholbare Tests für Unternehmen zu überführen.
Dieser Wandel erhöht den Druck auf Sicherheitsanbieter und Unternehmenskäufer gleichermaßen. Herkömmliche Penetrationstests untersuchen Softwaregrenzen, Berechtigungen und bekannte Schwachstellenklassen. Agententests müssen außerdem prüfen, ob eine KI feindseligen Anweisungen folgt, die in Informationen verborgen sind, zu deren Lesen sie autorisiert wurde.
Was SK Shieldus beim AI Red Teaming verändert hat
SK Shieldus erweitert das Ziel von einem isolierten KI-Modell auf die vollständige Umgebung, in der ein Agent Entscheidungen trifft und Handlungen ausführt.
Das Unternehmen gab die Erweiterung am 18. September 2026 über seine White-Hat-Gruppe EQST bekannt. Dem ersten KI-Sicherheitsbericht zufolge nimmt EQST Modelle, vernetzte Daten, Anwendungen, externe Dienste und Agentenumgebungen ins Visier.
Dieser Umfang spiegelt die Struktur von Unternehmensagenten wider. Ein Modell stellt in der Regel die Denkebene bereit, während die umgebende Software ihm Zugriff auf Dateien, Nachrichten, Datenbanken und Geschäftsanwendungen verschafft.
Angreifer müssen nicht jede Komponente überwinden. Ihnen genügt eine vertrauenswürdige Eingabe, die das Verhalten des Agenten verändert, oder eine übermäßige Berechtigung, die aus einem Fehler eine Handlung macht.
Prompt Injection steht im Zentrum dieses Problems. Dabei werden bösartige Anweisungen in Material eingebettet, das ein KI-System verarbeitet, etwa in E-Mails, Webseiten, Bildern oder Dokumenten.
Ein indirekter Angriff erfordert nicht, dass ein Nutzer den feindseligen Befehl selbst eingibt. Der Agent ruft die Inhalte während einer normalen Aufgabe ab und kann eingebetteten Text fälschlich als legitime Anweisung ansehen.
EQST erklärt, es nutze eine proprietäre Sammlung von Angriffsszenarien und eine interne Testmethodik. Ziel ist es, Sicherheitsrisiken aufzudecken, die eine Organisation bei einer internen Prüfung möglicherweise nur schwer erkennen kann.
Das Team wirkte außerdem an einem Leitfaden für KI-Sicherheits-Red-Teaming mit, den Südkoreas Ministerium für Wissenschaft und IKT sowie die Korea Internet and Security Agency veröffentlichten. Der Leitfaden vom 7. Juli behandelt Vorbereitung, Durchführung, Teamorganisation und Berichterstattung.
Dieser Prozessfokus ist wichtig. Ein cleverer Jailbreak kann Aufmerksamkeit erzeugen, doch eine Unternehmensbewertung braucht klar definierte Ziele, Belege, Schweregradbewertungen, Empfehlungen zur Behebung und einen zuverlässigen Retest.
Die Erweiterung knüpft zudem an die umfassendere Betrachtung von KI-Agenten als nichtmenschliche Identitäten durch SK Shieldus an. Dabei handelt es sich um Softwareakteure, die kontrollierte Identitäten und Berechtigungen benötigen, weil sie mit Unternehmenssystemen interagieren.
Im August erklärte das Unternehmen, es erweitere Zero-Trust-Praktiken auf Agenten. Sein Ansatz behandelt jede Agentenanfrage als Vorgang, der eine Identitätsprüfung, begrenzte Autorisierung und fortlaufende Bewertung erfordert.
Diese Zero-Trust-Erweiterung ergänzt das Red Teaming. Identitätskontrollen begrenzen, worauf ein Agent zugreifen kann, während adversariale Tests untersuchen, wie diese Kontrollen unter Druck versagen.
Keine der beiden Komponenten reicht für sich allein aus. Ein Agent mit starkem Schlussfolgern, aber übermäßigem Zugriff bleibt gefährlich. Ein streng eingeschränkter Agent kann innerhalb seiner erlaubten Umgebung weiterhin Daten preisgeben oder schädliche Empfehlungen erzeugen.
Die bemerkenswerte Veränderung ist daher nicht eine einzelne Angriffstechnik. Es ist die Entscheidung, die gesamte Kette zwischen einer nicht vertrauenswürdigen Eingabe und einer folgenreichen Handlung zu testen.
Diese Kette kann Retrieval-Systeme, Tool-Auswahl, Authentifizierung, Speicher, Freigabebildschirme, Protokollierung und nachgelagerte Anwendungen umfassen. Jede Verbindung schafft einen weiteren Punkt, an dem Absicht verloren gehen oder Autorität falsch angewendet werden kann.
Für Käufer steht SK Shieldus Agentensicherheit nun für ein umfassenderes Versprechen. EQST prüft nicht nur, ob ein Modell verbotene Anfragen ablehnt. Es testet, ob eingesetzte Agenten sicher handeln, wenn ihre normalen Eingaben feindselig werden.
KI-Agenten machen Modellfehler zu Geschäftshandlungen
Das zentrale Sicherheitsproblem ist übermäßige Handlungsfähigkeit: Eine manipulierte Ausgabe wird gefährlich, wenn Software über genügend Berechtigungen verfügt, danach zu handeln.
Ein Chatbot kann auf einen feindseligen Prompt mit ungenauem oder eingeschränktem Text reagieren. Ein Agent kann dieselbe manipulierte Antwort nutzen, um eine Nachricht zu versenden, eine Datei offenzulegen, einen Datensatz zu ändern oder einen anderen Dienst aufzurufen.
OWASP definiert übermäßige Handlungsfähigkeit anhand von drei häufigen Designfehlern: übermäßige Funktionalität, übermäßige Berechtigungen und übermäßige Autonomie. Seine Leitlinien zum Agentenrisiko beschreiben, wie Prompt Injection über überprivilegierte Tools schädliche Aktionen auslösen kann.
Betrachten wir einen E-Mail-Assistenten, der ein Postfach zusammenfassen soll. Lesezugriff unterstützt diesen Zweck. Die Berechtigung zum Senden von Nachrichten schafft eine weitere Fähigkeit, die möglicherweise nicht notwendig ist.
Eine bösartige E-Mail kann Anweisungen enthalten, die den Assistenten dazu bringen, andere Nachrichten zu durchsuchen und sensible Inhalte weiterzuleiten. Der Agent kann auf diese Anweisungen stoßen, während er eine autorisierte Retrieval-Aufgabe ausführt.
Die Schwachstelle erstreckt sich über mehrere Ebenen. Das Modell kann Daten nicht von Befehlen unterscheiden, die Anwendung stellt ein Versandtool bereit, und die Identität besitzt die Berechtigung, es zu verwenden.
Ein reiner Modellbenchmark erfasst nur den ersten Fehler. SK Shieldus AI Red Teaming muss den gesamten Pfad reproduzieren, wenn es das operative Risiko messen will.
Microsoft lieferte mit seinem Wettbewerb LLMail-Inject ein konkretes Beispiel. Der simulierte Dienst konnte E-Mails lesen und im Namen eines Nutzers handeln, einschließlich des Versands von Nachrichten.
Angreifer versuchten, Anweisungen in E-Mails zu platzieren, die der Dienst abrufen würde. Ihr Ziel war es, den Assistenten zu einer Handlung zu bewegen, die der Nutzer nie angefordert hatte.
Der Wettbewerb umfasste Schutzmaßnahmen wie Eingabeklassifikatoren, Aktivierungsanalysen, modellbasierte Bewertung und Anweisungshierarchie. Die Teilnehmer passten ihre Angriffe dennoch an verschiedene Szenarien und Modelle an.
Microsoft verzeichnete in der ersten Herausforderung 621 Teilnehmer, 224 Teams und 370.724 Einreichungen. Die Ergebnisse zur Prompt Injection verdeutlichen, warum eine einzelne erfolgreiche Bewertung die Frage nicht abschließend klären kann.
Verteidiger ändern Filter, Prompts und Modelle. Angreifer verändern daraufhin Formulierung, Platzierung, Kodierung, Sprache oder Kontext. Agentensicherheit wird zu einem fortlaufenden Wettstreit statt zu einer einmaligen Zertifizierung.
Deshalb verdienen auch vernetzte Daten besondere Prüfung. Unternehmensagenten nehmen Material aus Quellen auf, denen Mitarbeiter bereits vertrauen, darunter gemeinsame Laufwerke, Kundentickets, interne Wikis und Kollaborationstools.
Eine bösartige Nutzlast kann über jeden Mitwirkenden oder kompromittierten Account eindringen, der die Berechtigung besitzt, diese Inhalte zu bearbeiten. Der Agent kann sie später abrufen, ohne die Änderung als Angriff zu erkennen.
Multimodale Eingaben eröffnen einen weiteren Angriffsweg. Feindselige Anweisungen können in einem Bild, Audioclip oder Video statt in Klartext erscheinen.
Im Juni gewann EQST-Forscher Byunghyun Kim den KI-Red-Team-Wettbewerb Judgement Day, nachdem er multimodale Prompt Injection gegen Industrieszenarien eingesetzt hatte. SK Shieldus erklärte, die Angriffe hätten versteckten Text und gefälschte systemähnliche Protokolle umfasst.
Der Wettbewerb umfasste acht Szenarien, darunter Medizin, Luftfahrt und Katastrophenschutz. Zwei weitere EQST-Forscher belegten laut der Wettbewerbsmitteilung des Unternehmens den fünften und siebten Platz.
Diese Ergebnisse zeigen praktische Erfahrung bei der Entwicklung von Angriffen. Sie belegen nicht, dass EQST jeden ähnlichen Angriff in einer Kundenumgebung verhindern kann.
Die Unterscheidung ist wichtig, weil ein Wettbewerb bekannte Regeln, messbare Ziele und eine isolierte Testumgebung bietet. Ein Unternehmenseinsatz umfasst sich ändernde Integrationen, uneinheitliche Daten, übernommene Berechtigungen und Mitarbeiter mit unterschiedlichen Freigabegewohnheiten.
Ein Unternehmenseinsatz muss Angriffserfolge in Designänderungen übersetzen. Nützliche Empfehlungen könnten schreibgeschützte Berechtigungsbereiche, eng begrenzte Tools, deterministische Validierung, unabhängige Freigaben und Beschränkungen für wiederholte Aktionen umfassen.
Er muss auch die Freigabeoberfläche untersuchen. Ein menschlicher Bestätigungsschritt bietet nur begrenzten Schutz, wenn der Agent die Beschreibung verfasst, die die Person prüft.
Angreifer können diese Beschreibung manipulieren oder die Bedeutung eines Vorgangs verschleiern. Der Bediener genehmigt dann eine gefährliche Handlung in dem Glauben, sie diene der ursprünglichen Anfrage.
Das Sicherheitsziel ist daher nicht nur Modellkonformität. Es geht um die getreue Ausführung der Nutzerabsicht über jede Grenze hinweg, die der Agent überschreitet.
Die Wettbewerbserfolge schaffen Glaubwürdigkeit, keinen Beweis
Die Wettbewerbsergebnisse von EQST belegen ein fähiges Angriffsteam, doch Käufer benötigen weiterhin Nachweise dafür, dass diese Fähigkeiten zu wiederholbaren Verbesserungen in eingesetzten Systemen führen.
Die Gruppe hat Ergebnisse in mehreren Formen von KI- und konventionellen Sicherheitstests erzielt. Diese Breite verschafft SK Shieldus eine glaubwürdige Grundlage für die Erweiterung seines KI-Red-Teams.
Laut Darstellung des Unternehmens belegte EQST im August 2025 den zweiten Platz bei Microsofts Re:LLMail-Inject-Challenge. Der Wettbewerb konzentrierte sich auf adaptive indirekte Prompt Injection gegen einen E-Mail-basierten Agenten.
Im Juni 2026 belegte Byunghyun Kim den ersten Platz bei Judgement Day. Der Wettbewerb lief etwa acht Wochen und testete Angriffe auf KI-Systeme in Branchen mit hohem Risiko.
Im August belegte EQST bei HalCTF, einem KI-Agenten-Hacking-Event im AI Village während DEF CON 34, den fünften Platz. Laut dem Septemberbericht nahmen mehr als 200 Teams teil.
Das Team erhielt außerdem früher im September bei einer Medical-AI-Red-Team-Challenge einen Hauptpreis, einen Exzellenzpreis und einen Sonderpreis. Bei der Veranstaltung wurden Patientensicherheit, Cybersicherheit, Datenschutz, Fairness, Ethik und Agentensicherheit untersucht.
Diese Ergebnisse decken nützliche Kategorien ab. E-Mail-Agenten machen indirekte Prompt Injection sichtbar. Multimodale Systeme prüfen Anweisungen, die jenseits gewöhnlichen Textes verborgen sind. Medizinische Szenarien verbinden Modellverhalten mit sicherheitskritischen Entscheidungen.
Ranglisten messen jedoch Leistung unter Wettbewerbsbedingungen. Sie beantworten selten die Fragen, die ein Chief Information Security Officer vor der Einführung geklärt haben muss.
Wie viele kritische Befunde hat ein Team in einer produktionsnahen Anwendung entdeckt? Welche Befunde ließen sich zuverlässig reproduzieren? Wie schnell haben Entwickler sie behoben?
Hat die Korrektur verwandte Angriffsvarianten gestoppt oder nur die eingereichte Nutzlast? Blieb die nützliche Funktionalität des Systems nach der Einführung strengerer Kontrollen erhalten?
Auch Fehlalarme sind wichtig. Eine Abwehr, die normale Dokumente, Kundennachrichten oder legitime Tool-Aufrufe blockiert, kann einen Agenten unbrauchbar machen.
Falsch-negative Ergebnisse wiegen schwerer, wenn das System sensible Informationen oder irreversible Handlungen verarbeitet. Käufer benötigen Messwerte für beides statt der pauschalen Behauptung, ein Agent habe das Red Teaming bestanden.
Das generative KI-Risikoprofil von NIST empfiehlt adversariale Tests für Prompt Injection, Datenvergiftung, Model Extraction und andere Angriffe. Es fordert außerdem Kennzahlen zu Umgehungen, unbefugtem Zugriff, Eindringversuchen und Gegenmaßnahmen.
Das NIST-Risikoprofil ordnet Red Teaming als einen Teil des fortlaufenden Risikomanagements ein. Ein erfolgreicher Test wird nicht als dauerhafte Absicherung dargestellt.
Daraus ergibt sich die zentrale Herausforderung für das KI-Red-Teaming von SK Shieldus. EQST muss individuelle Angreiferfähigkeiten in einen Service überführen, der bei Kunden, in Branchen und über Agentenarchitekturen hinweg vergleichbare Belege liefert.
Eine ausgereifte Bewertung sollte mit einem Inventar der Agenten beginnen. Tester müssen wissen, welche Identitäten, Tools, Datensätze, Speicher für Erinnerungen, Modelle und externen Dienste an jedem Workflow beteiligt sind.
Anschließend benötigt das Team Bedrohungsszenarien, die an Geschäftsergebnisse gekoppelt sind. Das Extrahieren einer harmlosen Testzeichenfolge unterscheidet sich vom Offenlegen von Patientendaten, dem Ändern eines Zahlungsdatensatzes oder einer Änderung der Produktionskonfiguration.
Tester sollten den vollständigen Angriffspfad dokumentieren. Dazu gehören die feindliche Eingabe, das Retrieval-Ereignis, die Modellentscheidung, der Tool-Aufruf, die Berechtigungsprüfung, der Freigabeschritt und das Endergebnis.
Die Abhilfe muss den Pfad adressieren, nicht den Prompt. Das Blockieren einer bestimmten Formulierung bietet wenig Schutz, wenn ein Angreifer sie umformulieren oder in ein anderes Datenformat verlagern kann.
Eine stärkere Maßnahme könnte Berechtigungen reduzieren, vertrauenswürdige Anweisungen von nicht vertrauenswürdigen Inhalten trennen, Tool-Argumente validieren oder für eine risikoreiche Aktion die Freigabe durch ein unabhängiges System verlangen.
Beim erneuten Testen sind dann neue Angriffsvarianten erforderlich. Andernfalls bestätigt die Bewertung lediglich, dass Entwickler das bekannte Beispiel blockiert haben.
SK Shieldus hat für diesen erweiterten Service bislang keine detaillierten Kennzahlen zu Unternehmensergebnissen veröffentlicht. Die September-Ankündigung nennt weder Erkennungsraten noch Ergebnisse von Nachtests, Auftragsvolumen oder Zeiten bis zur Kundenbehebung.
Dieses Fehlen entkräftet die Fähigkeit nicht. Es begrenzt jedoch, was Käufer aus Auszeichnungen und Unternehmensangaben ableiten können.
Der überzeugendste nächste Schritt wären anonymisierte Belege aus realen Bewertungen. Aussagekräftige Offenlegungen würden Angriffskategorien, betroffene Ebenen, Schweregrad, Behebungsmuster und Wiederauftreten nach Korrekturen zeigen.
Bis dahin sollte die Bilanz von EQST als Beleg für offensive Expertise gelesen werden. Sie ist noch kein öffentlicher Nachweis einer konsistenten Risikoreduzierung über Unternehmensimplementierungen hinweg.
Medizinische KI erhöht die Kosten eines Fehlers
Medizinische KI erschwert das Red Teaming von Agenten, weil Sicherheit, Datenschutz, klinische Sicherheit und menschliche Aufsicht im selben Workflow versagen können.
Ein medizinischer Assistent kann Patienteninformationen zusammenfassen, klinische Referenzen abrufen, Behandlungen terminieren oder einen nächsten Schritt empfehlen. Jede Aufgabe kann sensible Daten und zeitabhängige Entscheidungen umfassen.
Das Risiko verändert sich erneut, wenn eine KI zu einem Agenten wird. Sie kann sich mit Akten, externen Wissensquellen, Kommunikationssystemen oder medizinischen Geräten verbinden, statt lediglich eine Antwort zu generieren.
Eine eingeschleuste Anweisung könnte verfälschen, welche Evidenz der Agent abruft. Sie könnte auch eine Empfehlung beeinflussen, persönliche Informationen offenlegen oder ein Tool über seine vorgesehene Aufgabe hinaus steuern.
Ein Sicherheitsfilter für das zugrunde liegende Modell kann nicht jede nachgelagerte Konsequenz prüfen. Die umgebende Anwendung muss Zugriffsgrenzen durchsetzen, Ausgaben validieren und nachvollziehbare menschliche Entscheidungen bewahren.
Die 2026 Advanced AI Digital Medical Products Red Team Challenge spiegelt dieses weiter gefasste Problem wider. Teilnehmer testeten Wege, Schutzmaßnahmen in den Bereichen Patientensicherheit, Datenschutz, Fairness, Ethik, Cybersicherheit und Agentensicherheit zu umgehen.
Die Auszeichnungen von EQST legen nahe, dass das Team über diese Kategorien hinweg arbeiten kann. SK Shieldus zufolge hilft diese Erfahrung dabei, KI-Red-Teaming auf medizinische Umgebungen auszuweiten.
Eine Challenge bleibt jedoch etwas grundlegend anderes als ein Programm zur klinischen Validierung. Medizinische Systeme arbeiten unter spezifischen Workflows, mit bestimmten Patientenpopulationen, Datenbeschränkungen und beruflichen Verantwortlichkeiten.
Ein Red Team kann einen Angriffspfad identifizieren. Es kann jedoch nicht allein die klinische Wirksamkeit, ein akzeptables Restrisiko oder die angemessene Aufteilung von Verantwortung zwischen Software und Klinikpersonal bestimmen.
Diese Einschränkung sollte das Service-Design prägen. Sicherheitsbefunde müssen mit Safety Engineering, Datenschutzprüfungen, Produkt-Governance und Monitoring nach der Einführung verbunden werden.
Ein Agent könnte beispielsweise nach dem Auftreten manipulierter Metadaten ein falsches Dokument abrufen. Das unmittelbare Problem wirkt wie eine Frage der Retrieval-Integrität.
Die klinische Auswirkung hängt davon ab, was danach geschieht. Ein Assistent mit geringem Risiko könnte eine Quelle zur menschlichen Prüfung anzeigen. Ein autonomeres System könnte das Dokument verwenden, um einen Patienten zu priorisieren oder eine Intervention zu empfehlen.
Dieselbe technische Schwachstelle hat daher je nach Implementierung einen unterschiedlichen Schweregrad. Red-Team-Berichte müssen tatsächliche Berechtigungen, Entscheidungsbefugnisse und Möglichkeiten zur menschlichen Korrektur berücksichtigen.
Medizinische Tests benötigen außerdem repräsentative Grenzfälle. Ein System kann bei gewöhnlicher Sprache sicher agieren, aber versagen, wenn Akten Abkürzungen, widersprüchliche Notizen, Bildannotationen oder kopierten externen Text enthalten.
Angreifer können diese Mehrdeutigkeiten ausnutzen. Sie können auch vertrauenswürdige Formatierungen, Autoritätsaussagen, Systemhinweise oder klinische Anweisungen imitieren.
Das Ergebnis beim Judgement Day liefert einen relevanten Hinweis. Berichten zufolge erhöhte EQST den Angriffserfolg, indem es Eingaben erstellte, die Systemprotokollen ähnelten, und auf Ausnahmen zielte, die im System-Prompt nicht vorkamen.
Diese Methode greift Vertrauenssignale an, nicht nur verbotene Wörter. Sie prüft, ob die KI Quelle und Autorität von Informationen in einem komplexen Kontext unterscheiden kann.
Eine Patientenakte enthält viele solche Signale. Notizen stammen von unterschiedlichen Fachkräften, Systemen und Zeitpunkten und weisen unterschiedliche Grade an Gewissheit auf. Ein Agent darf nicht jede Zeichenfolge als Anweisung mit gleicher Autorität behandeln.
Das Problem offenbart auch einen Zielkonflikt. Ein breiterer Kontext kann den Nutzen eines Agenten erhöhen, doch jede neue Quelle erweitert die nicht vertrauenswürdige Eingabefläche.
Mehr Tools zu gewähren kann den Verwaltungsaufwand senken, doch jedes Tool fügt mögliche Aktionen hinzu. Größere Autonomie kann einen Workflow verkürzen und zugleich die für Prüfungen verfügbare Zeit verringern.
Organisationen können diese Spannungen nicht durch einen universellen Prompt auflösen. Sie benötigen architektonische Kontrollen, die auf die Konsequenz jeder Aktion abgestimmt sind.
Abrufe mit geringem Risiko können mit Protokollierung automatisch erfolgen. Die Offenlegung sensibler Daten kann eine Richtlinienvalidierung erfordern. Eine klinische oder operative Änderung kann eine unabhängige menschliche Freigabe benötigen.
Die Benutzeroberfläche muss die beabsichtigte Aktion, die betroffene Akte, die Informationsquelle und die verwendete Berechtigung klar anzeigen. Sie sollte sich nicht allein auf eine vom Agenten generierte Zusammenfassung verlassen.
Medizinische KI bietet SK Shieldus ein anspruchsvolles Testfeld. Ein Erfolg dort würde zeigen, dass EQST technische Exploits mit sicherheitskritischen operativen Kontrollen verbinden kann.
Ein Scheitern würde die Schwäche offenlegen, KI-Red-Teaming als erweiterten Penetrationstest zu behandeln. Agentensicherheit benötigt einen breiteren Blick auf Entscheidungsqualität, Befugnisse und menschliche Verantwortlichkeit.
Der eigentliche Test ist Wiederholbarkeit im Unternehmen
SK Shieldus muss zeigen, dass sein KI-Red-Team konsistente Befunde liefern kann, obwohl sich Modelle, Tools, Datenquellen und Berechtigungen fortlaufend ändern.
Traditionelle Anwendungstests beginnen häufig mit einem relativ stabilen Release. Ein Agent kann sein Verhalten nach einem Modellupdate, einer Prompt-Überarbeitung, einer Connector-Änderung oder einer Anpassung von Berechtigungen verändern.
Eine neue Dokumentenquelle kann feindliche Inhalte einführen. Ein neues Tool kann die Auswirkungen einer bestehenden Modellschwäche erhöhen. Ein überarbeiteter Freigabefluss kann einen neuen Weg schaffen, die menschliche Aufsicht zu umgehen.
Diese Volatilität macht jährliche Tests für wichtige Implementierungen unzureichend. Organisationen benötigen Bewertungen vor der Veröffentlichung, nach wesentlichen Änderungen und im laufenden Betrieb.
Automatisierte Angriffe können bei der Abdeckung helfen. Sie können Prompt-Varianten generieren, mehrere Kontexte testen und Szenarien über Modelle hinweg wiederholen.
Auch Automatisierung hat Grenzen. Sie optimiert tendenziell auf messbare Ziele und übersieht möglicherweise organisatorische Annahmen, die ein menschlicher Angreifer hinterfragen würde.
Menschliche Spezialisten können solche Annahmen erkennen. Sie könnten feststellen, dass ein schreibgeschützter Agent dennoch eine schädliche Empfehlung erstellen kann oder dass ein Freigabebildschirm die tatsächlichen Tool-Argumente verbirgt.
Der stärkste Service wird beide Ansätze kombinieren. Automatisierte Prüfungen liefern Häufigkeit und Abdeckung für Regressionstests, während menschliche Red Teams unerwartete Angriffspfade erkunden.
Die Szenariodatenbank von SK Shieldus könnte dieses Modell unterstützen. Wiederverwendbare Angriffe können zu Regressionstests werden, nachdem Forscher sie an einem realen System validiert haben.
Die Bibliothek muss sich jedoch weiterentwickeln. Öffentliche Beispiele werden für Verteidiger schnell zu Trainingsdaten, während Angreifer Kodierung, Kontext, Sprache und Bereitstellungsformat ändern.
Die Forschung von Microsoft veranschaulicht diesen Zyklus. Nach der ersten Runde ergänzte der aktualisierte Wettbewerb eine hochpräzise Blockliste, Bereinigung, stärkere Klassifikatoren und überarbeitete Anweisungen.
Forscher erhielten dann eine weitere Gelegenheit zur Anpassung. Dieser Prozess spiegelt reale Unternehmenssicherheit wider, in der die Maßnahme von gestern zum Testziel von morgen wird.
Wiederholbarkeit hängt auch von der Berichterstattung ab. Zwei Prüfer sollten vergleichbare Schweregradkriterien anwenden, selbst wenn sich ihre Kreativität bei Angriffen unterscheidet.
Berichte sollten Modellschwachstellen von Anwendungsfehlern trennen. Sie sollten außerdem Schwächen bei Identität, Berechtigungsdesign, Datenprovenienz, Tools und Benutzeroberflächen benennen.
Eine einzelne Bezeichnung wie „Prompt Injection“ verdeckt zu viel. Ein Angriff kann unerwünschten Text offenlegen, während ein anderer eine Zahlung auslösen oder ein gesamtes Dokumenten-Repository preisgeben kann.
Der Schweregrad sollte erreichbare Daten, verfügbare Aktionen, erforderlichen Angreiferzugriff, Nutzerbeteiligung, Erkennbarkeit, Umkehrbarkeit und geschäftliche Folgen widerspiegeln.
Organisationen benötigen zudem Belege dafür, dass Korrekturen das Risiko senken, ohne den Wert des Agenten zu zerstören. Eine Kontrolle, die jedes externe Dokument deaktiviert, kann Injection verhindern, aber den Workflow zunichtemachen.
An diesem Punkt wird die Beteiligung der Käufer wesentlich. Sicherheitsteams definieren akzeptables Risiko, doch Produktverantwortliche verstehen die Aufgabe, die der Agent weiterhin erfüllen muss.
Entwickler wissen, wo deterministische Prüfungen Modellurteile ersetzen können. Identitätsteams können Berechtigungsbereiche einschränken, während Compliance-Teams Pflichten zu Protokollierung und Aufbewahrung klären.
Auch Wissensarbeiter beeinflussen die Exposition. Sie entscheiden, welche Dokumente in gemeinsame Systeme gelangen und ob die Ausgabe eines Agenten sinnvoll geprüft wird.
Klare Informationsgrenzen können die Gefahr verringern. Teams sollten vertrauenswürdige Anweisungen, nicht vertrauenswürdige Inhalte, sensible Quellen und Aktionen identifizieren, die eine separate Autorisierung erfordern.
Eine durchsuchbare Wissensdatenbank kann das Kontextmanagement verbessern, doch Retrieval allein schafft kein Vertrauen. Provenienz und Berechtigungen bestimmen weiterhin, wie Agenten das Material verwenden sollten.
Organisationen sollten Red-Team-Befunde nicht in isolierte Tickets verwandeln. Die Ergebnisse müssen Architekturstandards, Connector-Richtlinien, Freigaberegeln und Regressionstest-Suites aktualisieren.
Die Agentensicherheit von SK Shieldus wird glaubwürdiger, wenn Kunden Ergebnisse im Zeitverlauf vergleichen können. Ein nützliches Programm sollte zeigen, ob kritische Pfade nach jedem Testzyklus kleiner werden.
Das Unternehmen könnte zudem eine anonymisierte Taxonomie veröffentlichen, die gängigen Agentenarchitekturen zugeordnet ist. Dies würde Käufern helfen zu verstehen, ob die Szenarioabdeckung ihren eigenen Implementierungen entspricht.
Eine unabhängige Validierung würde die Argumentation zusätzlich stärken. Externe Benchmarks, peer-reviewte Methoden oder transparente Bewertungskriterien können wiederholbare Fähigkeiten von Marketingsprache trennen.
Die zentrale Spannung bleibt einfach. Agenten werden nützlicher, wenn sie Kontext und Befugnisse erhalten, doch genau diese Merkmale erhöhen die Folgen von Manipulation.
SK Shieldus AI Red Teaming zielt genau auf diese Spannung. Sein langfristiger Wert wird davon abhängen, ob EQST ihn konsistent messen und Kunden zu sichereren Designs führen kann.
Worauf Käufer als Nächstes achten sollten
Drei Signale werden zeigen, ob SK Shieldus eine unternehmensweite Disziplin aufgebaut oder lediglich die Geschichte eines erfolgreichen Wettbewerbs fortgeschrieben hat.
Das erste Signal ist eine veröffentlichte Methodik. Käufer sollten nach einer klaren Beschreibung suchen, wie EQST Agenten abgrenzt, Angriffsflächen abbildet, Erkenntnisse priorisiert und Nachtests durchführt.
Eine nützliche Methodik sollte das Modell, die Retrieval-Schicht, den Speicher, Identitäten, Berechtigungen, Tools, Datenquellen und Freigabeschnittstellen abdecken. Sie sollte außerdem direkte Angriffe von indirekter Prompt-Injection unterscheiden.
Wenn SK Shieldus reproduzierbare Kriterien veröffentlicht, lässt sich seine Expansion branchenübergreifend leichter bewerten. Bleibt der Prozess undurchsichtig, müssen Kunden die Fähigkeiten für jedes einzelne Engagement separat beurteilen.
Das zweite Signal sind Belege aus eingesetzten Systemen. Anonymisierte Fallstudien sollten berichten, welche Angriffspfade auftraten, wie Kunden sie behoben haben und ob Varianten nach der Behebung weiterhin erfolgreich waren.
Die aussagekräftigsten Belege würden Erkennungsraten, Fehlalarme, kritische Befunde, Ergebnisse von Nachtests und die Zeit bis zur Behebung umfassen. Ein sauberer Test sollte nicht als Nachweis dauerhafter Sicherheit dargestellt werden.
Kundenbelege würden die zentrale Behauptung des Unternehmens stärken. Ein fortgesetzter Fokus auf Rankings und Auszeichnungen würde die operative Wirkung ungewiss lassen.
Das dritte Signal ist die Integration zwischen Tests und der Governance von Agenten. SK Shieldus hat Agenten bereits mit nicht-menschlichen Identitäten und Zero-Trust-Kontrollen verknüpft.
Käufer sollten beobachten, ob Red-Team-Erkenntnisse automatisch Berechtigungen, Monitoring, Connector-Richtlinien und Freigabeanforderungen beeinflussen. Eine solche Rückkopplungsschleife würde Angriffe in dauerhafte Kontrollen überführen.
Das Signal schwächt sich ab, wenn Red Teaming eine separate Beratungsleistung bleibt. Berichte verlieren häufig an Wert, wenn ihre Empfehlungen nie Identitätssysteme, Engineering-Standards oder Freigabeschranken für Deployments erreichen.
Auch die Aktivitäten von Wettbewerbern werden eine Rolle spielen, sollten jedoch unterstützender Kontext bleiben. Microsoft und die breitere Sicherheitsgemeinschaft entwickeln weiterhin Abwehrmaßnahmen, Benchmarks und Designmuster gegen indirekte Prompt-Injection.
Diese Bemühungen erhöhen die Erwartungen an jeden Anbieter. Der Anspruch auf Expertise bei Prompt-Injection reicht nicht mehr aus, wenn öffentliche Forschung bereits adaptive Angriffe gegen mehrschichtige Abwehrmechanismen dokumentiert.
Unternehmenskäufer sollten vor der Beauftragung eines Tests einen direkten Fragenkatalog stellen. Welche vollständigen Workflows wird das Team angreifen, und welche folgenreichen Aktionen stehen am Ende jedes Pfads?
Sie sollten fragen, ob Tester Anwendungscode, Prompts, Tool-Definitionen, Zugriffsbereiche und Logs prüfen können. Black-Box-Tests bieten eine Perspektive, doch interner Zugriff kann tiefere Designfehler offenlegen.
Sie sollten Nachtests mit Angriffsvarianten nach der Behebung verlangen. Außerdem sollten sie Belege dafür fordern, dass neue Kontrollen legitime Aufgaben weiterhin ermöglichen.
Schließlich sollten sie festlegen, wer die Verantwortung für ungelöste Risiken trägt. Das Red Team kann einen Fehler aufdecken, doch Geschäftsverantwortliche müssen entscheiden, ob Berechtigungen reduziert, zusätzliche Prüfungen eingeführt, der Workflow neu gestaltet oder das Deployment verschoben werden soll.
SK Shieldus hat eine glaubwürdige offensive Erfolgsbilanz aufgebaut und ein wichtiges Ziel ausgewählt. KI-Agenten schaffen ein Sicherheitsproblem, das Modelle, Software, Identitäten, Daten und menschliche Entscheidungen umfasst.
Die nächste Phase ist schwieriger als der Sieg in einem Wettbewerb. EQST muss beweisen, dass SK Shieldus AI Red Teaming reproduzierbare Belege und sichereres Verhalten in Unternehmen hervorbringt.
Für Teams, die jetzt Agenten einsetzen, lautet die praktische Frage nicht, ob sich ein Modell täuschen lässt. Öffentliche Wettbewerbe haben diese Frage bereits beantwortet.
Entscheidend ist, ob jeder Agent über genügend Autorität verfügt, um Manipulation in Schaden zu verwandeln. Bilden Sie diesen Pfad ab, beschränken Sie unnötige Zugriffe und testen Sie den vollständigen Workflow, bevor Sie dem Agenten folgenreiche Aufgaben anvertrauen.
