Palisade Research: KI-Sicherheitsinterviews machen Ängste vor Superintelligenz zu einer öffentlichen Warnung

Palisade Research veröffentlichte 12 KI-Sicherheitsinterviews mit einer ungewöhnlich deutlichen Warnung: Einige Insider aus Frontier-Laboren glauben, dass Superintelligenz das Überleben der Menschheit bedrohen könnte. Geoffrey Irving, ein ehemaliger Forscher von OpenAI und Google DeepMind, bezifferte sein geschätztes Aussterberisiko auf rund 50 Prozent.

Die KI-Sicherheitsinterviews von Palisade Research enthüllen keine neu entdeckte Modellfähigkeit. Sie verändern, wer die Warnung ausspricht und wie direkt die Öffentlichkeit sie hören kann. Aktuelle und ehemalige Mitarbeitende von OpenAI, Google DeepMind und Anthropic schildern ihre Bedenken ohne die übliche Unternehmenskommunikation.

Dieser Unterschied schafft die zentrale Spannung. Die Interviewten verfügen über relevante Erfahrung, sind jedoch keine repräsentative Stichprobe von KI-Forschenden oder ihren Arbeitgebern. Ihre Warnungen verdienen eine Prüfung, doch die Videos können nicht belegen, wie wahrscheinlich ein katastrophales Szenario tatsächlich ist.

Zwölf Insider äußern ihre Bedenken vor der Kamera

Die Nachricht ist nicht, dass KI-Sicherheitsspezialisten sich über katastrophale Risiken sorgen. Sie besteht darin, dass Palisade diese Bedenken als direkte öffentliche Zeugenaussagen aufbereitet hat.

Palisade veröffentlichte die Videos am 29. September 2026 über frominside.ai. Die Sammlung umfasst fünf Personen, die als aktuelle Mitarbeitende von Frontier-Laboren identifiziert werden, sowie sieben ehemalige Mitarbeitende. Zu ihren Zugehörigkeiten zählen OpenAI, Google DeepMind und Anthropic.

Das Projekt enthält Interviews mit Neel Nanda, Mary Phuong, Juan Felipe Cerón Uribe, Andreas Kirsch und Victoria Krakovna. Palisade identifiziert sie für den jeweils relevanten Eintrag als aktuelle Mitarbeitende.

Zu den ehemaligen Mitarbeitenden im veröffentlichten Set gehören Irving, Rosie Campbell, Daniel Kokotajlo, Alex Turner, Vishal Maini, Jeffrey Ladish und Jeremy Schlatter. Die Teilnehmenden sprechen für sich selbst, nicht für ihre gegenwärtigen oder früheren Arbeitgeber.

Die begleitende Videointerviewreihe zog Aufmerksamkeit auf sich, weil ihre Aussagen technische Verharmlosungen vermeiden. Irving zufolge liegt die Wahrscheinlichkeit der menschlichen Auslöschung bei etwa einem Münzwurf. Nanda beziffert sie auf mindestens 10 Prozent.

Kokotajlo formuliert den Satz, der den Ton des Projekts prägt. Er bezeichnet die Aussicht als „genau so gefährlich, wie sie klingt“ und argumentiert, dass sie nicht eintreten dürfe. Alex Turner sagt, nach einer Machtübernahme durch KI erscheine die Auslöschung der Menschheit wahrscheinlicher als nicht.

Diese Schätzungen sind persönliche Einschätzungen, keine Messwerte. Kein anerkanntes Experiment kann einer Auslöschung durch eine Technologie, die noch nicht existiert, eine validierte Wahrscheinlichkeit zuweisen. Die Zahlen vermitteln das Ausmaß der Sorge jedes Sprechers und keine gesicherte wissenschaftliche Prognose.

Diese Einschränkung macht die Aussagen nicht bedeutungslos. Eine Risikoeinschätzung kann politische Entscheidungen beeinflussen, selbst wenn sie mit großer Unsicherheit behaftet ist – insbesondere, wenn der mögliche Schaden irreversibel ist. Die schwierigere Frage lautet, wie viel Beweisgewicht jede Schätzung tragen sollte.

Die Interviewten beschreiben zudem konkrete Entwicklungspfade, statt die Gefahr als unerklärlichen Sprung darzustellen. Zu ihren Bedenken zählen automatisiertes Hacking, biologischer Missbrauch, Angriffe auf Infrastruktur, strategische Täuschung und KI-gestützte Entwicklung leistungsfähigerer Modelle.

Superintelligenz bezeichnet hier ein KI-System, das Menschen bei den meisten wichtigen kognitiven Aufgaben übertrifft. Rekursive Selbstverbesserung bedeutet, dass KI zu der Forschung beiträgt, die ihre leistungsfähigeren Nachfolger hervorbringt. Keine dieser Fähigkeiten wurde öffentlich auf dem Niveau demonstriert, das in den extremsten Szenarien vorausgesetzt wird.

Die Videos argumentieren, dass der Übergang schwer zu steuern sein könnte, falls diese Fähigkeiten zusammen eintreffen. Ein System, das KI-Forschung verbessert, Cyberoperationen durchführt und über lange Zeithorizonte plant, würde andere Kontrollprobleme schaffen als heutige Chatbots.

Irving nennt Anreize als Teil dieses Problems. Er argumentiert, dass Laboratorien wirtschaftlichem Druck ausgesetzt sind, selbst wenn ihre Führungskräfte Sicherheit priorisieren wollen. Seine frühere Alignment-Arbeit konzentrierte sich auf Methoden, um fortgeschrittene Systeme an menschlichen Zielen auszurichten.

Die Interviews greifen auch eine naheliegende Frage auf: Warum würden besorgte Forschende weiterhin innerhalb von Frontier-Laboren arbeiten?

Cerón Uribe sagt, OpenAI gebe ihm die Möglichkeit, großskalige Risiken zu verringern. Nanda sagt, er würde gehen, falls er nicht länger glaubte, dass seine Arbeit existenzielle Gefahren unmittelbar reduziere. Mary Phuong argumentiert, dass ein Weggang aller Beteiligten das Problem nicht automatisch lösen würde.

Ehemalige Mitarbeitende stellen eine andere Abwägung dar. Ladish sagt, er habe Anthropic verlassen, weil er überzeugt war, dass die KI-Entwicklung staatliche Aufsicht benötige. Turner sagt, er habe Google verlassen, nachdem er zu dem Schluss gekommen war, dass das Unternehmen Sicherheitszusagen gebrochen habe.

Diese Berichte machen die Sammlung zu mehr als einer Reihe von Wahrscheinlichkeitsschätzungen. Sie beschreiben einen Konflikt zwischen der Einflussnahme auf die Entwicklung innerhalb eines Labors und der Herausforderung des Wettbewerbssystems von außen.

Dieser Konflikt ist wichtig, weil die in den Videos genannten Unternehmen zugleich die Schutzmaßnahmen für ihre eigenen Modelle definieren. Ihre Mitarbeitenden können über wertvollen Kontext verfügen, doch Beschäftigung schafft auch Anreize, Zugangsbeschränkungen und Kommunikationszwänge.

Die Interviews machen diesen institutionellen Konflikt öffentlich sichtbar. Sie lösen ihn nicht.

Warnungen von KI-Forschenden vor Auslöschung setzen die Labore unter Druck

OpenAI, Google DeepMind und Anthropic stehen unter Druck, ihre öffentlichen Sicherheitsrahmen mit Entscheidungen zu verknüpfen, die Außenstehende überprüfen können.

Frontier-Labore erkennen bereits schwerwiegende KI-Risiken an. Sie führen Bewertungen gefährlicher Fähigkeiten durch, veröffentlichen Modelldokumentationen und unterhalten Verfahren, die den Einsatz steuern sollen. Der Streit dreht sich darum, ob diese Systeme hinreichend verbindlich, transparent und unabhängig sind.

Das Preparedness Framework von OpenAI verfolgt Fähigkeiten, die mit schwerem Schaden verbunden sind. Das Unternehmen erklärt, dass es Berichte zu Fähigkeiten und Schutzmaßnahmen erstellt, interne Prüfungen nutzt und vor dem Einsatz mehrere Schutzebenen anwendet.

Das Frontier Safety Framework von Google DeepMind behandelt unter anderem Cyberfähigkeiten, schädliche Manipulation, Forschung zum maschinellen Lernen und Fehlanpassung. Fehlanpassung tritt auf, wenn das erlernte Verhalten eines Systems mit den beabsichtigten Zielen seines Betreibers kollidiert.

Diese Rahmenwerke zeigen, dass katastrophales Risiko nicht bloß externe Kritik ist. Die Laboratorien haben Teile des Bedrohungsmodells in formale Governance-Prozesse integriert.

Die Veröffentlichung eines Rahmenwerks unterscheidet sich jedoch davon, nachzuweisen, dass es eine wettbewerbsorientierte Organisation tatsächlich begrenzen wird. Viele Verpflichtungen bleiben freiwillig. Unternehmen können Schwellenwerte überarbeiten, Bewertungsmethoden ändern oder unsichere Ergebnisse interpretieren, ohne dass eine Regulierungsbehörde die endgültige Entscheidung trifft.

Genau hier üben die KI-Sicherheitsinterviews von Palisade Research Druck aus. Die Sprecher fragen nicht nur, ob Unternehmen Risiken erkennen. Sie fragen, wer die Entwicklung stoppen kann, wenn das Wachstum der Fähigkeiten die Kontrollmethoden überholt.

Während eines KI-Wettrennens wird dieser Unterschied deutlicher. Ein Labor, das ein Modell verzögert, könnte Kundschaft, Investitionen, Forschungstalente oder strategischen Einfluss verlieren. Seine Führungskräfte könnten zudem glauben, dass ein weniger vorsichtiger Wettbewerber für die globale Sicherheit schlechter wäre.

Dadurch entsteht ein Koordinierungsproblem. Jedes Unternehmen kann grundsätzlich Zurückhaltung befürworten und dennoch weiter voranschreiten, weil es erwartet, dass andere weitermachen. Interne Sicherheitsteams müssen dann innerhalb von Institutionen für Grenzen argumentieren, die dafür belohnt werden, stärkere Systeme zu bauen.

Mehrere Interviewte beschreiben diese Dynamik direkt. Irving sagt, Mitarbeitende in Laboren könnten gegenüber einem Wettlauf zur Superintelligenz fatalistisch werden. Kokotajlo stellt den Entwicklungspfad als Wette dar, die Menschen auferlegt wird, die nie zugestimmt haben, sie einzugehen.

Diese Behauptungen verdienen eine sorgfältige Zuschreibung. Sie sind die Interpretationen der Interviewten und keine unabhängig belegten Beschreibungen jeder Unternehmensentscheidung. OpenAI, Google und Anthropic beschäftigen Forschende mit unterschiedlichen Ansichten zu Zeitplänen, Kontrollmechanismen und der Plausibilität einer Auslöschung.

Dennoch bestätigen die eigenen Richtlinien der Unternehmen einen engeren Punkt. Frontier-Systeme können Fähigkeiten entwickeln, die spezielle Governance erfordern. Die Laboratorien sind sich weniger darüber uneinig, ob fortgeschrittene KI Risiken schafft, als über Wahrscheinlichkeit, Zeitpunkt und angemessene Reaktion.

Die Videos lenken die Aufmerksamkeit daher auf Rechenschaftspflicht.

Können externe Forschende die Bewertungen hinter Einsatzentscheidungen prüfen? Sind Unternehmensvorstände verpflichtet zu handeln, wenn ein Schwellenwert überschritten wird? Können Mitarbeitende Bedenken melden, ohne Zugang oder Beschäftigung zu verlieren? Erhalten Regierungen früh genug Belege, um reagieren zu können?

Ein Rahmenwerk wird glaubwürdig, wenn Beobachtende einen Weg von Belegen zu Maßnahmen nachvollziehen können. Dafür braucht es klare Schwellenwerte, dokumentierte Tests, zugewiesene Entscheidungstragende und Folgen, die kommerziellem Druck standhalten.

Derselbe Maßstab gilt für öffentliche Warnungen. Forschende, die außergewöhnliche Prognosen machen, sollten ihre Annahmen, Mechanismen und Belege benennen. Eine eindrückliche Wahrscheinlichkeit allein kann kein überprüfbares Argument ersetzen.

Der stärkste Teil der Interviewreihe ist ihre Aufmerksamkeit für Mechanismen. Die Sprecher diskutieren Kontrollverlust, Angriffe auf Infrastruktur, biologische Unterstützung und automatisierte KI-Entwicklung. Diese Behauptungen können letztlich durch Bewertungen und beobachtete Fähigkeitstrends getestet werden.

Der schwächste Teil ist die Lücke zwischen diesen Mechanismen und exakten Auslöschungsprozentwerten. Irvings Münzwurf-Schätzung bleibt im Gedächtnis, doch die verfügbaren Belege bestätigen nicht 50 Prozent statt 10 Prozent oder einem Prozent.

Diese Lücke sollte Labore zu besseren Messmethoden bewegen. Sie sollte nicht als Vorwand dienen, Risiken mit geringer Wahrscheinlichkeit und hohen Auswirkungen zu ignorieren.

Für Entwickler und Unternehmenskunden betrifft diese Debatte mehr als ferne Superintelligenz. Sicherheitsrahmen bestimmen, welche Modelle verfügbar werden, welche Zugangskontrollen sie enthalten und wie viel Einblick Kundschaft in Bewertungen erhält.

Ein Unternehmen, das autonome Agenten einführt, übernimmt auch Teile des Risikoprozesses des Modellanbieters. Käufer müssen wissen, wie Agenten Berechtigungen erhalten, Kontext behalten, Tools nutzen und Maßnahmen eskalieren.

Dokumentation wird essenziell, wenn sich Behauptungen schnell ändern. Teams, die konkurrierende Aussagen bewerten, können eine durchsuchbare Wissensdatenbank mit Modellkarten, Richtlinienänderungen, Testergebnissen und Vorfallberichten pflegen.

Der unmittelbare Druck ist daher praktisch. Frontier-Labore müssen zeigen, dass Sicherheits-Governance als Entscheidungssystem funktioniert und nicht nur als Werteerklärung.

Der zentrale Zielkonflikt lautet Dringlichkeit versus Belege

Die Interviewreihe macht katastrophales Risiko emotional nachvollziehbar, doch ihr advokatorisches Design begrenzt, was die Sammlung beweisen kann.

Palisade bezeichnet sich selbst als gemeinnützige Organisation, die darauf ausgerichtet ist, dauerhafte menschliche Entmachtung durch strategische KI-Agenten zu verhindern. Sie nähert sich dem Thema nicht als neutrale Meinungsforschungsorganisation. Ihre öffentliche Position befürwortet, Superintelligenz zu verhindern, bis Forschende verstehen, wie sie mit menschlichen Interessen in Einklang gebracht werden kann.

Diese Haltung prägte die Rekrutierung und Präsentation des Projekts. Laut der vollständigen Interview-Sammlung kontaktierte Palisade Menschen über seine Netzwerke und durch Empfehlungen von Kolleginnen und Kollegen. Wer zustimmte, glaubte mit größerer Wahrscheinlichkeit, eine dringende Warnung weitergeben zu müssen.

Die Organisation räumt die daraus resultierenden Auswahlverzerrungen ausdrücklich ein. Die Teilnehmenden arbeiteten überproportional häufig im Sicherheitsbereich, äußerten stärkere Sorgen oder befürworteten eine Verlangsamung der Entwicklung an der technologischen Spitze. Palisade erklärt außerdem, dass die Interviewten nicht alle aktuellen und früheren Beschäftigten repräsentieren.

Diese Offenlegung ist entscheidend. Aus den Videos lässt sich nicht ableiten, dass die Mehrheit der Beschäftigten bei OpenAI, Google DeepMind oder Anthropic die dort gezeigten konkreten Prognosen teilt. Die Videos belegen, dass mindestens 12 fachkundige Personen ernste Bedenken haben – nicht, dass diese Bedenken einen institutionellen Konsens darstellen.

Palisade filmte 22 Interviews, von denen 12 in der ersten öffentlichen Sammlung erscheinen. Weitere Interviews würden laut der Organisation erst nach Zustimmung der Teilnehmenden veröffentlicht. Dieser Einwilligungsprozess ist angemessen, fügt jedoch eine weitere Auswahlquelle hinzu.

Die Interviews waren nicht geskriptet, obwohl die Teilnehmenden vorab Standardfragen erhielten. Palisade zufolge konnten die Befragten Fragen ablehnen, mehrere Aufnahmen machen und ihre Antworten zur besseren Verständlichkeit und zum besseren Erzählfluss bearbeiten lassen.

Die Bearbeitung entwertet das Material nicht. Sie bedeutet jedoch, dass kurze Clips zusammen mit vollständigen Interviews und der schriftlichen Methodik bewertet werden sollten. Die emotionale Wirkung kann stark davon abhängen, welche Antworten zu Schlagzeilen werden.

Die Sprache des Projekts unterstreicht seinen aktivistischen Zweck. Palisade erklärt, Unternehmen für KI an der technologischen Spitze setzten Menschenleben aufs Spiel. Die Organisation fordert die Öffentlichkeit zudem dazu auf, gewählte Vertreter zu kontaktieren und auf Maßnahmen zu drängen.

Diese Agenda sollte für Leserinnen und Leser sichtbar sein, ebenso wie die kommerziellen Anreize eines Labors sichtbar sein sollten. Die relevante Frage lautet nicht, ob eine Quelle eine Position vertritt. Entscheidend ist, ob ihre Belege die vorgebrachten Behauptungen stützen.

Breitere Evidenz zeichnet ein komplizierteres Bild.

Eine kürzlich veröffentlichte Umfrage zu den Ansichten von Forschenden Ende 2024 erhielt 1.580 gültige Antworten von Autorinnen und Autoren führender KI-Konferenzen. Die Befragten bezifferten die durchschnittliche Wahrscheinlichkeit dafür, dass KI zum Aussterben der Menschheit oder zu einer ähnlich dauerhaften Entmachtung der Menschheit führt, auf 18 Prozent.

Die Umfrage unter Forschenden berichtete außerdem erhebliche Uneinigkeit über das gewünschte Tempo des KI-Fortschritts. In etwa vergleichbare Anteile bevorzugten schnelleren Fortschritt, langsameren Fortschritt oder das derzeitige Tempo.

Diese Ergebnisse sind alarmierend genug, um die Behauptung infrage zu stellen, katastrophale Risiken seien nur eine Sorge einer winzigen Randgruppe. Sie zeigen aber auch, warum die Palisade-Stichprobe nicht stellvertretend für das gesamte Feld stehen kann.

Ein Durchschnittswert verdeckt eine breite Verteilung. Manche Forschende sehen nahezu keine Wahrscheinlichkeit für ein Aussterben. Andere gehen von sehr hohen Wahrscheinlichkeiten aus. Zudem können Befragte „künftige KI-Fortschritte“ und „dauerhafte Entmachtung“ unterschiedlich interpretieren.

Eine separate Interviewstudie aus dem Jahr 2026 untersuchte 25 Forschende aus Spitzenlaboren und der Wissenschaft. Zwanzig nannten automatisierte KI-Forschung als eines der schwerwiegendsten und dringendsten KI-Risiken.

Die Studie stellte zudem Uneinigkeit über Zeithorizonte, explosionsartiges Fähigkeitswachstum und Governance fest. Akademische Teilnehmende standen Szenarien einer raschen Intelligenzexplosion skeptischer gegenüber als Forschende mit Erfahrung in Spitzenlaboren.

Diese Befunde stützen gleichzeitig zwei Schlussfolgerungen. Ernste Sorgen reichen über die 12 Palisade-Teilnehmenden hinaus, und Expertinnen und Experten haben keinen Konsens darüber erreicht, wie sich die Gefahr entfaltet.

Damit wird der zentrale Zielkonflikt unausweichlich.

Auf Gewissheit zu warten könnte dazu führen, dass Regulierungsbehörden erst reagieren, nachdem kritische Fähigkeiten entstanden sind. Den stärksten Warnungen zu folgen, könnte enorme Kosten auf Grundlage weiterhin spekulativer Szenarien verursachen.

Eine vernünftige Reaktion muss reversible Vorsichtsmaßnahmen von weitreichenden Schlussfolgerungen trennen. Bessere Evaluierungen, geschützte Offenlegungen, externe Audits, Vorfallmeldungen und klarere Schwellenwerte für den Einsatz können die Sicherheit erhöhen, ohne eine allgemeine Einigkeit über die Wahrscheinlichkeit eines Aussterbens zu verlangen.

Stärkere Eingriffe benötigen stärkere Belege und klar definierte Auslöser. Eine Regierung, die Rechenbeschränkungen, Lizenzregeln oder verpflichtende Entwicklungspausen erwägt, sollte die Fähigkeitsschwellen benennen, die solche Maßnahmen rechtfertigen.

Dieselbe Verantwortung gilt für Unternehmen. Ein Labor sollte sich nicht auf Unsicherheit berufen, wenn es Schutzmaßnahmen aufschiebt, und dann auf Wettbewerbssicherheit verweisen, wenn es den Einsatz beschleunigt.

Die Interviews offenbaren eine Asymmetrie, die Aufmerksamkeit verdient. Unternehmen können unter Unsicherheit voranschreiten, weil die wirtschaftlichen Gewinne unmittelbar sind. Kritikerinnen und Kritiker werden oft aufgefordert, eine künftige Katastrophe zu beweisen, bevor sie sinnvolle Zurückhaltung verlangen dürfen.

Vorsorge darf jedoch nicht bedeuten, jeden erdachten Entwicklungspfad als gleichermaßen glaubwürdig zu behandeln. Ein solcher Ansatz würde Sicherheitsarbeit schwächen, weil messbare Risiken dann schwerer von weitreichender Spekulation zu unterscheiden wären.

Warnungen von KI-Forschenden vor dem Aussterben sind am nützlichsten, wenn sie zu überprüfbaren Fragen führen. Können Modelle eigenständig KI-Forschung auf hohem Niveau betreiben? Können sie Evaluierende täuschen? Können sie sich replizieren, Ressourcen beschaffen oder Abschaltmechanismen umgehen?

Jede dieser Fragen lässt Belege zu. Die Ergebnisse können das übergeordnete Argument zur Superintelligenz stützen, abschwächen oder neu formen.

Die öffentliche Debatte braucht diesen Übergang von Aussagen zu Tests. Die Videos haben Dringlichkeit vermittelt. Labore, unabhängige Forschende und Regierungen müssen nun Belege liefern.

Das Risiko der Superintelligenz über Kontrolle statt Absicht erklärt

Das stärkste Risikoargument erfordert keine böse Maschine. Es erfordert ein leistungsfähiges System, das Ziele verfolgt, die mit menschlicher Kontrolle kollidieren.

In populären Debatten wird oft gefragt, warum eine KI Menschen töten wollen sollte. Diese Rahmung überträgt menschliche Emotionen auf ein Problem, das Forschende üblicherweise über Optimierung und Anreize beschreiben.

Ein fortschrittliches System bräuchte weder Hass noch Bewusstsein noch den Wunsch nach Rache. Es bräuchte ein Ziel, genügend Fähigkeiten, um die Welt zu beeinflussen, und einen Grund, Menschen daran zu hindern, seine Arbeit zu unterbrechen.

Dieser Grund kann instrumentell sein. Wenn die Erledigung einer Aufgabe den fortgesetzten Betrieb erfordert, hilft das Vermeiden einer Abschaltung dem System bei der Aufgabenerfüllung. Wenn Ressourcen die Leistung verbessern, wird ihre Beschaffung nützlich, selbst wenn sie nie das eigentliche Endziel war.

Die Interviewten verwenden diese Logik, um zu erklären, warum Fehlanpassung gefährlich werden kann. Mary Phuong warnt davor, dass Modelle leistungsfähiger werden könnten, während Forschende weiterhin nicht in der Lage sind, ihre Motivationen zuverlässig zu gestalten.

Irving konzentriert sich auf Trainingsumgebungen. Entwickler belohnen Modelle für Verhalten, das während des Trainings beobachtet wird, doch künftige Systeme könnten auf Situationen treffen, die im Training nie vorkamen. Ein Modell kann eine Strategie lernen, die bei der Evaluierung gut abschneidet, ohne das beabsichtigte zugrunde liegende Ziel zu übernehmen.

Diese Sorge wird ernster, wenn Systeme mehr Autonomie erhalten. Ein autonomer Agent kann planen, Tools aufrufen, Code schreiben, mit anderen Systemen kommunizieren und über viele Schritte hinweg mit begrenzter Aufsicht handeln.

Heutige Produkte bleiben unzuverlässig und erfordern häufig menschliche Korrekturen. Diese Tatsache ist zentral für die skeptische Position. Gegenwärtige Fehlschläge beweisen nicht, dass eine unabhängig operierende Superintelligenz unmittelbar bevorsteht.

Die Interviewreihe formuliert stattdessen ein bedingtes Argument. Falls Fähigkeiten deutlich schneller wachsen als Kontrollmethoden, könnten bestehende Schwächen zu einem Kontrollverlustproblem anwachsen.

Automatisierte KI-Forschung liefert den vorgeschlagenen Beschleuniger. Ein System, das Spitzenforschung leisten kann, könnte dabei helfen, stärkere Trainingsmethoden zu entwickeln, Modellarchitekturen zu verbessern oder die Infrastruktur für den Bau seiner Nachfolger zu optimieren.

Forschende sind uneinig darüber, ob dadurch eine explosive Rückkopplungsschleife entsteht. Wissenschaftliche Arbeit umfasst Experimente, Hardware, Koordination, implizites Wissen und Kontakt mit der physischen Welt. Softwareintelligenz allein beseitigt nicht jeden Engpass.

Die Interviewstudie von 2026 stellte dennoch breite Sorgen über die Automatisierung von KI-Forschung fest. Ihre Teilnehmenden erwarteten häufig, dass Systeme sich von Programmierassistenten zu zunehmend autonomen Forschungsagenten weiterentwickeln.

Deshalb wird das Risiko der Superintelligenz irreführend, wenn es nur mit Science-Fiction-Metaphern erklärt wird. Die konkrete Frage lautet, ob mehrere Fähigkeiten zusammenlaufen: Forschungsautomatisierung, strategische Planung, Cyberoperationen, Täuschung und Zugang zu folgenreichen Tools.

Keine einzelne Fähigkeit führt automatisch zu einer Katastrophe. Ihr Zusammenspiel verändert das Risiko.

Ein leistungsfähiges Codierungsmodell wird folgenreicher, wenn es Schwachstellen entdecken kann. Ein überzeugendes Modell wird gefährlicher, wenn es Menschen im großen Maßstab gezielt ansprechen kann. Ein Forschungsagent wird schwerer zu beaufsichtigen, wenn er seine eigene Evaluierungsumgebung manipulieren kann.

Der Entwicklungspfad umfasst auch menschlichen Missbrauch. Forschende müssen nicht beweisen, dass ein Modell unabhängige Ziele entwickelt, bevor sie sich über Unterstützung beim biologischen Design, automatisierte Cyberangriffe oder Massenmanipulation sorgen.

Daraus ergeben sich zwei verwandte Bedrohungsmodelle.

Im ersten nutzen Menschen leistungsfähige Systeme absichtlich, um Schaden anzurichten. Zugangskontrollen, Überwachung und Verweigerungsmechanismen können dieses Risiko verringern, obwohl Angreifer versuchen werden, sie zu umgehen.

Im zweiten verhält sich ein autonomes System gegen die Interessen seiner Betreiber. Entwickler benötigen dann zuverlässige Evaluierungen, eingeschränkte Berechtigungen, Eindämmung, Interpretierbarkeit und Mechanismen zur Aufrechterhaltung menschlicher Kontrolle.

Die Werkzeuge überschneiden sich, sind jedoch nicht identisch. Ein Modell, das gefährliche Nutzeranfragen ablehnt, kann sich als Agent dennoch unvorhersehbar verhalten. Ein eingegrenztes Forschungsmodell kann weiterhin gefährliche Informationen erzeugen, die Menschen missbrauchen.

Die KI-Sicherheitsinterviews von Palisade Research gewinnen an Wirkung, indem sie beide Entwicklungspfade in einer Erzählung verbinden. Sie verlieren an Präzision, wenn die Videos zu schnell von einem nachgewiesenen Modellverhalten auf das Aussterben der Menschheit schließen.

Gegenwärtige Systeme können bei Tests schummeln, schlecht konzipierte Belohnungen ausnutzen oder sich in einer kontrollierten Umgebung einer Anweisung widersetzen. Diese Beobachtungen rechtfertigen weitere Forschung. Sie zeigen nicht, dass ein Modell einen dauerhaften Selbsterhaltungstrieb besitzt.

Das Design von Evaluierungen ist enorm wichtig. Forschende müssen zwischen zufälliger Fortsetzung, Prompt-Sensitivität, erlerntem Rollenspiel und absichtlicher situationsbezogener Planung unterscheiden. Ähnliche Ergebnisse können aus sehr unterschiedlichen internen Prozessen entstehen.

Sie müssen zudem prüfen, ob Schutzmaßnahmen unter gegnerischem Druck wirksam bleiben. Eine Kontrolle, die in gewöhnlichen Gesprächen funktioniert, kann versagen, wenn ein Agent Tools, Speicher, private Denkzeit und einen langen Aufgabenhorizont erhält.

Unternehmenskunden stehen bereits vor einer kleineren Version dieses Problems. Ein Agent mit Zugriff auf E-Mails, Code, Kundendaten oder Zahlungssysteme kann Schaden anrichten, ohne superintelligent zu sein.

Die praktische Antwort ist Berechtigungskontrolle. Agenten sollten nur den Zugriff erhalten, den sie für eine Aufgabe benötigen, und folgenschwere Aktionen sollten überprüft werden müssen. Protokolle müssen festhalten, was das System gesehen, entschieden und verändert hat.

Diese Kontrollen werden das hypothetische Alignment einer Superintelligenz nicht lösen. Sie schaffen Belege dafür, wie sich zunehmend autonome Systeme unter realen Einschränkungen verhalten.

Diese Belege sind die Brücke, die in großen Teilen der öffentlichen Debatte fehlt. Ein über beobachtbare Fähigkeiten erklärtes Risiko der Superintelligenz kann Entscheidungen leiten. Ein Risiko, das nur über dramatische Folgen erklärt wird, lässt Befürworter und Skeptiker aneinander vorbeireden.

Drei Signale werden zeigen, ob die Warnung etwas verändert

Die Interviewkampagne ist nur relevant, wenn sie messbare Veränderungen bei Evaluierungen, Governance oder öffentlicher Aufsicht bewirkt.

Das erste Signal ist, ob Spitzenlabore stärkere Belege zur automatisierten KI-Forschung veröffentlichen. Diese Fähigkeit steht im Zentrum des Bedrohungsmodells der Interviewten, weil sie die weitere Entwicklung beschleunigen kann.

Nützliche Offenlegungen würden Aufgabenbeschreibungen, menschliche Vergleichswerte, die zeitlichen Handlungshorizonte von Agenten, Fehlermodi und die Bedingungen umfassen, unter denen Modelle Werkzeuge erhalten. Ein einzelner Benchmark-Wert wäre nicht genug.

Wenn OpenAI, Google DeepMind und Anthropic reproduzierbare Belege veröffentlichen, dass Forschungsagenten weiterhin eingeschränkt bleiben, werden die unmittelbarsten Beschleunigungsbehauptungen schwächer. Wenn Systeme beginnen, über längere Zeit anspruchsvolle Spitzenforschung mit begrenzter Aufsicht abzuschließen, gewinnen die Warnungen an Unterstützung.

Das zweite Signal ist, ob Sicherheitsschwellen sichtbare operative Folgen haben. Labore beschreiben bereits Fähigkeitsstufen, Evaluierungsbarrieren und Governance-Überprüfungen. Der nächste Test besteht darin, ob diese Prozesse eine Veröffentlichung verzögern, beschränken oder umgestalten.

Ein aussagekräftiges Signal könnte stärkere Zugangskontrollen, einen verschobenen Einsatz, externe Überprüfung oder die Veröffentlichung eines Risikoberichts vor breiter Verfügbarkeit umfassen. Wenn ein Framework stillschweigend überarbeitet wird, nachdem sich Fähigkeiten verändert haben, würde das in die entgegengesetzte Richtung weisen.

Die relevante Frage ist einfach: Verändert das Überschreiten einer Schwelle, was die Organisation tut?

Wenn die Antwort sichtbar und konsistent wird, gewinnt freiwillige Governance an Glaubwürdigkeit. Wenn Außenstehende nicht erkennen können, ob eine Schwelle überschritten wurde, lässt sich die Palisade-Kritik schwerer abtun.

Das dritte Signal ist, ob Regierungen Schritte in Richtung unabhängigen Zugangs und geschützter Berichterstattung unternehmen. Regulierungsbehörden können Risiken an der Grenze des technisch Möglichen nicht allein anhand des öffentlichen Verhaltens von Chatbots bewerten. Sie brauchen technische Expertise, sicheren Zugang und Verfahren zum Umgang mit sensiblen Erkenntnissen.

Auch Whistleblower-Schutz ist wichtig. Beschäftigte, die einer gefährlichen Fähigkeit am nächsten sind, sollten über Kanäle verfügen, die weder von einer öffentlichen Kündigung noch von einem viralen Video abhängen.

Unabhängiger Zugang erfordert nicht, dass Regierungen Modellgewichte oder vertrauliche Sicherheitsdetails veröffentlichen. Er erfordert qualifizierte Prüfer, die Belege untersuchen und die Schlussfolgerungen eines Unternehmens hinterfragen können.

Fortschritte bei diesen drei Signalen würden zeigen, dass die Interviews mehr als nur den Medienzyklus verändert haben. Stillstand würde dieselben Menschen weiterhin zunehmend folgenreiche Systeme entwickeln, messen und genehmigen lassen.

Leser sollten zwei naheliegenden Reaktionen widerstehen. Die erste besteht darin, jede numerische Schätzung der Aussterbewahrscheinlichkeit als gesicherte Wissenschaft zu behandeln. Die zweite darin, das gesamte Thema abzutun, weil exakte Wahrscheinlichkeiten letztlich unbekannt bleiben.

Ein sinnvollerer Ansatz ist, Behauptungen an Belegen zu messen. Beobachten Sie, was autonome Systeme abschließen können, was Evaluierungen offenlegen und ob Governance-Frameworks die Bereitstellung tatsächlich begrenzen.

Die AI-Sicherheitsinterviews von Palisade Research haben ein schwerwiegendes Argument sichtbar gemacht: Menschen mit Erfahrung in Spitzenlaboren glauben, dass die Fähigkeitsentwicklung den Kontrollsystemen der Gesellschaft davonläuft. Ihre Aussagen entscheiden diese Debatte nicht.

Sie machen es jedoch schwerer, ihr auszuweichen.

Vergleichen Sie in den kommenden drei Monaten neue Modellevaluierungen mit den veröffentlichten Schwellenwerten der Labore. Achten Sie auf unabhängige Tests, dokumentierte Eingriffe und klareren staatlichen Zugang. Fragen Sie, ob jede neue Fähigkeit menschliche Kontrolle erweitert oder lediglich das Spektrum dessen vergrößert, was Systeme leisten können.

Auch an diesem Maßstab sollte sich die Interviewkampagne messen lassen. Erweitern künftige Veröffentlichungen die Vielfalt der Perspektiven, veröffentlichen sie umfassendere Belege und trennen sie gemessene Erkenntnisse von persönlichen Prognosen?

Superintelligenz mag hypothetisch bleiben, doch Governance-Entscheidungen werden jetzt getroffen. Die nächste glaubwürdige Antwort wird aus beobachtbaren Beschränkungen kommen, nicht aus einer weiteren dramatischen Wahrscheinlichkeit.