El llamamiento de Altman y Amodei sobre la seguridad de la IA llega a la ONU, pero los gobiernos siguen rechazando un marco común
Sam Altman y Dario Amodei llevaron su campaña por la seguridad de la IA ante los 15 miembros del Consejo de Seguridad, pese al profundo desacuerdo sobre quién debería gobernar los modelos avanzados. La reunión del 23 de septiembre situó a OpenAI y Anthropic ante el órgano de las Naciones Unidas responsable de la paz y la seguridad internacionales. También dejó al descubierto el obstáculo que enfrenta el llamamiento de Altman y Amodei sobre la seguridad de la IA: los gobiernos coinciden en que los riesgos traspasan fronteras, pero rechazan una autoridad común.
Los ejecutivos no pedían a los diplomáticos que regularan los chatbots corrientes. Se centraron en la IA de frontera, es decir, los sistemas de propósito general más capaces que están en desarrollo. Su preocupación se centra en modelos que ayuden a crear armas biológicas, realizar ciberataques o acelerar la investigación en IA más allá de una supervisión humana efectiva.
Esa distinción eleva lo que está en juego para desarrolladores, empresas y organismos públicos. Una norma global de seguridad podría cambiar la forma en que se prueban, lanzan, supervisan y conectan los modelos a sistemas sensibles. Sin embargo, la reunión no produjo ningún acuerdo vinculante y Estados Unidos se resistió expresamente a un control internacional centralizado.
Las advertencias de Altman y Amodei sobre la seguridad de la IA llegan al Consejo de Seguridad
La reunión cambió el escenario de la seguridad de la IA, pero todavía no las reglas que la rigen.
Altman, director ejecutivo de OpenAI, asistió a la reunión del Consejo de Seguridad en Nueva York. Amodei, director ejecutivo de Anthropic, intervino ante el consejo de forma remota. También participaron el CEO de Hugging Face, Clément Delangue, y el científico informático Yoshua Bengio.
La aparición fue inusual porque el Consejo de Seguridad suele concentrarse en guerras, sanciones, proliferación nuclear y amenazas entre Estados. Su participación planteó la IA avanzada como un posible problema de seguridad internacional, en lugar de considerarla únicamente una cuestión de política tecnológica.
El informe de la ONU describió la preocupación como un peligro que ningún país podría contener por sí solo. Bengio, copresidente del panel científico independiente de la ONU sobre IA, advirtió que los sistemas fuera del control humano no respetarían las fronteras nacionales.
Amodei planteó dos categorías principales de riesgo. La primera era el uso malicioso deliberado, incluida la posibilidad de que un bioterrorista utilizara un modelo avanzado para apoyar el desarrollo de armas biológicas. La segunda era la pérdida de control a medida que las capacidades de los modelos avanzan más rápido de lo que los desarrolladores pueden comprenderlas o contenerlas.
“Si se gestiona mal, incluso creo que la IA podría representar un riesgo para la humanidad en su conjunto”, dijo Amodei al consejo, según Associated Press. Altman lanzó una advertencia igual de directa: “Podríamos perder el control del futuro frente a la IA”.
Estas declaraciones son importantes porque ambas empresas siguen desarrollando y lanzando sistemas cada vez más capaces. Sus líderes no describían una tecnología lejana construida por competidores desconocidos. Hablaban de riesgos relacionados con la misma carrera por el desarrollo de frontera que sus organizaciones ayudan a liderar.
Las empresas también identificaron las normas internacionales como un punto de partida práctico. Las evaluaciones compartidas podrían medir las capacidades peligrosas antes del lanzamiento. La notificación común de incidentes podría alertar a los gobiernos cuando un modelo se comporte de forma inesperada o cuando actores maliciosos comprometan un sistema.
La supervisión humana de la investigación automatizada en IA fue otro foco. La investigación automatizada en IA se refiere a modelos que realizan parte del trabajo necesario para diseñar, entrenar o mejorar otros modelos. Ese proceso puede acelerar el desarrollo mientras reduce el tiempo disponible para la revisión humana.
OpenAI ha dicho que espera que la investigación asistida por IA se convierta en un importante motor de progreso. En su plan de coordinación, la empresa sostuvo que una organización internacional debería ayudar a coordinar los principales esfuerzos en IA y reducir el riesgo catastrófico. También respaldó ralentizaciones coordinadas cuando la seguridad y las defensas sociales queden rezagadas respecto a las capacidades.
La propuesta no establece quién activaría una ralentización, qué modelos reunirían los requisitos ni cómo verificarían los países el cumplimiento. Esos detalles sin resolver separan una declaración general de preocupación de un sistema internacional aplicable.
Por tanto, la sesión del Consejo de Seguridad representó un reconocimiento institucional, no una resolución regulatoria. Los ejecutivos de IA obtuvieron una plataforma habitualmente reservada a amenazas con consecuencias geopolíticas. Los gobiernos conservaron plena discreción sobre qué hacer con sus advertencias.
Por qué la cooperación global en seguridad de la IA es ahora urgente
La preocupación inmediata es que los ciclos de desarrollo de IA avanzan hoy más rápido de lo que las instituciones diplomáticas pueden negociar y aplicar salvaguardas compartidas.
La reunión siguió a una serie de llamamientos públicos para moderar el desarrollo de frontera. Amodei había sostenido recientemente que las empresas y los gobiernos deberían ralentizar las mejoras de capacidad cuando las medidas de seguridad no puedan seguirles el ritmo. Altman y otros líderes del sector expresaron su apoyo a una mayor coordinación.
Moderar el ritmo no implica necesariamente poner fin a la investigación en IA. Significa limitar la velocidad de mejora de las capacidades bajo condiciones de riesgo definidas. Una política creíble necesitaría umbrales medibles, evaluación externa y consecuencias para los desarrolladores que los ignoren.
Anthropic afirma que los modelos actuales siguen siendo manejables con las salvaguardas existentes. Sin embargo, la empresa espera riesgos más graves a medida que mejoren los sistemas. Su enfoque combina pruebas previas al lanzamiento, evaluaciones externas, controles específicos por capacidad y una Responsible Scaling Policy voluntaria.
Esa política vincula protecciones más estrictas a pruebas de que un modelo posee capacidades peligrosas. Anthropic también reconoce que las evaluaciones no pueden detectar de forma fiable todos los fallos antes del despliegue. A veces los modelos reconocen las condiciones de prueba, lo que puede hacer que las evaluaciones controladas sean menos representativas del comportamiento real.
El lanzamiento de Claude Opus 5.5 ilustró esta tensión. Anthropic describió pruebas de comportamiento ampliadas y salvaguardas para la ciberseguridad y la biología. Sin embargo, la empresa también afirmó que la detección fiable de todos los fallos sigue siendo un problema sin resolver en su evaluación de seguridad.
OpenAI enfrenta el mismo desafío fundamental. Los sistemas más capaces pueden ayudar a los investigadores de seguridad, pero también pueden comprimir los calendarios de desarrollo. Un modelo que automatiza la investigación puede ayudar a descubrir técnicas de alineamiento y, al mismo tiempo, acelerar el siguiente ciclo de entrenamiento.
Ese ciclo de retroalimentación preocupa a los responsables políticos porque la regulación habitual de productos presupone una tecnología relativamente estable. Los legisladores pueden estudiar una categoría de producto, definir normas e inspeccionar el cumplimiento. La investigación automatizada puede cambiar la capacidad subyacente antes de que ese proceso termine.
El riesgo también se extiende más allá de un laboratorio. Las empresas conectan cada vez más agentes de IA a repositorios de código, documentos internos, navegadores y software operativo. Un fallo del modelo adquiere más consecuencias cuando el sistema puede ejecutar acciones en lugar de limitarse a generar texto.
Un agente con acceso a la infraestructura de una organización podría modificar código, recuperar registros sensibles o iniciar transacciones. Estos sistemas requieren controles de permisos, registros de auditoría y una escalada humana fiable. También requieren que los equipos mantengan una base de conocimientos de IA precisa para revisar decisiones y respaldar las evidencias.
La dimensión internacional aparece cuando un modelo presta servicio a usuarios en muchas jurisdicciones. Una vulnerabilidad grave descubierta en un país puede afectar a clientes en otros lugares. Un modelo robado también puede modificarse y volver a desplegarse fuera de las salvaguardas del desarrollador original.
El uso indebido biológico presenta un problema de coordinación aún más difícil. Las restricciones de acceso en un mercado tienen un valor limitado si un sistema comparable sigue sin restricciones en otro lugar. Los controles efectivos requieren acuerdo sobre evaluaciones, usuarios de confianza y obligaciones de notificación.
La ciberseguridad produce un conflicto similar de doble uso. Los sistemas avanzados pueden ayudar a los defensores a encontrar vulnerabilidades de software y repararlas más rápido. La misma capacidad puede ayudar a los atacantes a descubrir objetivos, generar exploits o automatizar campañas de intrusión.
Por tanto, los países enfrentan presión desde dos direcciones. Avanzar demasiado despacio puede dejar capacidades peligrosas sin gestionar. Actuar solos puede perjudicar a las empresas nacionales o desplazar el desarrollo a jurisdicciones con controles más débiles.
Esta presión explica por qué Altman y Amodei hicieron hincapié en la cooperación, en lugar de en prohibiciones nacionales aisladas. Su argumento es que los riesgos de frontera son compartidos incluso cuando los gobiernos compiten económica y militarmente.
La propuesta se vuelve mucho más difícil cuando la cooperación exige revelar información sensible. Los gobiernos se resistirán a compartir inteligencia sobre operaciones cibernéticas, defensas biológicas o sistemas militares. Las empresas se resistirán a exponer detalles de modelos que revelen técnicas propietarias.
Un sistema viable debe coordinar la seguridad sin distribuir el conocimiento necesario para construir modelos más peligrosos. Ese equilibrio no cuenta con un diseño establecido, y la reunión del Consejo de Seguridad no proporcionó uno.
La verdadera disputa enfrenta las normas globales al control nacional
El conflicto central no es si la IA avanzada presenta riesgos; es si los gobiernos cederán suficiente control para gestionar esos riesgos conjuntamente.
Estados Unidos rechazó una estructura centralizada de gobernanza global durante la reunión. El asesor científico de la Casa Blanca, Michael Kratsios, dijo que las preocupaciones sobre el control no eran una razón para pausar el desarrollo ni crear una nueva autoridad internacional.
Esa postura respalda la responsabilidad nacional y la cooperación técnica sin situar el poder final en la ONU. También refleja el valor estratégico que Washington asigna al liderazgo estadounidense en IA.
China ha favorecido un papel más amplio para las Naciones Unidas y ha advertido contra la concentración de capacidades avanzadas en unos pocos países o empresas. Sin embargo, el apoyo a la participación de la ONU no garantiza un acuerdo sobre inspecciones, acceso a modelos o aplicación de normas.
La disputa genera una difícil asimetría. Los gobiernos pueden respaldar principios amplios como el control humano, la transparencia y la notificación de incidentes. Se vuelven más cautelosos cuando esos principios requieren inspectores externos o restricciones a los laboratorios nacionales.
Un vocabulario técnico compartido ofrece un posible puente. Los países podrían definir capacidades de alto riesgo sin acordar un único regulador. También podrían establecer métodos de prueba compatibles manteniendo la aplicación dentro de los sistemas nacionales.
Las evaluaciones de frontera comprobarían si los modelos pueden respaldar operaciones cibernéticas avanzadas, investigación biológica, replicación autónoma o desarrollo de IA. Los desarrolladores podrían informar los resultados en formatos estandarizados a las autoridades nacionales designadas.
La notificación de incidentes ofrece otra forma limitada de cooperación. Estados Unidos y China han discutido, según informes, un mecanismo para eventos de IA que afecten a la seguridad nacional. Ese canal podría parecerse a las comunicaciones de crisis existentes sin crear un organismo global de licencias.
Estas medidas seguirían dejando sin respuesta preguntas importantes. Los gobiernos tendrían que definir qué incidentes exigen notificación y con qué rapidez deben informar las empresas. También necesitarían protecciones contra informes falsos, ocultamiento estratégico y acusaciones con motivación política.
La verificación es el problema más difícil. Un país puede prometer que sus desarrolladores respetan los umbrales de seguridad, pero los competidores necesitan pruebas. El acceso completo a los sistemas de entrenamiento expondría secretos comerciales e información de seguridad nacional.
Los evaluadores externos pueden reducir esa tensión si todas las partes confían en ellos. Organizaciones independientes de pruebas podrían examinar capacidades específicas en condiciones seguras. Podrían publicar hallazgos sobre riesgos sin divulgar los pesos de los modelos ni detalles técnicos peligrosos.
Sin embargo, la confianza en los evaluadores es en sí misma política. Un laboratorio aceptado por Estados Unidos puede no ser aceptado por China o Rusia. Un organismo de pruebas vinculado a la ONU podría enfrentarse a la resistencia de gobiernos que rechazan la supervisión centralizada.
El Consejo de Seguridad también tiene límites estructurales. Sus cinco miembros permanentes tienen poder de veto y compiten directamente por influencia militar y tecnológica. Un régimen de IA vinculante requeriría cooperación entre Estados que ya discrepan sobre conflictos armados, sanciones y operaciones cibernéticas.
Esto no vuelve inútil a la diplomacia. La reducción del riesgo nuclear se desarrolló mediante acuerdos graduales, sistemas de inspección y canales de comunicación. La gobernanza de la IA puede seguir una senda similar sin copiar exactamente el control de armamento nuclear.
La IA se diferencia porque la tecnología subyacente es en gran medida comercial y basada en software. Los modelos pueden copiarse, modificarse o accederse a través de servicios en la nube. La infraestructura de entrenamiento es visible a gran escala, pero el software desplegado puede propagarse más rápido que el material nuclear.
Los modelos de pesos abiertos añaden otro conflicto. Sus parámetros pueden descargarse y modificarse, lo que favorece la investigación y un acceso más amplio. Esa misma apertura dificulta la retirada centralizada o la supervisión continua tras su lanzamiento.
La participación de Delangue situó esa cuestión junto a la agenda de seguridad de los modelos cerrados. Hugging Face representa un ecosistema que valora el acceso, la investigación y el desarrollo distribuido. Su presencia cuestionó la idea de que concentrar el control dentro de varios grandes laboratorios produzca automáticamente el resultado más seguro.
La decisión de política resultante no es simplemente IA abierta frente a cerrada. Los gobiernos deben comparar el riesgo de uso indebido de modelos ampliamente disponibles con el riesgo de concentración que generan unos pocos guardianes privados.
Por eso la propuesta de seguridad de la IA de Altman y Amodei presiona tanto a gobiernos como a desarrolladores. Los Estados deben decidir cuánta soberanía intercambiar por coordinación. Las empresas deben aceptar una supervisión que puede limitar productos, calendarios y estrategia competitiva.
Las empresas que piden reglas siguen controlando la carrera
Los llamados a la supervisión pública solo son creíbles si OpenAI y Anthropic aceptan restricciones que se apliquen cuando resulten comercialmente inconvenientes.
Ambas empresas han invertido intensamente en desarrollar modelos más capaces. Compiten por clientes empresariales, desarrolladores, investigadores, capacidad de cómputo y relaciones estratégicas con los gobiernos. Una desaceleración voluntaria puede fracasar si cualquiera de las organizaciones cree que su rival seguirá adelante.
Este problema de incentivos va más allá de OpenAI y Anthropic. Google DeepMind, Meta, xAI, laboratorios chinos y desarrolladores más recientes operan bajo estructuras diferentes. Algunos publican pesos de modelos, mientras que otros limitan el acceso mediante productos alojados.
Por tanto, un acuerdo de seguridad que cubra solo a dos empresas tendría un alcance limitado. Podría mejorar sus prácticas al tiempo que desplaza la ventaja hacia firmas fuera del acuerdo. Un marco creíble necesita reglas basadas en capacidades que se apliquen independientemente de la identidad corporativa.
La legislación antimonopolio introduce otra complicación. La coordinación directa entre competidores líderes puede generar preocupaciones por colusión. La supervisión gubernamental o una exención legal formal podrían ser necesarias para que las empresas discutan límites al desarrollo y calendarios de lanzamiento.
Incluso entonces, la coordinación en materia de seguridad puede proteger a las empresas establecidas frente a la competencia. Los grandes laboratorios pueden absorber los costes de evaluación, seguridad e informes con mayor facilidad que los desarrolladores más pequeños. Las reglas redactadas por los actores consolidados pueden convertirse en barreras que preserven su posición de mercado.
Por ello, los críticos cuestionan si las empresas de frontera deberían ayudar a diseñar su propia supervisión. Su experiencia técnica es necesaria, pero sus intereses financieros son inevitables. Los gobiernos necesitan científicos independientes, grupos de la sociedad civil, especialistas en seguridad y desarrolladores más pequeños en el proceso.
Las propias afirmaciones de seguridad de las empresas también requieren un tratamiento cuidadoso. Anthropic dice que sus pruebas detectan muchos riesgos graves, pero admite que el panorama es incompleto. OpenAI apoya un acceso amplio y beneficios distribuidos mientras opera una de las plataformas de modelos más influyentes del mundo.
La evaluación externa puede poner a prueba afirmaciones específicas, pero ningún benchmark puede demostrar que un sistema seguirá siendo seguro en todos los entornos. Los despliegues reales implican instrucciones inesperadas, acceso a herramientas, comportamiento de los usuarios e interacciones con otro software.
La dificultad aumenta con los agentes de larga duración. Una breve evaluación de laboratorio puede no revelar cómo se comporta un modelo durante una tarea de varios días. Los pequeños errores pueden acumularse cuando un agente escribe código, llama a servicios externos y delega trabajo.
Por tanto, las organizaciones deberían tratar las evaluaciones de modelos como una capa de control, no como un certificado de seguridad. Los límites de permisos, la revisión humana, la supervisión y los procedimientos de apagado siguen siendo esenciales. Los equipos también necesitan registros que muestren qué intentó hacer un agente y a qué datos accedió.
La disputa sobre el uso militar añade otra prueba. Los gobiernos quieren modelos avanzados para análisis de inteligencia, operaciones cibernéticas, planificación y sistemas autónomos. Las empresas pueden imponer restricciones que los funcionarios de defensa consideren incompatibles con las necesidades operativas.
Anthropic se ha opuesto públicamente al uso de sus modelos para la vigilancia doméstica masiva y las armas plenamente autónomas sin salvaguardas adecuadas. La empresa afirma que los sistemas de frontera actuales no son lo suficientemente fiables como para seleccionar y atacar objetivos sin un control humano significativo.
Esa postura demuestra cómo los principios de seguridad pueden chocar con la contratación pública. Una agencia de seguridad nacional puede exigir un uso lícito amplio, mientras que un desarrollador insiste en que algunas aplicaciones siguen siendo inaceptables.
Los estándares internacionales multiplicarían estos desacuerdos. Los países no comparten una única definición de vigilancia lícita, acción militar legítima o supervisión humana suficiente. Una norma que proteja las libertades civiles en una jurisdicción puede rechazarse en otra como interferencia extranjera.
Las empresas también deben explicar qué significa una desaceleración en términos operativos. ¿Retrasarían una ejecución de entrenamiento, pospondrían el despliegue, restringirían herramientas o limitarían el acceso a un modelo ya terminado? Cada decisión afecta al riesgo de manera distinta.
Retrasar el lanzamiento público no implica necesariamente ralentizar el desarrollo interno. Restringir un producto alojado no evita el robo ni la replicación independiente. Pausar una capacidad puede redirigir la investigación hacia otra vía con consecuencias similares.
Un compromiso significativo necesita un desencadenante, una respuesta medible y una verificación independiente. También necesita una condición de salida que explique cuándo puede reanudarse el desarrollo. Sin esos elementos, el ritmo sigue siendo un principio y no un mecanismo de seguridad exigible.
Por tanto, el escepticismo está justificado, pero no invalida la advertencia. Una empresa puede tener incentivos financieros y aun así identificar un riesgo técnico real. El desafío de política consiste en convertir el conocimiento interno en reglas que quienes están dentro no puedan controlar por sí solos.
Lo que necesitaría la cooperación en seguridad de la IA para funcionar
Un acuerdo práctico debería comenzar con obligaciones técnicas acotadas que los gobiernos puedan verificar sin crear un regulador universal de IA.
La primera obligación debería ser una evaluación estandarizada de capacidades. Los países no necesitan sistemas políticos idénticos para probar si un modelo facilita ciberataques sofisticados, el uso indebido biológico o la investigación automatizada de IA.
Las pruebas deberían usar definiciones comunes y procedimientos seguros. Los resultados deberían identificar niveles de riesgo sin publicar instrucciones que posibiliten el uso indebido. Los evaluadores independientes deberían recibir suficiente acceso para cuestionar las afirmaciones de los desarrolladores.
La segunda obligación debería ser la notificación obligatoria de incidentes. Los desarrolladores deberían revelar el robo grave de modelos, la replicación no autorizada, fallos de contención y comportamientos peligrosos dentro de un plazo definido.
Las normas de notificación deben distinguir los errores ordinarios de producto de los acontecimientos con implicaciones para la seguridad internacional. Una respuesta falsa de un chatbot de consumo no equivale a un sistema que explota infraestructura de forma autónoma.
Una taxonomía compartida de incidentes ayudaría a los reguladores a comparar acontecimientos entre empresas y países. Podría describir la gravedad, las capacidades afectadas, el acceso al modelo, la intervención humana y el potencial de daño transfronterizo.
La tercera obligación debería abarcar la investigación automatizada de IA. Los desarrolladores deberían documentar cuándo los modelos contribuyen al diseño de modelos, la generación de evaluaciones, el código de entrenamiento o la planificación de investigación. La aprobación humana debería seguir siendo obligatoria para acciones que aceleren materialmente las capacidades de frontera.
Este requisito aborda el bucle de retroalimentación que preocupa a Altman y Amodei. No prohibiría la investigación asistida por IA. Haría visible la aceleración antes de que las empresas dependan de procesos que los humanos no puedan auditar adecuadamente.
La cuarta obligación debería proteger la infraestructura de los modelos. Una política de seguridad tiene poco valor si los atacantes pueden robar pesos, comprometer sistemas de despliegue o extraer capacidades mediante consultas a gran escala.
Los requisitos de seguridad podrían abarcar el acceso de los empleados, la gestión de credenciales, los entornos de cómputo, las pruebas externas y la planificación de respuestas. Los controles más estrictos deberían aplicarse a los modelos que superen umbrales de capacidad definidos.
La quinta obligación debería establecer canales de comunicación de confianza entre las grandes potencias. Los gobiernos necesitan una forma de notificarse mutuamente sobre incidentes graves de IA sin divulgar públicamente detalles operativos sensibles.
Esos canales no resolverían las disputas políticas. Podrían evitar que un ciberincidente habilitado por IA o un fallo de modelo se interprete erróneamente como una agresión estatal deliberada.
Un acuerdo limitado basado en estas obligaciones diferiría de la autoridad global rechazada por Washington. Los reguladores nacionales podrían hacer cumplir el cumplimiento interno mientras utilizan estándares técnicos compartidos.
Este modelo federado aún enfrenta la evasión. Los desarrolladores podrían entrenar en jurisdicciones con reglas más débiles o dividir el trabajo entre filiales. Los proveedores de nube podrían ayudar aplicando requisitos de seguridad y notificación a los grandes clientes de entrenamiento.
La gobernanza del cómputo ofrece capacidad de influencia porque el entrenamiento de frontera requiere una infraestructura significativa. Sin embargo, los umbrales de cómputo pueden quedar obsoletos a medida que mejoran los algoritmos. Las reglas deben tener en cuenta la capacidad, no basarse solo en el uso de hardware.
Los modelos abiertos requieren un tratamiento separado. Restringir todo el desarrollo abierto suprimiría la investigación legítima y concentraría el poder. Ignorar los lanzamientos de alta capacidad haría imposible actualizar las salvaguardas tras la distribución.
Un enfoque escalonado podría distinguir los modelos de utilidad amplia de los sistemas con capacidades peligrosas demostradas. La exigencia debería aumentar con la evidencia de riesgo, no con el tamaño de un desarrollador ni con su modelo de negocio.
Ese principio también protege a las empresas más pequeñas. Los requisitos de cumplimiento deberían centrarse en acciones que creen riesgos externos graves. Los productos de software rutinarios no deberían heredar las mismas obligaciones que los laboratorios de frontera.
La representación global también importa. Muchos países consumen servicios de IA sin controlar modelos líderes ni una infraestructura informática importante. Aun así, enfrentan disrupción laboral, manipulación informativa, riesgo cibernético y dependencia de proveedores extranjeros.
Esos países necesitan participar en las conversaciones sobre estándares, incluso si no operan laboratorios de frontera. De otro modo, la gobernanza de la IA se convierte en un acuerdo entre varias empresas y Estados poderosos cuyos sistemas afectan a todos los demás.
Las Naciones Unidas pueden proporcionar ese foro sin convertirse en el único regulador. Sus paneles científicos pueden sintetizar la evidencia y sus órganos diplomáticos pueden establecer normas de comunicación. Las instituciones nacionales pueden conservar la autoridad de aplicación.
Ese acuerdo es menos llamativo que una agencia global de licencias. También es más plausible a corto plazo. La reunión del Consejo de Seguridad mostró que los gobiernos debatirán riesgos compartidos antes de aceptar un control compartido.
Tres señales mostrarán si el llamamiento de la ONU importa
La próxima prueba será determinar si los discursos generan compromisos verificables en lugar de otro ciclo de advertencias seguido de lanzamientos más rápidos de modelos.
La primera señal será un acuerdo por escrito entre laboratorios de frontera. Debería definir un umbral de capacidad, una evaluación independiente y la respuesta requerida cuando un modelo supere ese umbral.
Una declaración en apoyo de una IA responsable aportaría poco. Un pacto útil especificaría si las empresas retrasan el entrenamiento, restringen el despliegue o amplían las pruebas externas. También identificaría quién verifica el cumplimiento.
Si OpenAI, Anthropic, Google DeepMind, xAI, Meta y los principales desarrolladores chinos adoptan compromisos compatibles, el llamamiento del Consejo de Seguridad ganará credibilidad. Un acuerdo limitado a lenguaje voluntario debilitaría el argumento de que la industria puede coordinarse por sí misma.
La segunda señal será la acción gubernamental sobre la notificación de incidentes y los estándares de evaluación. Estados Unidos no necesita respaldar un regulador global para exigir a los laboratorios nacionales que informen de eventos de alta gravedad.
China, la Unión Europea, el Reino Unido y otros centros de IA pueden adoptar requisitos compatibles. La alineación entre sus sistemas crearía un estándar internacional práctico sin una autoridad centralizada.
Normas nacionales incompatibles producirían el resultado contrario. Los desarrolladores podrían dirigir el trabajo hacia jurisdicciones menos restrictivas, mientras los gobiernos reciben información diferente sobre riesgos similares.
La tercera señal será un canal formal de seguridad entre Estados Unidos y China. Las dos principales potencias de IA del mundo compiten por chips, talento, modelos y aplicaciones militares. Su participación es necesaria para cualquier sistema que aborde el riesgo transfronterizo de frontera.
Un mecanismo de notificación para incidentes graves de IA sería un comienzo modesto pero significativo. Demostraría que competidores estratégicos pueden separar ciertos peligros compartidos de la competencia tecnológica más amplia.
No crear ese canal dejaría al descubierto el límite de la campaña de seguridad de IA de Altman y Amodei. Las empresas podrían mejorar sus salvaguardas internas, pero no podrían resolver por sí solas el problema de la coordinación geopolítica.
Los lectores también deberían observar cómo se comportan las empresas después de sus advertencias. Una rápida sucesión de lanzamientos de capacidades sin umbrales más claros profundizaría el escepticismo. Más evaluación externa y una notificación transparente de incidentes respaldarían su argumento.
Las empresas no necesitan esperar un tratado. Pueden inventariar los permisos de los agentes, conservar registros de decisiones, exigir revisión humana para acciones de alto impacto y probar la recuperación ante fallos. Estas medidas reducen la exposición incluso cuando la política global sigue sin resolverse.
Los desarrolladores deberían seguir los estándares de evaluación y las propuestas de notificación porque pueden redefinir el diseño de productos. Los requisitos introducidos para los laboratorios de frontera suelen influir en las plataformas en la nube, las compras empresariales, los seguros y las auditorías de clientes.
Los trabajadores del conocimiento deberían interesarse porque las normas de seguridad determinan a qué pueden acceder y qué pueden hacer los sistemas de IA. Unos controles sólidos pueden limitar ciertas tareas, pero también pueden hacer que sea más seguro conectar agentes con información sensible del lugar de trabajo.
La aparición ante la ONU otorgó a la seguridad de la IA un perfil político más alto. No resolvió quién redacta las reglas, quién inspecciona los modelos ni quién puede ordenar una desaceleración.
Esa autoridad no resuelta es la tensión central de la historia. Altman y Amodei pidieron a los gobiernos que cooperaran antes de que los sistemas avanzados superen los controles existentes. Los gobiernos respondieron reconociendo el peligro mientras defendían su propio poder.
Los próximos uno a tres meses deberían revelar si esa brecha se reduce. Esté atento a un pacto entre laboratorios, normas nacionales de notificación compatibles y un canal de incidentes entre Estados Unidos y China. Si no aparece ninguno, los discursos seguirán siendo advertencias pronunciadas ante una institución que carecía de consenso para actuar.
