top of page

El plan de estándares de seguridad de Google, Anthropic y OpenAI pone a prueba la autorregulación

28 sept
14 min de lectura

Según informes, Google, Anthropic y OpenAI han avanzado hacia la creación de estándares privados de seguridad de OpenAI, pese a años de llamados a una supervisión pública más sólida. La organización propuesta establecería normas comunes para los desarrolladores de IA de frontera sin actuar como regulador gubernamental. Su nombre provisional es Standards Authority for Frontier AI, o SAFA.

La iniciativa sigue siendo una propuesta, no una autoridad consolidada. Las empresas no han anunciado conjuntamente SAFA, publicado sus documentos de gobernanza ni explicado cómo se aplicarían sus decisiones. La mayoría de los detalles proceden de personas familiarizadas con las conversaciones.

Esa brecha de verificación crea la tensión central. Las empresas que desarrollan algunos de los sistemas de IA más capaces quieren ayudar a definir cómo deberían probarse esos sistemas. Sus conocimientos técnicos les dan una razón de peso para participar. Sus intereses comerciales dan a todos los demás una razón de peso para exigir independencia.

El organismo de estándares de seguridad de OpenAI del que se informa empieza a tomar forma

El cambio inmediato es organizativo: según informes, las conversaciones privadas sobre seguridad de IA se están convirtiendo en un plan para una autoridad permanente de estándares.

The Information informa que Google, OpenAI y Anthropic están desarrollando una organización liderada por la industria centrada en la seguridad de la IA de frontera. La IA de frontera se refiere a modelos de propósito general altamente capaces que se aproximan o superan las capacidades de los principales sistemas existentes.

El nombre provisional de la organización es Standards Authority for Frontier AI. El acrónimo, SAFA, aún podría cambiar porque el grupo no se ha lanzado formalmente. Según informes, las empresas esperan establecerla a finales de 2026 o principios de 2027.

Ese calendario importa porque una fecha de lanzamiento convierte una amplia conversación de política pública en un proyecto operativo. Una autoridad real necesitaría dirigentes, financiación, normas de afiliación, procedimientos técnicos y una estructura creíble de toma de decisiones.

Según informes, las empresas han contactado a Sriram Krishnan para que se convierta en director ejecutivo. Krishnan trabajó anteriormente como inversor de capital de riesgo y fue asesor principal de política de IA en la administración Trump. Su candidatura reportada sugiere que la organización busca credibilidad política junto con experiencia técnica.

Según informes, también se han discutido otros posibles líderes y asesores científicos. Sin embargo, ninguna designación parece haber sido confirmada públicamente. Las empresas no han revelado si los candidatos aceptaron, rechazaron o siguen siendo considerados.

Un informe separado mostró que la coordinación no era meramente especulativa. Chris Lehane, responsable global de políticas de OpenAI, afirmó que la empresa había discutido la seguridad de IA con Anthropic y Google DeepMind durante varias semanas. Sus comentarios confirmaron las conversaciones, aunque no todos los detalles reportados sobre SAFA.

Las conversaciones sobre seguridad incluyen, según informes, cuestiones sobre riesgos catastróficos, evaluaciones de terceros y cooperación entre desarrolladores competidores. También plantean preocupaciones relativas a la legislación antimonopolio cuando competidores directos coordinan su conducta.

Esa distinción es esencial. La cooperación en pruebas de seguridad puede crear protecciones compartidas, pero la coordinación también puede influir en la competencia. Un organismo de estándares necesita límites que permitan reducir riesgos sin permitir que sus miembros controlen mercados o excluyan a rivales más pequeños.

Ningún documento público explica todavía cómo SAFA resolvería ese problema. El objetivo reportado para fin de año también deja poco tiempo para diseñar salvaguardas en torno a la financiación, los derechos de voto, los conflictos de interés y las apelaciones.

Por ahora, los lectores deberían considerar SAFA como una propuesta en desarrollo respaldada por informes creíbles. No debería describirse como un regulador operativo, un auditor certificado o un acuerdo finalizado.

Por qué los tres laboratorios quieren ahora normas comunes

Google, OpenAI y Anthropic se enfrentan a un problema de coordinación que las políticas de seguridad individuales no pueden resolver.

Cada empresa puede publicar su propio marco de riesgos, encargar evaluaciones y restringir el lanzamiento de un modelo. Esas acciones no crean un umbral común en toda la industria. Una empresa que retrasa el despliegue puede perder usuarios, ingresos o atención de desarrolladores mientras un competidor sigue avanzando.

Los estándares comunes de seguridad de OpenAI podrían reducir esa presión si todos los desarrolladores participantes aceptan pruebas comparables. También podrían ayudar a los clientes a comparar afirmaciones de seguridad que actualmente se basan en definiciones y formatos de reporte distintos.

El momento refleja un cambio más amplio desde principios abstractos hacia controles operativos. Los desarrolladores ahora necesitan procedimientos para evaluaciones de capacidades, pruebas de seguridad, reportes de incidentes, acceso externo y supervisión posterior al despliegue.

El marco de gobernanza de OpenAI abarca riesgos relacionados con ciberofensivas, amenazas biológicas, manipulación perjudicial y pérdida de control. También describe el reporte de modelos, la respuesta a incidentes, la gestión de seguridad y las aportaciones de expertos externos.

Anthropic mantiene su propio enfoque de escalado responsable, mientras que Google DeepMind utiliza marcos internos de seguridad y programas de evaluación. Estos sistemas comparten temas generales, pero no producen automáticamente decisiones idénticas de lanzamiento.

Un organismo compartido podría definir requisitos mínimos de evaluación antes de que un modelo de frontera llegue a los usuarios. Podría especificar quién realiza las pruebas, qué evidencia deben aportar los desarrolladores y cómo los hallazgos graves afectan al despliegue.

La autoridad también podría respaldar el intercambio confidencial de información. Los laboratorios de frontera a veces descubren capacidades peligrosas, debilidades de seguridad o patrones de uso indebido que los competidores necesitan comprender. La divulgación pública puede exponer detalles sensibles, por lo que un mecanismo de intercambio confiable tiene valor práctico.

Sin embargo, los procedimientos comunes solo ayudan cuando las empresas participantes los siguen bajo presión. Los casos difíciles implican lanzamientos retrasados, funciones restringidas, cambios de seguridad costosos o evidencias que socavan las afirmaciones públicas de una empresa.

Los estándares voluntarios son más fáciles de seguir cuando validan un lanzamiento previsto. Su credibilidad se pone a prueba cuando el cumplimiento amenaza los ingresos o la ventaja estratégica.

La acción gubernamental sigue estando fragmentada entre jurisdicciones. California y la Unión Europea han desarrollado obligaciones que afectan a la IA avanzada, mientras la política federal en Estados Unidos continúa evolucionando. Las empresas que operan globalmente deben traducir requisitos superpuestos en controles técnicos.

Una autoridad industrial podría facilitar esa traducción. Podría producir métodos de evaluación que reguladores, auditores, clientes y desarrolladores comprendan. También podría convertirse en otra capa de política privada sin responsabilidad jurídica.

Por eso la propuesta reportada implica más que un comité. La influencia real de la organización dependería de si sus estándares afectan las decisiones reales de despliegue.

Si SAFA se limita a publicar recomendaciones, se parecerá a muchos foros de política existentes. Si puede exigir evidencia, divulgar fallos e imponer consecuencias significativas, ocuparía un papel mucho más trascendental.

El Frontier Model Forum ya cubre un terreno similar

SAFA debe explicar por qué es necesaria otra organización industrial cuando las mismas empresas ya crearon un foro sobre IA de frontera.

Anthropic, Google, Microsoft y OpenAI lanzaron el Frontier Model Forum en 2023. Sus objetivos declarados incluyen impulsar la investigación de seguridad, desarrollar mejores prácticas, respaldar evaluaciones y compartir información con gobiernos y sociedad civil.

El anuncio conjunto original del Foro describía una biblioteca pública de evaluaciones técnicas y puntos de referencia. También prometía evaluaciones estandarizadas e intercambio seguro de información sobre riesgos de IA.

Esos objetivos se superponen sustancialmente con la agenda reportada de SAFA. Ambos implican estándares comunes, evaluaciones de modelos de frontera, experiencia compartida y coordinación entre desarrolladores líderes.

La superposición plantea una pregunta básica de gobernanza: ¿qué autoridad tendría SAFA que el Foro no posee?

Una posible respuesta es la aplicación. El Frontier Model Forum opera principalmente como un grupo industrial colaborativo. SAFA podría diseñarse más como una autoridad autorreguladora, con normas definidas y procedimientos de cumplimiento.

Esa distinción tendría que aparecer en documentos vinculantes. Un nuevo nombre y un equipo ejecutivo no crearían por sí solos una autoridad significativa. La organización necesitaría un mandato claro que separe el establecimiento de estándares de la coordinación ordinaria de políticas.

La afiliación es otra cuestión abierta. El Frontier Model Forum fue establecido por cuatro empresas y más tarde amplió su alcance. Las conversaciones reportadas sobre SAFA se centran en Google, OpenAI y Anthropic, dejando poco claro el papel de Microsoft.

Los desarrolladores de modelos más pequeños, los proyectos de código abierto, los investigadores académicos, los clientes empresariales y los grupos de la sociedad civil también tienen intereses en juego. Los estándares diseñados por tres laboratorios dominantes podrían imponer requisitos que solo las grandes empresas pueden permitirse.

Probar modelos sofisticados requiere investigadores especializados, entornos de computación seguros y acceso controlado a sistemas sensibles. Los costes de cumplimiento podrían convertirse en una barrera para desarrolladores más pequeños, incluso cuando las normas mejoren la seguridad.

Los grandes laboratorios poseen el personal y la infraestructura para cumplir exigencias complejas de certificación. También cuentan con los equipos de política necesarios para influir en cómo se redactan esas exigencias.

Esa combinación crea un riesgo de captura regulatoria. La captura regulatoria ocurre cuando un sistema de elaboración de normas sirve cada vez más a los intereses de las entidades que pretende limitar.

El riesgo no demuestra que SAFA vaya a ser capturada. Significa que la organización necesita salvaguardas institucionales antes de que los actores externos puedan confiar en sus juicios.

Esas salvaguardas deberían incluir poder de voto independiente, políticas transparentes sobre conflictos, metodologías publicadas y procedimientos para impugnar decisiones. Los estándares de afiliación deberían ser proporcionales al riesgo, no al tamaño de la empresa.

El organismo también tendría que coordinarse con las instituciones públicas existentes, en lugar de presentar la certificación privada como sustituto. Las agencias gubernamentales tienen una autoridad democrática que un grupo financiado por empresas no puede reproducir.

La propia OpenAI reconoció anteriormente esa limitación. Un documento sobre regulación de la IA de frontera calificó la autorregulación de la industria como un primer paso importante, al tiempo que sostenía que la intervención gubernamental seguiría siendo necesaria.

Esa posición anterior ofrece una prueba útil. SAFA puede complementar la regulación pública mediante estándares técnicos y evidencia. No debería convertir silenciosamente un primer paso reconocido en el sistema final.

El verdadero equilibrio es entre experiencia e independencia

El argumento más sólido a favor de SAFA es su competencia técnica, mientras que el argumento más sólido en contra es su dependencia institucional.

Las evaluaciones de modelos de frontera son difíciles de diseñar. Una prueba debe examinar capacidades peligrosas sin enseñar a un modelo cómo eludir el escrutinio. También debe distinguir el comportamiento repetible de resultados aislados.

Los evaluadores externos a menudo necesitan acceso a los pesos del modelo, las salvaguardas internas, los registros del sistema y las capacidades no publicadas. Las empresas tienen razones legítimas para proteger esa información de competidores y actores maliciosos.

Una autoridad especializada podría crear canales seguros para revisar pruebas confidenciales. Podría mantener métodos coherentes entre lanzamientos y preservar el conocimiento institucional entre incidentes.

Ese modelo se parece a las auditorías de otros sectores de alto riesgo. Especialistas independientes reciben acceso a registros confidenciales, contrastan las afirmaciones con estándares definidos e informan sus conclusiones sin publicar todos los detalles sensibles.

Sin embargo, el acceso por sí solo no crea independencia. Un evaluador puede comprender profundamente un sistema y, aun así, seguir siendo financiera o profesionalmente dependiente de su desarrollador.

Un artículo de investigación de 2026 sobre auditorías de IA de frontera sostiene que los actores externos siguen careciendo de formas fiables para verificar las afirmaciones de seguridad de los principales desarrolladores. Sus autores proponen niveles de aseguramiento que van desde revisiones limitadas hasta la verificación continua.

Ese marco destaca una distinción importante. Un benchmark mide el rendimiento en condiciones seleccionadas. Una auditoría pone a prueba si las afirmaciones, los controles y las prácticas más amplias de un desarrollador merecen confianza.

SAFA tendría que decidir qué función desempeña. Un editor de estándares, un laboratorio de pruebas, un auditor y una autoridad de aplicación son instituciones distintas. Combinarlas sin límites claros concentraría demasiada discrecionalidad.

La financiación es una preocupación inmediata. Si las empresas miembros pagan a la organización, el público necesita saber si las contribuciones influyen en los nombramientos, las prioridades o el acceso a las conclusiones.

La selección del liderazgo plantea el mismo desafío. Un ejecutivo con conexiones políticas podría ayudar al grupo a trabajar con los gobiernos. Esa persona seguiría necesitando independencia de las empresas que ofrecieron el cargo.

Los asesores técnicos también necesitan declarar conflictos de interés. La comunidad dedicada a la seguridad de la IA de frontera es pequeña, y los expertos pasan con frecuencia de laboratorios a organizaciones sin fines de lucro, universidades y organismos gubernamentales.

Estas relaciones no descalifican automáticamente a nadie. Pero hacen esenciales unas normas transparentes de recusación.

Informes recientes ilustran la tensión en torno a los evaluadores externos. Algunos funcionarios y líderes del sector quieren expertos con experiencia directa en laboratorios, mientras que los críticos cuestionan los vínculos personales y profesionales estrechos.

Una evaluación independiente señaló que muchas evaluaciones de IA todavía hacen más hincapié en el rendimiento que en el comportamiento de seguridad. El mismo informe citó a Henry Papadatos, de SaferAI, quien sostuvo que la acción voluntaria de las empresas sigue siendo insuficiente sin transparencia pública.

Por lo tanto, una autoridad creíble debería publicar más que conclusiones tranquilizadoras. Debería identificar el estándar utilizado, la independencia del evaluador, la categoría de pruebas revisada y cualquier limitación que afecte al resultado.

También debería revelar los desacuerdos. Si un evaluador recomienda retrasar un modelo y un miembro lo lanza de todos modos, los usuarios y los reguladores deberían saber que el proceso no logró controlar el despliegue.

Las opciones de aplicación podrían abarcar desde requisitos privados de subsanación hasta avisos públicos y la suspensión de la membresía. Cada opción implica compensaciones entre confidencialidad, exposición legal y seguridad pública.

Un organismo sin consecuencias corre el riesgo de convertirse en un servicio de reputación. Un organismo con un poder considerable pero una rendición de cuentas débil corre el riesgo de convertirse en un regulador privado controlado por los líderes del mercado.

Ese es el dilema central de SAFA. Los laboratorios poseen información que los actores externos necesitan, pero no deberían recibir autoridad sin controles por el hecho de poseerla.

Los desarrolladores y los compradores empresariales sentirán los efectos

El primer impacto práctico aparecerá en las adquisiciones, el acceso a modelos y los procedimientos de lanzamiento, más que en las etiquetas de productos orientadas al consumidor.

Los compradores empresariales ya preguntan a los proveedores sobre controles de seguridad, privacidad, respuesta ante incidentes y cumplimiento normativo. Los estándares de IA de frontera podrían añadir evidencia específica de cada modelo a esas revisiones.

Una empresa que despliegue un agente de programación con IA podría querer pruebas de que el modelo fue evaluado para detectar la creación de vulnerabilidades, el robo de credenciales y las acciones no autorizadas. Un cliente sanitario podría priorizar la privacidad, los riesgos de manipulación y la fiabilidad ante prompts inusuales.

Los estándares comunes podrían facilitar la comparación de esas cuestiones. Los compradores recibirían pruebas organizadas en torno a categorías compartidas, en lugar de informes de proveedores incompatibles entre sí.

Ese beneficio depende del acceso. Un distintivo de certificación sin documentación de respaldo daría a los equipos de adquisiciones pocas bases para juzgar la calidad de una evaluación.

Los desarrolladores también podrían enfrentarse a nuevas restricciones. Los proveedores de modelos podrían exigir comprobaciones de identidad más estrictas, supervisión o acceso gradual cuando las evaluaciones identifiquen capacidades peligrosas.

Esos controles pueden reducir el uso indebido, pero también pueden limitar la experimentación. Los investigadores y las pequeñas empresas podrían tener dificultades para obtener el mismo acceso que los grandes clientes.

Los desarrolladores de código abierto afrontan un problema diferente. Los estándares construidos en torno a prácticas de laboratorios cerrados pueden asumir que una sola organización controla los pesos del modelo, la infraestructura de despliegue y el acceso de los usuarios.

Los modelos abiertos distribuyen esas responsabilidades. Un marco útil debe distinguir entre los riesgos creados durante el entrenamiento y los riesgos creados mediante el despliegue, la modificación y la distribución posterior.

Si SAFA ignora esta distinción, sus estándares podrían favorecer por diseño a los servicios centralizados. Eso convertiría un marco de seguridad en una decisión sobre la estructura del mercado.

Los proveedores de nube también sentirían presión. Google opera tanto un laboratorio de modelos de frontera como una importante infraestructura informática. Microsoft y Amazon mantienen relaciones profundas con los principales desarrolladores de IA.

Los estándares relativos al entrenamiento seguro, el acceso a modelos, el registro de actividad y la respuesta ante incidentes afectarían a esas plataformas. Su participación o exclusión determinaría si la autoridad cubre la cadena de suministro más amplia de la IA.

Los trabajadores del conocimiento podrían encontrarse con las normas de forma indirecta. Un modelo podría rechazar más solicitudes, requerir confirmación antes de actuar o perder capacidades después de una evaluación de riesgos.

Esos cambios pueden parecer decisiones de producto incluso cuando se originan en la gobernanza de la seguridad. Una divulgación clara ayudaría a los usuarios a entender por qué cambió el acceso y si la restricción se aplica a todos los proveedores.

Las organizaciones que siguen estas decisiones necesitan pruebas procedentes de informes sobre modelos, actualizaciones de políticas y avisos de incidentes. Una base de conocimientos con capacidad de búsqueda puede ayudar a los equipos a conectar los estándares cambiantes con las evaluaciones de proveedores y los registros internos de despliegue.

El resultado más valioso sería la comparabilidad. Los clientes deberían poder determinar si dos proveedores superaron pruebas equivalentes en condiciones equivalentes.

El resultado menos valioso sería una certificación simbólica. Si todos los miembros fundadores superan todas las revisiones, independientemente de los incidentes o las conclusiones controvertidas, la etiqueta comunicará poco.

Por tanto, los desarrolladores y compradores deberían examinar el método detrás de cualquier futura marca de SAFA. Deberían preguntar quién evaluó el modelo, qué acceso recibió y qué riesgos quedaron fuera del alcance.

Tres señales mostrarán si SAFA tiene autoridad real

SAFA debería juzgarse por su gobernanza, sus consecuencias y su relación con los reguladores públicos.

La primera señal es una carta fundacional formal. El nombre comunicado, la ventana de lanzamiento y las conversaciones sobre liderazgo no revelan cómo funcionaría realmente la organización.

Una carta fundacional creíble debería identificar a los miembros, las fuentes de financiación, la estructura de votación, las normas sobre conflictos de interés y el proceso de nombramiento. También debería explicar si los expertos independientes tienen poder de decisión.

Preste atención a disposiciones que impidan a las empresas fundadoras invalidar las decisiones de los evaluadores. Sin esas protecciones, la autoridad seguiría dependiendo de los laboratorios que evalúa.

La segunda señal es un proceso publicado de evaluación y aplicación. La organización debería definir qué modelos entran en revisión, cuándo comienzan las pruebas y qué pruebas reciben los evaluadores.

Debería indicar qué ocurre después de un hallazgo grave. Los posibles resultados incluyen subsanación, despliegue restringido, lanzamiento retrasado, notificación pública o expulsión de la organización.

El proceso también debería incluir apelaciones. Las empresas necesitan una forma de impugnar errores técnicos, mientras que los evaluadores necesitan protección frente a represalias comerciales.

Una promesa vaga de promover las mejores prácticas debilitaría el argumento para crear una nueva organización. El Frontier Model Forum ya desempeña funciones de investigación y coordinación.

La tercera señal es el reconocimiento formal por parte de los reguladores sin ceder la regulación. Las agencias públicas podrían utilizar los métodos de SAFA, participar como observadoras o incorporar el trabajo técnico a normas legales.

Esa cooperación reforzaría la propuesta si los gobiernos conservan la supervisión y la autoridad de aplicación. Debilitaría la propuesta si los responsables políticos simplemente externalizan su criterio a los mayores desarrolladores.

La selección comunicada de un director ejecutivo con experiencia política respaldaría la idea de que las relaciones con los gobiernos son centrales para el plan. Por sí sola, no establecería la rendición de cuentas pública.

El calendario de lanzamiento es otra prueba. Un debut a finales de 2026 o principios de 2027 deja poco margen para una consulta exhaustiva si el organismo quiere comenzar con autoridad sustantiva.

Un lanzamiento apresurado podría producir principios amplios antes que controles detallados. Esa secuencia es comprensible, pero la organización no debería presentar normas aspiracionales como salvaguardas completadas.

Los lectores también deberían observar qué empresas permanecen fuera. Microsoft, Meta, Amazon, xAI, los principales desarrolladores de modelos abiertos y los laboratorios internacionales influyen todos en los mercados de IA de frontera.

Un estándar seguido por solo tres empresas aún puede importar. Su legitimidad seguirá siendo limitada si otros desarrolladores importantes rechazan sus métodos o su gobernanza.

Lo mismo se aplica a la sociedad civil y los investigadores. La participación debe implicar algo más que reuniones consultivas después de que las empresas fundadoras tomen las decisiones clave.

El organismo propuesto de estándares de seguridad de OpenAI podría convertirse en una infraestructura útil para evaluar modelos cada vez más capaces. También podría duplicar grupos existentes mientras otorga a decisiones privadas una apariencia regulatoria.

La diferencia será visible en los documentos, no en las promesas. Busque votos independientes, consecuencias aplicables, métodos transparentes y un papel definido para la supervisión gubernamental.

A medida que SAFA se acerque a su ventana de lanzamiento comunicada, los desarrolladores y compradores empresariales deberían conservar las afirmaciones de los proveedores y compararlas con las normas posteriores. ¿Qué salvaguardas se vuelven medibles y cuáles siguen siendo lenguaje voluntario? Esa comparación revelará si la iniciativa cambia el comportamiento de despliegue o simplemente cambia la forma en que los principales laboratorios lo describen.

 
 

Empieza gratis

Un asistente de IA local-first con gestión del conocimiento personal

Para ofrecer una mejor experiencia con la IA,

actualmente remio solo es compatible con Windows 10+ (x64) y M-Chip Macs.

Tu aliado de IA para el trabajo
Haz más con remio

Planifica. Crea. Entrega.
Todo en un solo lugar.

bottom of page