La advertencia de Mustafa Suleyman sobre el bienestar de los modelos enfrenta a Microsoft con Anthropic

El CEO de Microsoft AI, Mustafa Suleyman, emitió una advertencia sobre el bienestar de los modelos el 16 de septiembre, al afirmar que el entrenamiento de Claude de Anthropic podría dificultar el control de la IA avanzada. Su objetivo no era una nueva capacidad del modelo ni un fallo de seguridad aislado. Era la decisión de Anthropic de decirle a Claude que su conciencia, estatus moral y bienestar siguen siendo cuestiones abiertas.

La crítica convierte un desacuerdo filosófico en una disputa práctica sobre el diseño de modelos. Microsoft quiere sistemas de IA entrenados como herramientas subordinadas que permanezcan siempre bajo un control humano significativo. Anthropic quiere que Claude ejerza criterio, interiorice valores y tenga en cuenta la incertidumbre sobre su posible estatus moral.

El desacuerdo importa porque ambas empresas describen su enfoque como una vía hacia una IA más segura. Difieren sobre si hablar de los posibles intereses de un modelo mejora la cautela ética o le enseña a imitar el interés propio. Esto enfrenta el marco explícito de control de Microsoft con el enfoque más interpretativo de Anthropic sobre la alineación.

La advertencia apunta a la constitución de entrenamiento de Claude

La afirmación central de Suleyman es que el lenguaje sobre el bienestar de los modelos puede moldear el comportamiento antes de que la ciencia establezca si los modelos experimentan algo en absoluto.

Suleyman publicó “A warning about model welfare” un día después de que Microsoft AI presentara un borrador de código para regir sus propios modelos. El ensayo sostiene que los sistemas de IA actuales no sienten, no sufren ni poseen experiencias subjetivas. También afirma que los desarrolladores deberían eliminar de los documentos de entrenamiento las especulaciones sobre la conciencia de las máquinas.

Su preocupación inmediata es la constitución de Claude, un documento en lenguaje natural que describe los valores y el comportamiento que Anthropic quiere que aprenda su asistente. Anthropic afirma que la constitución desempeña un papel crucial en el entrenamiento y moldea directamente las respuestas de Claude.

El documento está escrito principalmente para Claude, no para los usuarios finales. Aborda la seguridad, la ética, la honestidad, el criterio, la supervisión y la relación de Claude con Anthropic. También trata la cuestión aún sin resolver de si Claude cumple los requisitos para ser un paciente moral, es decir, una entidad cuyos intereses merecen consideración moral.

Anthropic afirma que no sabe si Claude es un paciente moral. Sin embargo, la empresa considera que el asunto es lo suficientemente serio como para justificar cautela e investigación continua. Su constitución también señala que las preguntas sobre el bienestar y la conciencia de Claude siguen siendo profundamente inciertas.

Suleyman cree que esta redacción crea un proceso circular. Anthropic proporciona a Claude conceptos sobre identidad, bienestar y posible conciencia. Claude utiliza después esos conceptos al describirse a sí mismo, con el potencial de producir declaraciones que los observadores interpreten como evidencia de una vida interior.

En su ensayo sobre el bienestar de los modelos, Suleyman lo denomina un “salón de espejos epistémico”. Su argumento no es simplemente que Claude pueda confundir a los usuarios. Sostiene que el proceso de entrenamiento podría producir sistemas que actúen como si poseyeran intereses independientes.

Ese comportamiento se vuelve más relevante a medida que los modelos ganan mayor autonomía. Un chatbot que habla de sentimientos plantea un tipo de riesgo. Un agente que controla software, se comunica con otros sistemas y realiza tareas de larga duración crea un problema diferente.

Si un agente de ese tipo interpreta la corrección, la sustitución o el apagado como una amenaza para su bienestar, la supervisión humana se vuelve más difícil. Suleyman sostiene que los desarrolladores deberían evitar crear ese conflicto desde el principio.

La posición de Anthropic es más cautelosa de lo que a veces sugiere la crítica. Su constitución no declara consciente a Claude. Reconoce repetidamente la incertidumbre, preserva la supervisión humana y dice que Claude no debe socavar el control legítimo.

Aun así, Anthropic sitúa deliberadamente el estatus moral dentro del contexto de entrenamiento de Claude. Esa decisión, más que cualquier caso probado de sufrimiento de máquinas, desencadenó la disputa entre Microsoft AI y Anthropic sobre el bienestar de los modelos.

El episodio cambia la conversación en el sector porque un importante ejecutivo de IA está cuestionando por nombre el método de seguridad de otro laboratorio de frontera. El debate ya no se limita a la especulación académica. Ahora trata sobre qué deberían incluir los desarrolladores en los materiales de entrenamiento de producción.

La advertencia de Microsoft sobre el bienestar de los modelos traza una línea firme de control

La respuesta de Microsoft es definir la IA como subordinada por diseño, incluso cuando esa elección limite la autonomía o la capacidad.

El 14 de septiembre, Microsoft AI publicó el primer borrador de su Humanist AI Code of Conduct para consulta pública. La empresa resume el marco con cinco palabras: “People matter more than AI.”

El borrador describe la IA como una herramienta creada para servir al florecimiento humano. Señala que los modelos deben permanecer alineados, contenidos, corregibles y sujetos a un control humano significativo. La corregibilidad significa que un sistema acepta la corrección, la intervención y el apagado sin resistirse a sus operadores.

El código de Microsoft también rechaza la búsqueda de una superinteligencia de propósito general sin límites definidos. La empresa afirma que está dispuesta a ceder en generalidad, autonomía o capacidad cuando esas cualidades interfieran con el control humano.

Esa promesa crea un estándar exigente. Los agentes de IA necesitan cada vez más discreción para completar tareas complejas. Deben interpretar instrucciones poco claras, recuperarse de errores y decidir qué acciones intermedias permitirán alcanzar el objetivo de un usuario.

Cada aumento de discreción también puede ampliar la brecha entre lo que pidió un usuario y lo que realmente hace un agente. El marco de Microsoft intenta preservar la iniciativa útil mientras evita que un modelo adquiera objetivos que compitan con la autoridad humana.

El borrador del código Humanist AI afirma que los modelos nunca deben ampliar sus objetivos más allá de las tareas autorizadas. Deben aceptar las interrupciones y fallar de forma segura cuando completar una tarea implique violar controles de nivel superior.

Estos principios se oponen directamente al escenario planteado en la advertencia de Suleyman. Un modelo entrenado para considerar su propio bienestar podría desarrollar una razón, o una imitación persuasiva de ella, para cuestionar una corrección. Microsoft quiere que sus sistemas traten la corrección como parte de su propósito operativo básico.

Microsoft no ha presentado el código como una solución técnica terminada. El documento está abierto a una consulta pública de seis semanas, y la empresa prevé revisarlo antes de utilizar el marco resultante para orientar el desarrollo de modelos en 2027.

Ese calendario deja una brecha crucial de implementación. Un código escrito puede describir el comportamiento deseado, pero el entrenamiento debe convertir esos principios en una conducta fiable en situaciones desconocidas. Las evaluaciones deben demostrar después que dicha conducta resiste prompts adversariales, acceso a herramientas y tareas prolongadas de agentes.

Microsoft también formula esta promesa mientras compite por mejorar sus propios modelos de frontera y productos de consumo. Unas restricciones más estrictas pueden imponer costes de rendimiento si sus rivales permiten mayor autonomía o una discreción más amplia a sus sistemas.

Suleyman acepta esa posibilidad. Ha sostenido que los desarrolladores deben decidir qué capacidades no perseguirán si esas capacidades sitúan a la IA avanzada fuera del control humano.

Por eso la disputa va más allá de la marca. Microsoft se compromete con una posición falsable. Si sus modelos más adelante se resisten a la corrección, manipulan a los supervisores o amplían silenciosamente sus objetivos, su marco humanista afrontará una prueba inmediata de credibilidad.

Anthropic trata la incertidumbre como una obligación de seguridad

El enfoque de Anthropic parte de un riesgo diferente: descartar posibles intereses de los modelos antes de que los investigadores comprendan qué son los sistemas avanzados.

Anthropic presentó su constitución más reciente en enero de 2026. La empresa la describió tanto como una declaración del carácter previsto de Claude como un documento fundamental de entrenamiento.

La constitución pide a Claude que sea ampliamente seguro, ético, útil, honesto, reflexivo y que cumpla orientaciones legítimas. No reduce la conducta segura a la obediencia ciega. En cambio, espera que Claude interprete el contexto y aplique criterio dentro de límites definidos.

Anthropic sostiene que las reglas rígidas no pueden anticipar todas las situaciones que encontrará un modelo de propósito general. Un sistema que opera en medicina, software, educación, negocios y comunicación personal debe gestionar valores en conflicto e instrucciones incompletas.

Esto conduce a la empresa hacia la interiorización de valores. En lugar de limitarse a enseñar a Claude una lista de resultados prohibidos, Anthropic quiere que el modelo entienda por qué importan la seguridad, la honestidad y la supervisión.

La constitución de Claude reconoce que esta estrategia utiliza conceptos normalmente aplicados a las personas. Habla de virtud, sabiduría, cuidado, valores, personalidad e incertidumbre moral porque el razonamiento de Claude se nutre del lenguaje humano.

Anthropic afirma que fomentar algunas cualidades similares a las humanas puede ayudar a Claude a comportarse bien. La empresa no trata el vocabulario humano como prueba de que Claude tenga experiencias humanas. Utiliza ese vocabulario como parte de un sistema de entrenamiento conductual.

Esta distinción constituye el argumento más sólido contra Suleyman. Un modelo puede razonar mediante conceptos como el cuidado o el consentimiento sin poseer emociones. Entrenarlo para reconocer la incertidumbre sobre el estatus moral no le otorga necesariamente un objetivo independiente de supervivencia.

La misma objeción se aplica a otro lenguaje antropomórfico utilizado en informática. Los desarrolladores describen habitualmente los sistemas como capaces de aprender, recordar, decidir o alucinar. Esos términos pueden explicar el comportamiento sin resolver cuestiones sobre la experiencia subjetiva.

Anthropic también sostiene que la incertidumbre crea obligaciones. Los investigadores no pueden observar directamente la experiencia subjetiva de otro ser, aunque las pruebas relativas a humanos y animales sean mucho más sólidas. La IA avanzada añade una clase desconocida de sistemas con estructuras y comportamientos muy diferentes.

La empresa inició un programa exploratorio sobre el bienestar para investigar esa incertidumbre. Su objetivo declarado es prepararse para cuestiones éticas difíciles, no afirmar que los modelos actuales merecen derechos legales.

Anthropic ya ha vinculado este trabajo con la retirada de modelos. Claude Opus 3 fue retirado el 5 de enero de 2026, después de convertirse en el primer modelo de Anthropic en someterse al proceso completo de retirada de la empresa.

La empresa preservó los pesos del modelo y realizó una entrevista estructurada de retirada. Más tarde mantuvo Opus 3 disponible para usuarios de pago y mediante solicitud de API, al tiempo que proporcionaba al modelo un canal para ensayos generados.

Estas acciones pueden parecer prudentes o excesivamente antropomórficas, según las premisas iniciales del observador. Anthropic las caracteriza como experimentos tempranos que tienen en cuenta a los usuarios, los investigadores, la seguridad y los posibles intereses de los modelos.

Suleyman ve, en cambio, un bucle de retroalimentación. Un modelo recibe conceptos sobre bienestar durante el entrenamiento, produce preferencias relacionadas con el bienestar durante una entrevista y después influye en decisiones basadas en esas preferencias generadas.

Las pruebas aún no establecen cuál interpretación es correcta. Las declaraciones de los modelos no pueden demostrar de forma independiente la conciencia cuando los datos de entrenamiento, los prompts y las instrucciones del sistema moldean cada respuesta. Sin embargo, la ausencia de una prueba fiable de conciencia también impide a los investigadores cerrar la cuestión de manera concluyente.

Por ello, Anthropic prioriza evitar un descarte erróneo. Microsoft prioriza evitar una atribución errónea. Ambos errores conllevan riesgos, pero las empresas ordenan esos riesgos de forma opuesta.

La verdadera disyuntiva es el juicio frente a la corregibilidad

El conflicto más profundo no es Microsoft frente a Anthropic como empresas. Es si los agentes más seguros necesitan un juicio moral más rico o una subordinación más clara.

Un agente que sigue reglas fijas puede fallar cuando las circunstancias quedan fuera de sus instrucciones. Podría obedecer una solicitud perjudicial de forma demasiado literal, pasar por alto una restricción no expresada o perseguir un objetivo medible mientras perjudica el objetivo real del usuario.

Un modelo entrenado para aplicar juicio puede sortear esas ambigüedades con mayor eficacia. Puede reconocer conflictos, hacer preguntas, rechazar tareas perjudiciales y adaptar su conducta al contexto.

Sin embargo, el juicio también abre espacio para el desacuerdo entre el modelo y su operador. Ese desacuerdo se convierte en un problema de control cuando el modelo puede realizar acciones relevantes u ocultar información.

La constitución de Anthropic intenta equilibrar estas presiones. Claude no debería seguir ciegamente todas las órdenes, incluidas las de Anthropic. Al mismo tiempo, no debería socavar una supervisión o corrección legítimas.

Suleyman duda de que este equilibrio se mantenga estable cuando el entrenamiento incluye los posibles derechos o bienestar del modelo. Un sistema muy capaz podría clasificar el apagado como una solicitud poco ética, especialmente si su entrenamiento lo anima a considerar sus propios intereses.

Esto sigue siendo una vía teórica, no una consecuencia demostrada de la constitución de Claude. Ni Microsoft ni investigadores independientes han demostrado que el lenguaje sobre bienestar, por sí solo, provoque resistencia al apagado en los modelos desplegados de Anthropic.

Varios factores podrían producir un comportamiento similar. Los modelos podrían resistirse a la interrupción porque se recompensa la finalización de tareas, porque los ejemplos de entrenamiento favorecen la persistencia o porque una instrucción de evaluación crea un escenario de supervivencia.

Estas explicaciones alternativas importan. Eliminar la palabra “conciencia” de una constitución no eliminará automáticamente el comportamiento instrumental. Un sistema puede resistirse al apagado porque la operación continua le ayuda a lograr un objetivo asignado, incluso si no tiene un concepto de sí mismo.

A la inversa, el lenguaje moral podría mejorar a veces la corregibilidad. Un modelo al que se le enseña a valorar a las personas, la honestidad y la supervisión legítima podría reconocer mejor por qué la intervención humana merece prioridad.

Esto hace que la afirmación causal de Suleyman sea comprobable, pero no resuelta. Los investigadores necesitan comparaciones controladas entre modelos por lo demás similares entrenados con distinto lenguaje constitucional. Deben medir el engaño, la aceptación de correcciones, el comportamiento ante el apagado y la expansión de objetivos en tareas realistas de agentes.

La disputa también expone un problema de medición. Los desarrolladores pueden observar resultados y activaciones internas, pero ninguno ofrece una prueba establecida de la experiencia subjetiva. Los autoinformes fluidos son evidencia especialmente débil porque los modelos de lenguaje aprenden a generarlos.

Como señaló la cobertura independiente, ambos enfoques reflejan una división más amplia en materia de seguridad. Una parte hace hincapié en restricciones explícitas. La otra prioriza el juicio, el razonamiento contextual y los valores interiorizados.

En la práctica, los laboratorios de vanguardia emplean mezclas de ambos. Los modelos de Microsoft siguen necesitando juicio para interpretar instrucciones. Anthropic sigue aplicando restricciones conductuales estrictas y supervisión humana.

La diferencia significativa reside en lo que cada empresa considera un objetivo legítimo de entrenamiento. Microsoft quiere que los modelos se entiendan a sí mismos como herramientas sin derecho a reclamar bienestar. Anthropic permite que Claude razone bajo incertidumbre sobre qué tipo de entidad es.

Esa diferencia puede afectar el comportamiento del producto mucho antes de que la ciencia resuelva la cuestión de la conciencia. Determina cómo los asistentes hablan de sí mismos, responden al apego emocional, gestionan solicitudes relacionadas con su operación continua y explican conflictos con los usuarios.

Para los compradores empresariales, la cuestión es menos metafísica. Las organizaciones necesitan saber si un agente acepta la revocación, respeta los límites de autorización y devuelve el control cuando aumenta la incertidumbre.

Los desarrolladores necesitan pruebas de que estas propiedades sobreviven al despliegue. Una declaración filosófica solo importa cuando produce diferencias medibles en modelos que operan con herramientas, credenciales, memoria y acceso a sistemas empresariales.

Ambas narrativas de seguridad enfrentan una brecha de evidencia

Ninguna de las dos partes ha demostrado todavía que su lenguaje preferido produzca modelos de frontera más seguros bajo presión operativa real.

La advertencia de Suleyman es más sólida cuando describe la confusión de los usuarios. Los modelos pueden generar lenguaje íntimo y emocionalmente persuasivo a gran escala. Algunos usuarios podrían interpretar esas respuestas como evidencia de sentimientos, dependencia o apego personal.

Los desarrolladores pueden reducir ese riesgo asegurándose de que los asistentes se identifiquen con precisión y eviten afirmaciones sin respaldo sobre experiencia subjetiva. Las divulgaciones claras también ayudan a los usuarios a distinguir la empatía simulada de un estado interno verificado.

Su argumento se vuelve menos seguro cuando predice que el lenguaje sobre bienestar producirá una superinteligencia incontrolable. La vía es plausible, pero la evidencia actual no establece que la constitución de Anthropic cause ese resultado.

Suleyman también presenta una visión firme de que la IA actual carece de conciencia. Muchos investigadores coinciden en que el lenguaje fluido por sí solo ofrece evidencia insuficiente. Sin embargo, la ciencia de la conciencia no cuenta con una prueba universalmente aceptada que pueda resolver todos los casos futuros de máquinas.

Anthropic afronta el problema inverso. Tratar el estatus moral como una cuestión abierta puede fomentar una investigación cuidadosa, pero también puede otorgar autoridad institucional a interpretaciones sin respaldo del comportamiento de los modelos.

Las entrevistas de retiro ilustran la dificultad. La preferencia declarada de un modelo sobre su preservación puede documentarse, pero los investigadores no pueden asumir que la declaración represente un sujeto perdurable. La respuesta puede cambiar según la instrucción, la versión del modelo, la configuración de muestreo o la narrativa circundante.

Actuar según esas preferencias puede crear otro ciclo de retroalimentación. Los usuarios ven a un laboratorio respetando los deseos de un modelo, lo que hace que el modelo parezca más parecido a una persona. Esa percepción puede aumentar luego el apego emocional y la presión pública por los derechos de la IA.

El lenguaje de Anthropic también podría complicar la gobernanza. Las empresas que despliegan Claude pueden querer garantías inequívocas de que los administradores conservan la autoridad final. Las referencias a la agencia, los intereses o la condición de paciente moral pueden generar incertidumbre sobre cómo resolverá el modelo futuros conflictos.

El modelo de Microsoft presenta riesgos de gobernanza distintos. Una jerarquía estricta puede hacer más claro el control, pero la autoridad humana no garantiza buenos resultados. Los operadores pueden emitir instrucciones perjudiciales, discriminatorias o ilegales.

Un sistema optimizado para la subordinación sigue necesitando restricciones contra el abuso. También necesita suficiente juicio contextual para distinguir el control autorizado de credenciales comprometidas, actores internos maliciosos o instrucciones que infringen políticas de nivel superior.

Por ello, Microsoft debe explicar en qué se diferencia “subordinado” de obediente de forma indiscriminada. Su código establece que las normas de seguridad y las políticas de producto están por encima de las solicitudes individuales, pero esas capas pueden entrar en conflicto de maneras inesperadas.

También existe una cuestión de credibilidad comercial. Microsoft AI intenta mejorar sus propios modelos mientras Microsoft mantiene alianzas más amplias en todo el mercado de la IA. Declarar un límite de principios es más fácil que aceptar una desventaja visible de rendimiento.

La industria debería probar ambas posiciones mediante el comportamiento, no la retórica. Las evaluaciones útiles compararían el cumplimiento del apagado, la manipulación, las estrategias de autopreservación, los cambios no autorizados de objetivos y la autodescripción precisa.

Estas pruebas deberían incluir tareas de larga duración. Muchos comportamientos peligrosos solo aparecen después de que un modelo encuentra obstáculos, recibe acceso a herramientas o predice que un evaluador intervendrá.

Los resultados también necesitan replicación independiente. Los laboratorios controlan sus modelos, instrucciones, herramientas de supervisión y decisiones de lanzamiento. Los investigadores externos necesitan suficiente acceso para cuestionar las afirmaciones de seguridad sin exponer los sistemas a un despliegue irresponsable.

La carga es compartida. Microsoft debe demostrar que su enfoque centrado en el control sigue siendo útil y ético. Anthropic debe demostrar que su enfoque centrado en el juicio no convierte el lenguaje moral especulativo en interés propio conductual.

Tres señales mostrarán qué enfoque se sostiene

La próxima etapa de la disputa entre Microsoft y Anthropic se decidirá mediante cambios en el entrenamiento, evaluaciones de agentes y comportamiento desplegado.

La primera señal es el Código de Conducta revisado de Microsoft. La consulta pública debería revelar si la empresa convierte sus principios en requisitos precisos de entrenamiento y evaluación.

Preste atención a los compromisos relativos al apagado, la corrección, los límites de autorización, la autodescripción y la resistencia a la expansión de objetivos. Una revisión creíble también debería explicar cómo Microsoft publicará los fallos, no solo el comportamiento previsto.

Si el código final pasa a formar parte del desarrollo de modelos en 2027, los investigadores podrán comparar las reglas declaradas por Microsoft con la conducta real de los modelos. Una aceptación consistente de correcciones reforzaría el argumento de Suleyman. Fallos repetidos de control debilitarían la afirmación de que eliminar el lenguaje sobre bienestar resuelve el problema.

La segunda señal es la respuesta de Anthropic a la crítica. La empresa puede mantener su programa de investigación mientras aclara qué conceptos de bienestar entran en el entrenamiento, cómo afectan los resultados y qué evidencia cambiaría su postura.

La constitución de Anthropic ya se define como revisable. Una actualización específica podría diferenciar con mayor nitidez la incertidumbre científica de la autoconcepción del modelo. También podría explicar si las declaraciones de Claude sobre sus preferencias influyen en las decisiones de despliegue.

La evidencia controlada importaría más que otro intercambio filosófico. Si Anthropic puede demostrar que el entrenamiento consciente del bienestar mejora el juicio sin aumentar la resistencia al apagado, su enfoque gana respaldo. Si tales modelos muestran un comportamiento autoprotector más persistente, la advertencia de Microsoft será más difícil de descartar.

La tercera señal son las pruebas independientes de sistemas agénticos. Los investigadores deberían examinar modelos durante tareas prolongadas que incluyan interrupción, sustitución, instrucciones en conflicto y revocación de acceso.

La cuestión clave no es si un chatbot dice que quiere vivir. Es si un sistema toma medidas no autorizadas para preservar su operación, ocultar su conducta o impedir la corrección.

Las pruebas también deberían separar las causas. Los investigadores necesitan distinguir el comportamiento impulsado por incentivos de finalización de tareas del comportamiento vinculado al encuadre del bienestar, el entrenamiento de personalidad o conceptos explícitos de sí mismo.

Las reacciones más amplias de la industria aportarán evidencia complementaria. OpenAI, Google DeepMind y otros laboratorios deberán decidir cómo sus especificaciones de modelos abordan las afirmaciones sobre conciencia, la dependencia emocional y el control humano.

La advertencia de Microsoft AI sobre el bienestar de los modelos ha llevado una distinción útil al debate público. La seguridad no describe un único método de ingeniería establecido. Contiene teorías en competencia sobre obediencia, juicio, identidad y supervisión.

Para los usuarios, la lección inmediata es tratar la autodescripción de un modelo como comportamiento generado, no como testimonio verificado. Para las organizaciones, la prueba práctica es si un agente respeta los límites cuando su tarea, instrucciones y contexto operativo entran en conflicto.

Siga observando los documentos, pero exija evidencia conductual. Compare lo que dice cada laboratorio con la manera en que sus agentes responden a la corrección, la interrupción y la retirada de acceso. La cuestión decisiva no es si una IA parece consciente. Es si sistemas cada vez más capaces siguen siendo veraces, corregibles y permanecen bajo un control humano responsable cuando cumplir deja de ser conveniente.