El legado de Google y MIT se enfrenta a las startups que persiguen la próxima gran novedad en LLMs
La investigación de Google y MIT afronta ahora su desafío arquitectónico más agudo desde que ocho investigadores de Google presentaron el transformer hace nueve años. Las startups cuestionan si el mecanismo que sustenta casi todos los LLM líderes debería seguir siendo el estándar predeterminado de la industria.
El conflicto no gira en torno a crear otro chatbot. Se trata de la estructura computacional que hay detrás de ChatGPT, Claude, Gemini y la mayoría de los modelos abiertos. Subquadratic, Liquid AI, Cartesia y AI21 Labs exploran sistemas capaces de procesar secuencias largas sin ejecutar atención densa en cada capa.
Sus propuestas abarcan desde la atención dispersa hasta los modelos de espacio de estados y los híbridos con gran peso de convoluciones. Cada enfoque promete menor uso de memoria, mayor velocidad de procesamiento o un contexto útil más amplio. Ninguno ha desplazado todavía al transformer en toda la gama de tareas que importa.
Esa salvedad define la carrera. La próxima arquitectura importante de LLM no triunfará por producir un gráfico de laboratorio impresionante. Debe preservar el razonamiento y la recuperación de información mientras funciona dentro del software, los chips y los sistemas de despliegue que las empresas ya utilizan.
El éxito del transformer creó su propio cuello de botella
La arquitectura que desbloqueó la IA generativa moderna se vuelve más costosa a medida que aumenta la cantidad de entrada.
Investigadores de Google presentaron el transformer en el artículo de 2017 Attention Is All You Need. El artículo sustituyó el procesamiento recurrente por la atención, un mecanismo que permite a un modelo calcular qué partes de una entrada merecen énfasis.
La atención hizo que el entrenamiento fuera altamente paralelizable. También ayudó a los modelos a conectar información entre posiciones distantes de un documento. Estas ventajas respaldaron la trayectoria de escalado que finalmente produjo los grandes modelos de lenguaje actuales.
La forma estándar de la autoatención compara cada token con todos los demás tokens de una secuencia. Un token es una pequeña unidad de texto, como un fragmento de palabra. Por tanto, duplicar la longitud de la secuencia puede generar aproximadamente cuatro veces más comparaciones por pares dentro de la operación de atención.
Los ingenieros describen este comportamiento como escalado cuadrático. No significa que todo el modelo se vuelva exactamente cuatro veces más costoso en todas las condiciones de despliegue. El hardware, el almacenamiento en caché, el procesamiento por lotes y las decisiones de implementación también afectan al resultado.
La relación subyacente sigue generando presión. Un chatbot que responde una pregunta breve puede tolerar la atención densa más fácilmente que un agente que lee varios repositorios, meses de mensajes y un largo historial de acciones.
Las ventanas de contexto se han ampliado, pero el límite anunciado de un modelo no garantiza un uso asequible o preciso cerca de ese límite. Los equipos deben considerar el tiempo necesario para procesar el prompt, el consumo de memoria, el coste de inferencia y si el modelo encuentra la evidencia correcta.
La generación aumentada por recuperación, o RAG, reduce la carga al seleccionar pasajes relevantes antes de pedir a un modelo que responda. Sigue siendo útil, especialmente cuando una organización mantiene una gran base de conocimiento de IA.
La recuperación también introduce un punto de fallo independiente. Si la capa de búsqueda omite un pasaje crucial, el modelo nunca lo ve. Un sistema capaz de inspeccionar directamente mucho más material fuente podría reducir ese riesgo en el análisis de código, la revisión legal, la investigación y los agentes persistentes.
Esa perspectiva explica por qué la investigación arquitectónica ha recuperado urgencia comercial. Más capacidad de cómputo puede ampliar el transformer, pero los prompts cada vez más largos exponen un coste estructural que mejores chips por sí solos no eliminan.
La conexión entre Google y MIT importa aquí porque Google aportó el artículo fundacional, mientras que investigadores vinculados a MIT ayudaron posteriormente a crear empresas que persiguen alternativas. La contienda es menos una disputa entre dos instituciones que una transición desde la visión académica hacia sistemas de producción en competencia.
Las startups ven una oportunidad entre lo que los modelos actuales anuncian y lo que los clientes pueden desplegar en la práctica. Si logran abaratar el contexto largo sin perder calidad, pueden presionar al mismo tiempo a los laboratorios de modelos y a los proveedores de infraestructura.
La investigación de Google y MIT está generando más de una alternativa
No ha surgido un único diseño posterior al transformer, por lo que las startups dividen el problema en distintas apuestas técnicas.
Subquadratic adopta el enfoque más directo. La startup con sede en Miami afirma que su modelo SubQ utiliza Subquadratic Sparse Attention, o SSA, para evitar examinar todas las posibles relaciones entre tokens.
La atención dispersa restringe el conjunto de pares de tokens que evalúa un modelo. La dificultad reside en elegir qué conexiones importan antes de realizar el costoso trabajo que exigiría la atención densa.
Subquadratic afirma que su mecanismo escala linealmente con la longitud del contexto y admite un contexto de investigación de 12 millones de tokens. Sus ejemplos publicados incluyen repositorios de software completos e historiales de agentes de larga duración.
Son afirmaciones de la empresa, no un resultado consolidado en la industria. Su explicación técnica sostiene que SSA identifica relaciones importantes mientras omite la mayoría de las comparaciones posibles.
Liquid AI hace una apuesta diferente. Fundada por investigadores con raíces en MIT, la empresa desarrolla Liquid Foundation Models para dispositivos y otros entornos con recursos limitados.
Su arquitectura LFM2 no elimina por completo la atención. Combina convoluciones cortas con compuertas con un número menor de bloques de atención de consultas agrupadas.
Una convolución procesa patrones locales mediante filtros reutilizables. La atención de consultas agrupadas reduce las exigencias de memoria al permitir que varias cabezas de consulta compartan representaciones de claves y valores.
Liquid afirma que LFM2 fue seleccionado mediante una búsqueda de arquitectura consciente del hardware. Esto significa que el equipo evaluó los diseños frente a características reales de memoria y velocidad, en lugar de optimizar únicamente un recuento abstracto de operaciones.
El diseño LFM2 de la empresa contiene más bloques de convolución que bloques de atención. Esta disposición busca una ejecución rápida en CPU y procesadores integrados.
Cartesia apuesta por los modelos de espacio de estados, o SSM, que resumen una secuencia mediante un estado interno cambiante. En lugar de conservar una relación explícita entre cada par de tokens, un SSM actualiza una representación compacta a medida que llega nueva información.
Los fundadores de Cartesia ayudaron a desarrollar Mamba, una arquitectura selectiva de espacio de estados. La selectividad permite que el modelo decida qué información conservar u olvidar según la entrada actual.
La investigación original sobre Mamba informó de un escalado lineal con la longitud de la secuencia y un mayor rendimiento que transformers comparables en sus experimentos. También demostró aplicaciones en lenguaje, audio y genómica.
Cartesia ha centrado buena parte de su trabajo comercial en la voz. El habla es un campo de pruebas natural para el procesamiento eficiente de secuencias porque los sistemas de audio interactivos deben responder rápidamente mientras siguen una conversación en evolución.
AI21 Labs ofrece una cuarta vía. Su arquitectura Jamba intercala capas Mamba con atención transformer y componentes de mezcla de expertos.
Un modelo de mezcla de expertos activa solo una parte de su red total para cada token. Esto incrementa la capacidad total sin utilizar todos los parámetros en cada cálculo.
El diseño de Jamba refleja una conclusión pragmática: el procesamiento eficiente de secuencias y la atención densa resuelven problemas distintos. AI21 conserva algunas capas transformer para la recuperación global mientras utiliza capas Mamba para reducir la presión sobre la memoria.
Estos enfoques convierten la historia de Google y MIT en una carrera arquitectónica con múltiples ramas. Subquadratic intenta preservar la atención haciéndola dispersa. Liquid AI combina atención con convoluciones. Cartesia enfatiza el procesamiento de espacio de estados, mientras AI21 mezcla capas de espacio de estados y transformer.
El objetivo compartido es la eficiencia. Sus desacuerdos se refieren a qué puede un LLM descartar, comprimir o procesar localmente sin dañar las relaciones que producen respuestas útiles.
La atención dispersa hace la afirmación más audaz
Subquadratic desafía directamente la atención densa, pero su evidencia debe alcanzar la escala de su promesa.
Subquadratic apareció públicamente en mayo de 2026 con una afirmación inusualmente ambiciosa. Dijo que SubQ podía procesar un contexto de hasta 12 millones de tokens utilizando mucho menos cómputo de atención que los modelos transformer.
Esa capacidad abarcaría varios repositorios completos o una gran colección de contratos en un solo prompt. También podría permitir a un agente conservar un registro operativo mucho más extenso sin resumir repetidamente su pasado.
La empresa sostiene que la atención densa desperdicia cómputo porque la mayoría de las posibles relaciones entre tokens contribuyen poco al resultado. SSA intenta encontrar el pequeño subconjunto que sí importa.
Esto es más difícil que simplemente eliminar conexiones aleatorias. Una pista relevante puede aparecer a millones de tokens de distancia, y su importancia quizá solo se aclare después de que el modelo lea otro pasaje.
Por tanto, una arquitectura dispersa necesita un mecanismo de enrutamiento eficaz. Si selecciona las conexiones equivocadas, los ahorros computacionales llegan a costa de la recuperación de información o del razonamiento.
Subquadratic afirma que su arquitectura realiza una selección dependiente del contenido. El modelo elige patrones de atención a partir de la entrada, en vez de depender únicamente de ventanas locales fijas.
Su lanzamiento inicial generó escepticismo porque el acceso público y los detalles técnicos eran limitados. Posteriormente, la empresa publicó información adicional de referencia y citó evaluaciones realizadas por Appen.
Según el análisis original de MIT, el investigador independiente Will Depue señaló que los investigadores han intentado muchas formas de superar el coste de la atención densa.
Ese historial importa. La atención dispersa, la atención lineal, las redes recurrentes, las convoluciones largas y la memoria comprimida han mostrado beneficios. Muchas también tienen dificultades cuando las tareas exigen una recuperación precisa desde posiciones distantes.
Otra preocupación es la procedencia de SubQ. MIT Technology Review informó que la empresa reutilizó pesos de una versión del modelo Qwen de Alibaba para ayudar a inicializar SubQ.
Los pesos son los valores aprendidos que determinan el comportamiento de una red neuronal. Reutilizarlos puede acelerar el desarrollo, pero complica las afirmaciones sobre lo que la nueva arquitectura aprendió de forma independiente.
Un modelo convertido o inicializado a partir de otro podría heredar capacidades del entrenamiento transformer. Eso no invalida el nuevo mecanismo, pero deja abierta la cuestión de si la arquitectura puede entrenarse eficientemente desde el principio.
La distinción importa comercialmente. Un método que transforme modelos existentes aún podría convertirse en una infraestructura valiosa. Un método que entrene desde cero modelos fundacionales competitivos desafiaría la economía de todo el mercado.
Los desarrolladores también necesitan más que una demostración del límite de contexto. Necesitan API estables, latencia predecible, precisión en el uso de herramientas, salida estructurada, controles de seguridad e integración con marcos de inferencia comunes.
El contexto largo presenta su propio problema de evaluación. Un modelo puede aceptar técnicamente millones de tokens y, aun así, pasar por alto hechos relevantes o combinarlos incorrectamente.
Las pruebas simples de aguja colocan un dato distintivo dentro de una entrada larga y piden al modelo que lo recupere. Miden la recuperación básica, pero no reflejan tareas que requieren evidencia repartida entre muchos archivos.
El mantenimiento de repositorios ofrece una prueba de esfuerzo más exigente. Un modelo debe identificar interfaces, seguir dependencias, comprender las pruebas y realizar un cambio sin romper componentes lejanos.
El análisis legal y financiero plantea exigencias similares. La conclusión correcta puede depender de definiciones, excepciones, enmiendas y fechas repartidas entre muchos documentos.
Subquadratic debe demostrar que su enrutamiento disperso preserva estas relaciones tanto bajo cargas de trabajo adversariales como ordinarias. Las pruebas independientes en múltiples ámbitos tendrían más peso que las de un único proveedor de benchmarks.
Su reto es claro. La empresa ha propuesto un mecanismo que ataca directamente la atención cuadrática, pero la adopción generalizada exige evidencia reproducible y modelos accesibles.
Los modelos híbridos apuestan contra una ruptura limpia
Liquid AI y AI21 consideran la atención un ingrediente costoso que debe racionarse, no un componente defectuoso que deba eliminarse.
Las arquitecturas híbridas reflejan un criterio de ingeniería: los transformers siguen siendo excepcionalmente buenos para la recuperación flexible basada en contenido. Su debilidad es el coste de aplicar esa capacidad en todas partes.
LFM2 de Liquid AI asigna gran parte del procesamiento de secuencias a convoluciones cortas. Estos bloques examinan patrones locales de forma eficiente y evitan la caché creciente asociada con la atención densa.
El modelo sigue incluyendo bloques de atención para operaciones que se benefician de comparaciones más amplias. Esta división se asemeja a un sistema que utiliza procesamiento local económico la mayor parte del tiempo y recurre al análisis global de forma selectiva.
El método de Liquid, consciente del hardware, también pone de relieve una debilidad de las comparaciones teóricas. Una operación con mejor escalado asintótico no se ejecuta automáticamente más rápido en un teléfono, portátil, GPU o acelerador.
El hardware moderno de IA está fuertemente optimizado para cargas de trabajo de transformers. La multiplicación de matrices densas se beneficia de kernels, compiladores y sistemas de serving maduros.
Una arquitectura nueva puede realizar menos operaciones teóricas y, aun así, funcionar lentamente si el software no puede planificarlas con eficiencia. El movimiento de memoria, el comportamiento de la caché y el tamaño de lote pueden importar tanto como la ecuación que describe la capa.
Liquid utiliza búsqueda de arquitectura para evaluar estas restricciones directamente. Según la empresa, su modelo LFM2-24B-A2B de 2026 contiene 24.000 millones de parámetros totales, con unos 2.000 millones activos para cada token.
El modelo combina un sistema disperso de mezcla de expertos con la arquitectura base de LFM2, centrada en convoluciones. Liquid afirma que puede caber en 32 gigabytes de memoria, lo que hace posible el despliegue local en algunos sistemas de consumo de gama alta.
Estas son características comunicadas por el proveedor. Las pruebas independientes en aplicaciones deben determinar cómo se compara su calidad con la de modelos cloud más grandes.
La ruta sigue siendo comercialmente coherente. Muchas organizaciones no necesitan el modelo más grande disponible para cada tarea. Necesitan una calidad aceptable con latencia, privacidad y uso de infraestructura controlables.
Un modelo en el dispositivo puede respaldar la clasificación privada de documentos, el análisis de comandos, la generación de resúmenes o las interfaces de voz sin enviar cada entrada a un servicio remoto. También puede seguir funcionando cuando el acceso a la red es limitado.
Jamba de AI21 alcanza un compromiso similar desde la dirección de los modelos de espacio de estados. La arquitectura alterna componentes Mamba y transformer en lugar de comprometerse exclusivamente con uno u otro.
AI21 afirma que los modelos puros de espacio de estados pueden tener dificultades con la recuperación. Jamba conserva capas de atención ocasionales para recuperar el acceso a información detallada a lo largo de la secuencia.
La arquitectura Jamba de la empresa también utiliza capas de mezcla de expertos para separar la capacidad total del modelo del cómputo activo.
Este enfoque renuncia a la idea sencilla de que la atención es innecesaria. A cambio, obtiene una vía más conservadora hacia producción, porque los desarrolladores pueden conservar el comportamiento conocido de los transformers donde más importa.
Por tanto, los sistemas híbridos representan la presión más fuerte a corto plazo sobre los modelos convencionales. No necesitan demostrar que el transformer fue un error.
Solo deben demostrar que no todas las capas requieren la misma operación costosa. Si esa afirmación se sostiene, los creadores de modelos pueden reducir la atención gradualmente mientras preservan prácticas establecidas de entrenamiento y despliegue.
Esta vía se parece a transiciones anteriores de la informática. Los nuevos diseños suelen incorporarse como componentes especializados antes de reemplazar una opción predeterminada general.
Los procesadores gráficos aceleraron primero cargas de trabajo limitadas antes de convertirse en elementos centrales para la IA. El almacenamiento de estado sólido coexistió con los discos duros antes de asumir muchas funciones sensibles al rendimiento.
Las alternativas a la atención pueden seguir el mismo patrón. Las convoluciones o las capas de espacio de estados podrían encargarse primero del procesamiento local, la entrada en streaming y los historiales largos. La atención puede seguir siendo responsable de las relaciones globales difíciles.
La arquitectura resultante quizá no tenga una única etiqueta memorable. Podría ser una mezcla configurable, definida por el hardware y la carga de trabajo objetivo.
Esa posibilidad hace que la próxima gran novedad en los LLM sea menos dramática que otro momento de “Attention Is All You Need”. Puede llegar mediante una reducción constante de los casos en que se utiliza atención.
La verdadera competencia es la calidad por unidad de cómputo
Una arquitectura alternativa solo gana cuando sus ahorros resisten pruebas realistas de precisión, latencia y complejidad de despliegue.
Las comparaciones entre modelos suelen aislar una sola dimensión. Un artículo puede informar de menor complejidad computacional, una ventana de contexto más larga o mayor rendimiento de tokens.
Los compradores empresariales afrontan una ecuación combinada. Les importa cuánto trabajo útil completa un sistema dentro de un presupuesto de latencia, memoria y fiabilidad.
Un modelo rápido que no detecta excepciones contractuales no es eficiente. Un modelo con excelente recuperación, pero tiempos de respuesta impredecibles, también puede ser inadecuado para software interactivo.
Por ello, el principal adversario en esta carrera no es una startup ni un actor establecido. Es el equilibrio consolidado de los transformers entre calidad e infraestructura.
Google, OpenAI, Anthropic, Meta y otros laboratorios pueden seguir mejorando los sistemas transformer. Pueden utilizar kernels de atención optimizados, mejor caché, cuantización, destilación y aceleradores más rápidos.
También pueden adoptar componentes alternativos que tengan éxito. Una startup que valide un nuevo mecanismo podría influir en los actores establecidos sin reemplazar sus familias de modelos.
La compatibilidad añade otra ventaja defensiva. La inferencia de transformers funciona con un conjunto maduro de kernels de GPU, sistemas de entrenamiento distribuido, bibliotecas de optimización y plataformas de despliegue.
Las operaciones recurrentes o dispersas novedosas pueden requerir kernels personalizados y lógica de caché. Los desarrolladores pueden necesitar nuevas herramientas de monitorización porque los fallos de rendimiento difieren del comportamiento conocido de los transformers.
La estabilidad del entrenamiento sigue siendo otra prueba. Los investigadores entienden cómo se comportan los transformers en muchos tamaños de modelo y conjuntos de datos. Las arquitecturas alternativas cuentan con menos evidencia a las mayores escalas.
Un modelo puede parecer eficiente con unos pocos miles de millones de parámetros y encontrar problemas de optimización al escalar mucho más. También puede perder su ventaja si compensar una recuperación más débil exige más capas o datos de entrenamiento.
La selección de benchmarks puede ocultar estas diferencias. Las pruebas de conocimiento general pueden decir poco sobre el razonamiento entre múltiples archivos. Las pruebas de recuperación en contexto largo quizá no predigan la calidad conversacional ni el uso de herramientas.
Las evaluaciones más sólidas conectarán la arquitectura con el trabajo real. Las tareas relevantes incluyen modificar grandes repositorios, reconciliar informes contradictorios, rastrear hechos a través de conversaciones extensas y analizar registros dependientes del tiempo.
Las pruebas deben medir la calidad de las respuestas junto con la latencia hasta el primer token, el tiempo total de finalización, el pico de memoria, el consumo energético y la utilización del hardware.
También deben revelar si las comparaciones usan recuentos de parámetros equivalentes, datos de entrenamiento, longitudes de contexto, configuraciones de precisión y condiciones de serving.
Sin esos controles, una ventaja arquitectónica declarada puede reflejar decisiones de ingeniería diferentes. Incluso cifras precisas pueden crear una impresión engañosa cuando las condiciones de prueba difieren.
La palabra clave Google MIT recoge una trayectoria real, pero no una rivalidad institucional clara. Los investigadores de Google introdujeron el transformer, mientras que investigadores del MIT contribuyeron a varias líneas de trabajo alternativas.
La competencia importante ahora se desarrolla entre la madurez arquitectónica y la eficiencia arquitectónica. Los transformers ofrecen una ruta conocida hacia una alta capacidad. Los retadores prometen alcanzar una capacidad similar con menos desperdicio computacional.
Ninguno de los dos lados tiene una ventaja permanente. Los actores establecidos pueden copiar ideas validadas, mientras que las startups pueden optimizar sus sistemas sin tener que respaldar años de infraestructura heredada.
Los clientes deben evitar considerar la longitud de contexto anunciada como la métrica decisiva. La mejor pregunta es cuánta información relevante utiliza un modelo con precisión dentro de un presupuesto fijo.
Para los desarrolladores, esto implica probar modelos con datos representativos en lugar de depender únicamente de clasificaciones públicas. Un equipo legal, una empresa de software y una plataforma de voz expondrán debilidades arquitectónicas distintas.
Para los trabajadores del conocimiento, un contexto largo más eficiente podría reducir la necesidad de subir archivos y generar resúmenes repetidamente. También podría ayudar a los asistentes a mantener la continuidad a través de cuerpos de trabajo más amplios.
Estos beneficios dependen de controles de privacidad y acceso. Un modelo capaz de leer millones de tokens amplifica las consecuencias de proporcionar los documentos equivocados o de retener información de forma demasiado amplia.
La arquitectura no puede resolver esos problemas de gobernanza. Solo puede cambiar la cantidad de información que un sistema puede procesar y los recursos necesarios para hacerlo.
Qué observar mientras se desarrolla la carrera post-transformer
Tres señales mostrarán si las startups han encontrado un sucesor o simplemente adiciones útiles a la pila transformer.
La primera señal es el acceso independiente a SubQ. Los investigadores externos necesitan suficiente disponibilidad para reproducir resultados de contexto largo, probar patrones de recuperación difíciles y examinar el rendimiento bajo cargas de trabajo cambiantes.
Un lanzamiento amplio reforzaría el argumento de Subquadratic si los usuarios pueden verificar sus afirmaciones sobre calidad y escalado lineal. El acceso limitado continuado preservaría la incertidumbre en torno a la arquitectura.
Las pruebas más útiles irán más allá de insertar un dato en un prompt largo. Deben exigir que el modelo conecte evidencia entre archivos, rechace contexto engañoso y mantenga la precisión a medida que crece la entrada.
Los investigadores también deben comparar el tiempo de procesamiento y el uso de memoria con hardware divulgado. De lo contrario, las afirmaciones sobre ahorro computacional seguirán siendo difíciles de traducir en decisiones de despliegue.
La segunda señal es la adopción más amplia de capas híbridas. Liquid AI y AI21 no exigen que la industria abandone la atención, por lo que sus diseños pueden extenderse de manera gradual.
Observe si los desarrolladores de modelos comienzan a divulgar una proporción menor de capas de atención o adoptan componentes de convolución y espacio de estados en nuevos modelos de producción.
Ese cambio respaldaría el juicio central del artículo. Es probable que la primera era post-transformer racionalice la atención antes de eliminarla.
El soporte de hardware y software revelará la misma tendencia. Los kernels nativos, motores de inferencia y herramientas de monitorización para modelos híbridos harían que las decisiones arquitectónicas fueran menos arriesgadas.
La tercera señal es el rendimiento en agentes persistentes. Los agentes plantean un exigente problema de secuencia porque acumulan instrucciones, resultados de herramientas, cambios de código e intentos fallidos con el tiempo.
Los sistemas actuales suelen comprimir o descartar ese historial. Los resúmenes ahorran contexto, pero pueden eliminar detalles que el agente necesita más adelante.
Los modelos dispersos o de espacio de estados deberían mostrar aquí una ventaja clara si se sostienen sus afirmaciones sobre memoria. Un agente debería completar proyectos más largos sin perder restricciones, repetir trabajo ni permitir que el coste de su contexto crezca sin control.
Aquí es también donde se hace visible la diferencia entre el contexto nominal y el utilizable. Un modelo no necesita recordar todos los tokens anteriores por igual. Debe preservar los compromisos y las pruebas adecuadas.
El transformer sigue siendo el estándar porque combina atención flexible, entrenamiento escalable e infraestructura madura. Nueve años de perfeccionamiento han hecho que esa combinación sea difícil de superar.
Aun así, las cargas de trabajo del sector están cambiando. Repositorios más extensos, registros multimodales, voz continua y agentes persistentes intensifican las debilidades de la atención densa.
Las startups que persiguen la próxima gran innovación en los LLM todavía no comparten una respuesta. Su desacuerdo es útil porque revela el verdadero espacio de diseño.
Subquadratic se pregunta si el enrutamiento disperso puede preservar el razonamiento global. Cartesia prueba si el estado puede sustituir las relaciones explícitas entre tokens. Liquid AI y AI21 se preguntan cuánta atención necesita realmente un modelo capaz.
El legado de Google y MIT no desaparecerá si uno de estos sistemas tiene éxito. El transformer consolidó la atención como el mecanismo central de la IA moderna, y sus descendientes conservarán muchas de sus ideas.
El cambio más probable es el pluralismo arquitectónico. Los modelos combinarán distintos mecanismos de secuencia según el dispositivo, la carga de trabajo y la memoria requerida.
Los desarrolladores deberían vigilar la calidad verificada por unidad de cómputo, no las declaraciones sobre la muerte del transformer. Los compradores empresariales deberían probar flujos de trabajo completos, incluida la recuperación de información, el uso de herramientas, la latencia y el control de acceso.
¿Qué señal cambiaría primero tu estrategia de modelos: una atención dispersa verificada de forma independiente, un soporte más amplio para modelos híbridos o un agente capaz de usar meses de historial sin perder los detalles?
