El rack de IA centrado en memoria de SK hynix desafía al servidor centrado en GPU

SK hynix presentó un rack de IA centrado en memoria en OCP Global Summit 2026, desafiando el diseño centrado en procesadores que ha definido los servidores modernos de IA. Su arquitectura MARS separa la memoria de las CPU y GPU individuales y permite compartir esa capacidad en todo un rack. La propuesta aborda un conflicto creciente: añadir aceleradores no resuelve automáticamente el movimiento, la duplicación y el almacenamiento de datos de inferencia.

La empresa presentó MARS, siglas de Memory-Centric AI Rack System, en San José durante la cumbre celebrada del 12 al 15 de octubre. Sus demostraciones combinaron memoria CXL, DRAM, SSD, memoria computacional y software de varios socios. La idea central es sencilla, aunque su implementación no lo sea. La memoria debería convertirse en un recurso compartido a nivel de rack, en lugar de permanecer aislada dentro de servidores individuales.

Esta postura sitúa a SK hynix frente al modelo establecido de servidores centrados en GPU, no frente a un fabricante concreto de chips o proveedor de memoria. NVIDIA, AMD y otros proveedores de procesadores ya están desarrollando plataformas de rack cada vez más integradas. SK hynix sostiene que la infraestructura de inferencia también necesita una capa de memoria gestionada de forma independiente, especialmente a medida que las cargas de trabajo agénticas acumulan grandes cachés y contextos más extensos.

El rack de IA centrado en memoria de SK hynix pasa de los componentes a los sistemas

El cambio importante no es un nuevo módulo de memoria. SK hynix propone ahora cómo debe organizarse la memoria de todo el rack de IA.

Tradicionalmente, SK hynix ha suministrado componentes que los diseñadores de servidores colocan alrededor de los procesadores. En OCP Global Summit 2026, presentó una postura arquitectónica más amplia mediante el sistema MARS. El diseño integra hardware y software de socios en un solo rack, con memoria compartida en su centro.

Un rack es la estructura física que alberga servidores, equipos de red, almacenamiento, sistemas de alimentación y otra infraestructura. Actualmente, cada servidor suele disponer de una cantidad fija de memoria local. Un servidor puede agotar su capacidad mientras la memoria sin utilizar permanece inaccesible en otra parte del mismo rack.

MARS intenta cambiar ese modelo de asignación. Utiliza Compute Express Link, o CXL, para conectar procesadores y memoria mediante una interfaz coherente con caché basada en PCI Express. La agrupación mediante CXL permite que varios hosts accedan a la capacidad de una colección compartida de dispositivos de memoria.

La empresa mostró tres demostraciones de MARS con socios, en lugar de presentar únicamente un diagrama conceptual. Arcee, Liqid y Marvell participaron en una demostración que conectó varios servidores y GPU a memoria agrupada. SK hynix afirmó que el sistema transfirió y reutilizó cachés clave-valor sin depender por completo de la comunicación de red convencional.

Una caché clave-valor, denominada habitualmente caché KV, almacena datos intermedios que un modelo de lenguaje ya ha calculado. Reutilizar esos datos evita que el modelo vuelva a calcular el mismo contexto para cada token generado. La caché aumenta a medida que crecen las conversaciones, los documentos y las tareas agénticas de varios pasos.

Otra demostración combinó tecnología de AMD, Penguin Solutions, XCENA y Arcee. Situó capacidad de DRAM y SSD detrás de una capa de memoria híbrida basada en CXL. El sistema predijo qué datos almacenados en caché serían necesarios, los cargó en DRAM y conservó la caché completa en SSD.

Una tercera demostración con el proveedor de agentes de IA personales Pickle se centró en las transferencias entre varios modelos. Según SK hynix, el streaming de memoria agrupada redujo el tiempo necesario para mover datos entre esos modelos. La empresa presentó este enfoque como una forma de acortar la espera antes de que un agente devuelva su resultado final.

Estas demostraciones importan porque llevan la propuesta más allá de pruebas de rendimiento de memoria aisladas. Muestran cómo la capacidad agrupada podría respaldar tareas reales de inferencia, incluido el intercambio de caché, los flujos multimodales y los agentes personales. Sin embargo, SK hynix no ha publicado resultados de rendimiento completos e independientemente reproducibles para las demostraciones de MARS.

El propio evento también reforzó el enfoque arquitectónico. El Open Compute Project describió su tema para 2026 como la expansión de la infraestructura para la era de la IA. Su visión de la cumbre pidió cambios que abarcaran chips, racks, refrigeración, alimentación, redes e instalaciones de centros de datos.

Ese contexto explica por qué SK hynix hizo hincapié en un sistema, en lugar de en otra hoja de ruta de componentes. La empresa quiere que los proveedores de memoria participen cuando los operadores deciden cómo debe comportarse un rack de IA. Eso otorgaría a la arquitectura de memoria un papel más amplio antes de que los servidores lleguen a sus diseños finales de producción.

La inferencia está convirtiendo la capacidad de memoria en un problema a nivel de rack

La inferencia de IA modifica el cuello de botella porque atender cargas de trabajo largas y persistentes exige tanto computación rápida como memoria reutilizable de gran capacidad.

El entrenamiento de IA convirtió a los aceleradores y a la memoria de alto ancho de banda en el centro de la planificación de infraestructura. El entrenamiento mueve repetidamente grandes grupos de parámetros del modelo a través de procesadores paralelos. La HBM se sitúa cerca de esos procesadores y proporciona el ancho de banda necesario para mantenerlos activos.

La inferencia genera una combinación distinta de presiones. Cada solicitud puede incluir un prompt extenso, historial de conversación almacenado, documentos recuperados, resultados de herramientas, imágenes o audio. Los sistemas agénticos pueden mantener varias de estas cargas de trabajo mientras coordinan múltiples modelos y servicios.

El estado resultante no encaja fácilmente en un único acelerador. Las cachés KV consumen capacidad a medida que se alargan los contextos, mientras que los pesos de los modelos y las incrustaciones crean demanda adicional. Los operadores deben decidir qué información permanece en HBM, cuál pasa a la memoria del sistema y cuál se traslada al almacenamiento.

Añadir otra GPU puede aportar más HBM asociada, pero también añade un recurso de computación costoso. Eso resulta ineficiente cuando la restricción inmediata es la capacidad y no el rendimiento aritmético. También puede dejar memoria desaprovechada cuando las cargas de trabajo varían entre servidores.

SK hynix sostiene que la respuesta es la desagregación, que separa la capacidad de memoria de un procesador específico y la asigna cuando se necesita. Hosik Kim, responsable de investigación de sistemas de memoria de la empresa, describió durante su presentación en la cumbre los límites físicos y económicos que rodean a la memoria de las GPU. Su propuesta a nivel de rack pidió sistemas construidos en torno a recursos de memoria y SSD desagregados.

El giro hacia los agentes refuerza ese argumento. Un chatbot convencional puede descartar gran parte de su estado temporal después de una sesión. Un agente persistente podría necesitar conservar contexto, revisar trabajo anterior, coordinar modelos especializados y atender a muchos usuarios simultáneos.

Esto cambia el valor de reutilizar memoria. Si varios servidores de inferencia pueden acceder a un prompt almacenado en caché o a un prefijo compartido, necesitan menos copias duplicadas. Si un servidor que falla o se sobrecarga puede transferir el trabajo a otro lugar sin mover todo el estado por la red, los tiempos de respuesta podrían mejorar.

La memoria agrupada mediante CXL está diseñada para hacer este intercambio más directo. Puede exponer capacidad a nivel de rack mediante semántica de memoria, en lugar de tratar cada transferencia como una operación convencional de almacenamiento o red. El intercambio sin copia pretende permitir que los procesadores accedan a los mismos datos sin crear otra copia completa.

La carga de trabajo sigue determinando si ese enfoque resulta útil. Algunas operaciones de inferencia dependen de una latencia extremadamente baja y requieren HBM ubicada junto al acelerador. Otros datos pueden tolerar una latencia mayor si el sistema obtiene mucha más capacidad o evita la duplicación.

Por eso MARS no propone sustituir la HBM. SK hynix mostró HBM4, HBM4E, DRAM para servidores, SSD empresariales y High Bandwidth Flash junto con sus sistemas CXL. Su estrategia es una jerarquía en la que el software coloca cada tipo de dato en el nivel adecuado.

El momento también refleja una transición en toda la industria. OCP espera que la próxima ola de inferencia se extienda más allá de los centros hiperescalables centralizados. Los centros de datos regionales, las instalaciones empresariales, las ubicaciones de telecomunicaciones y los centros industriales necesitarán sistemas con diferentes límites de potencia y capacidad.

Estos entornos no pueden resolver cada escasez de memoria comprando más racks de aceleradores. Un grupo compartido podría mejorar la utilización en cargas de trabajo desiguales. También podría hacer que la expansión de capacidad sea más independiente de una generación específica de procesadores.

Por ello, la pregunta clave para los compradores empresariales está cambiando. La elección ya no consiste únicamente en qué acelerador ofrece la puntuación más alta en benchmarks. Los compradores también deben saber cómo gestiona el rack el estado del modelo, el crecimiento de la caché, el movimiento de datos y la memoria sin utilizar.

La memoria agrupada mediante CXL es el mecanismo detrás de MARS

El sistema MARS de SK hynix depende de que CXL convierta la memoria en infraestructura componible, mientras el software decide qué corresponde a cada nivel.

SK hynix presentó un módulo CMM-DDR5 de segunda generación de 256 GB basado en CXL 3.2. CMM significa CXL Memory Module, un dispositivo que amplía o comparte memoria mediante la interfaz CXL. La empresa afirma que el módulo alcanza 80 GB por segundo de ancho de banda.

Esa cifra supera en más del doble el ancho de banda de la generación anterior de SK hynix. La empresa también afirma una mejora de eficiencia energética de aproximadamente el 30 por ciento. Estas cifras describen la comparación de productos de SK hynix y no han recibido una verificación amplia por parte de terceros.

El módulo admite agrupación mediante CXL, lo que permite a los hosts obtener capacidad de un recurso común. La asignación dinámica puede proporcionar más memoria a un servidor ocupado sin asignarle esa capacidad de forma permanente. Un host menos activo puede devolver capacidad sin utilizar para otra carga de trabajo.

Este mecanismo ataca la memoria desaprovechada, pero también cambia el modelo de fallos y gestión. Los operadores necesitan controles de aislamiento, permisos de acceso, calidad de servicio, telemetría y recuperación. Los errores de memoria o la congestión de la estructura pueden afectar a un grupo más amplio de máquinas cuando la capacidad se comparte.

MARS añade un nivel híbrido por debajo de la DRAM agrupada. La memoria híbrida CXL combina DRAM con capacidad SSD, permitiendo que los datos de acceso frecuente permanezcan en una memoria más rápida. Los datos menos activos pueden permanecer en almacenamiento de mayor capacidad hasta que el sistema prediga que pronto serán necesarios.

SK hynix mostró este comportamiento con grandes cachés KV. Según se informó, la demostración predijo entradas útiles de caché a partir de conversaciones anteriores e historiales de tareas. Después cargó esas entradas en DRAM antes de que la carga de trabajo las solicitara.

Este proceso se parece al almacenamiento en caché en otras áreas de la informática, pero la inferencia de IA añade una escala y unos patrones de acceso inusuales. Una decisión sobre la caché puede influir en el tiempo hasta el primer token, la generación sostenida de tokens y el número de usuarios atendidos simultáneamente. Una predicción deficiente también puede añadir movimiento y retraso adicionales.

Investigadores vinculados a SK hynix exploraron este enfoque por niveles en un artículo de 2026 llamado ITME. El sistema propuesto combina memoria CXL de grado de producción con SSD PCIe Gen5 para grandes estados de inferencia. Sus autores informaron de un rendimiento hasta un 35,7 por ciento superior al de la descarga convencional a CPU en su evaluación.

Esa cifra no debe interpretarse como un benchmark general de MARS. El estudio evaluó una arquitectura, configuración y carga de trabajo específicas. Aun así, ofrece evidencia técnica de que la memoria por niveles puede mejorar la inferencia cuando las huellas de caché superan la capacidad local del host.

La memoria computacional aporta otra parte del mecanismo. En lugar de mover cada conjunto de datos a una CPU o GPU, determinadas operaciones se ejecutan cerca de la memoria que almacena esos datos. SK hynix denomina CMM-Ax a su módulo equipado con capacidad de cómputo.

En la cumbre, CMM-Ax respaldó una demostración eficiente de modelos de lenguaje de contexto largo. El contexto largo permite al modelo procesar más texto u otras entradas en una sola solicitud. Esa capacidad exige más memoria y genera movimiento adicional entre las capas de procesamiento y capacidad.

Acercar los cálculos limitados a la memoria puede reducir el tráfico, el consumo energético y la sobrecarga del procesador. No convierte un módulo de memoria en un sustituto general de una GPU. Las operaciones útiles deben ajustarse a los recursos de cómputo especializados y al modelo de programación del módulo.

Una demostración independiente de XCENA ilustra tanto la oportunidad como la evidencia que falta. Su controlador MX1 admitía cachés KV compartidas y búsqueda vectorial dentro de un dispositivo de memoria CXL. La demostración de memoria computacional utilizó miles de pequeños núcleos RISC-V y admitía configuraciones DRAM de gran capacidad.

Sin embargo, XCENA no publicó datos de latencia, rendimiento ni detalles completos de configuración de servidores para esas demostraciones de la cumbre. Esa omisión dificulta las comparaciones directas. También muestra por qué los compradores deben distinguir entre demostraciones funcionales y afirmaciones de rendimiento listas para producción.

Por tanto, el mecanismo más amplio es una jerarquía de memoria coordinada. HBM gestiona los datos más sensibles al ancho de banda junto a los aceleradores. La DRAM compartida amplía la capacidad accesible, la memoria computacional gestiona operaciones seleccionadas y los SSD conservan conjuntos de datos más grandes o menos activos.

El software debe hacer coherente esa jerarquía. Debe identificar los datos importantes, anticipar accesos futuros, mover información antes de que sea urgente y recuperarse cuando fallen las predicciones. Sin esos controles, las capas adicionales de memoria pueden generar complejidad en lugar de capacidad útil.

El rack centrado en GPU no se queda quieto

SK hynix cuestiona el diseño centrado en procesadores, pero los proveedores de aceleradores ya tratan las redes, la memoria y el software como partes de un único ordenador a escala de rack.

Los racks modernos de IA se están convirtiendo en sistemas estrechamente integrados. Las plataformas de NVIDIA combinan GPU, CPU, interconexiones de alta velocidad, redes, refrigeración y software. AMD también está construyendo plataformas a escala de rack en torno a aceleradores y estándares de infraestructura abierta.

Esa integración ofrece una ventaja importante a los proveedores de procesadores. Controlan las rutas de software empleadas por los marcos de IA, los motores de servicio de modelos, las bibliotecas de comunicación y las herramientas de orquestación. Una estructura de memoria debe encajar en esas rutas sin crear integraciones personalizadas frágiles.

SK hynix no intenta retirar al procesador del centro del cómputo. Su argumento se refiere a la propiedad de los recursos y a la ubicación de los datos. La empresa quiere que la capacidad de memoria funcione como un servicio a nivel de rack, en lugar de permanecer subordinada a cada servidor.

Esta distinción convierte el conflicto principal en uno arquitectónico, no corporativo. Un rack centrado en GPU escala al añadir nodos de cómputo estrechamente acoplados y su memoria conectada. Un rack centrado en memoria trata la capacidad como un grupo independiente al que pueden acceder varias unidades de cómputo.

Cada enfoque tiene sus compensaciones. La memoria local del acelerador ofrece latencia predecible y alto ancho de banda. La memoria compartida puede proporcionar mayor capacidad y utilización, pero el acceso atraviesa enlaces, conmutadores, controladores y capas de software adicionales.

Los dos diseños pueden coexistir en una misma plataforma. Una GPU puede conservar tensores activos y entradas de caché inmediatas en HBM, mientras que el contexto más antiguo reside en DRAM agrupada. La capacidad respaldada por SSD puede preservar estados mucho mayores que no requieren la latencia de HBM.

Samsung mostró su propio trabajo de agrupación CXL en OCP Global Summit 2026, incluida una carga de trabajo de agentes que usaba memoria asignada dinámicamente. Ese esfuerzo paralelo sugiere que la agrupación de memoria se está convirtiendo en un requisito competitivo, en lugar de un proyecto aislado de SK hynix.

La competencia también involucrará a proveedores de controladores, fabricantes de servidores, operadores de nube y desarrolladores de software. Marvell, Liqid, XCENA, Penguin Solutions, Arcee, NAVER Cloud y AMD aparecieron en las demostraciones de SK hynix. Ningún proveedor individual controla todas las capas necesarias para el despliegue.

Esta dependencia de socios puede fortalecer la arquitectura si las interfaces permanecen abiertas. También puede ralentizar la adopción cuando el firmware, los controladores, el software de orquestación y las herramientas de observabilidad maduran a velocidades distintas. Los operadores rechazarán mejoras de capacidad si la resolución de problemas se vuelve impredecible.

Por tanto, la estandarización forma parte de la competencia. El ejecutivo de SK hynix Youngpyo Joo participó en un panel de OCP sobre la alineación de marcos de software y API entre proveedores. El debate abordó el software necesario para conectar productos en un mercado que combina cooperación y competencia.

CXL proporciona una base de hardware común, pero una especificación no garantiza un comportamiento idéntico entre productos. Las políticas de asignación de memoria, la gestión de topología, la seguridad y la ubicación de cargas de trabajo aún requieren software coherente. El ajuste del rendimiento también varía entre CPU, GPU, conmutadores y dispositivos de memoria.

El enfoque centrado en GPU se beneficia de hábitos maduros entre los desarrolladores. Los equipos ya perfilan la utilización de aceleradores, programan trabajos según la disponibilidad de GPU y optimizan kernels para plataformas específicas. Una arquitectura centrada en memoria les pide observar nuevos cuellos de botella y ajustar nuevas capas de recursos.

Su vía de adopción más sólida probablemente ocultará gran parte de esa complejidad. Los servidores de modelos deberían solicitar capacidad o estado compartido mediante interfaces de software estables. Los desarrolladores no deberían tener que gestionar manualmente cada dispositivo físico de memoria.

Para los hyperscalers, la economía podría justificar ese trabajo. Incluso mejoras modestas en la utilización de memoria pueden importar en flotas grandes. Para empresas más pequeñas, los costes de integración pueden superar los ahorros hasta que los proveedores entreguen sistemas probados con límites de soporte claros.

Por tanto, MARS presiona a ambos lados. Los proveedores de plataformas de aceleradores necesitan mejores respuestas para la expansión de capacidad y el uso compartido de caché. SK hynix y sus socios deben demostrar que la memoria componible funciona de forma fiable dentro de los entornos de software que los clientes ya utilizan.

Los resultados de las pruebas de concepto dejan abiertas las preguntas difíciles

La cumbre estableció la viabilidad técnica, pero no estableció MARS como opción predeterminada de producción para la infraestructura de IA.

SK hynix describió varias demostraciones como validación de pruebas de concepto. Una prueba de concepto verifica que un enfoque puede funcionar en condiciones seleccionadas. No establece la fiabilidad de una flota, el rendimiento general, la simplicidad operativa ni la disponibilidad comercial.

La empresa utilizó un lenguaje contundente sobre mejoras de rendimiento en su anuncio. Sin embargo, no proporcionó resultados completos para la demostración de agentes con memoria agrupada. Los detalles públicos omiten tamaños de modelo, patrones de solicitud, número de servidores, distribuciones de latencia, mediciones de consumo y configuraciones de referencia.

Esos detalles determinan si la memoria agrupada mediante CXL gana en la práctica. Un sistema puede mejorar el rendimiento agregado mientras aumenta la latencia de cola, que mide las solicitudes más lentas. Puede reducir la duplicación al tiempo que introduce contención en la estructura durante picos de demanda.

El acceso mediante CXL también es más lento que HBM conectada directamente. Esa diferencia no invalida la agrupación, porque no todos los bytes requieren el rendimiento de HBM. Sí exige una ubicación cuidadosa para que los datos de acceso frecuente no pasen demasiado tiempo en una capa distante.

El perfil de carga de trabajo importa tanto como el hardware. Los prefijos compartidos y las conversaciones repetidas crean oportunidades para reutilizar la caché. Los prompts impredecibles o contextos que cambian rápidamente pueden reducir esa reutilización y debilitar el beneficio de una caché compartida.

La predicción introduce otro riesgo. Las demostraciones de MARS precargaron entradas de caché probables en DRAM. Las predicciones correctas pueden ocultar un acceso más lento al almacenamiento. Las incorrectas desperdician ancho de banda y ocupan espacio que otra carga de trabajo podría necesitar.

Los límites de seguridad también requieren escrutinio. Varios servidores que comparten memoria no deben exponer los prompts, embeddings o estados almacenados en caché de un inquilino a otro. El aislamiento debe abarcar hardware, firmware, software de orquestación y recuperación ante fallos.

El avance hacia agentes persistentes eleva lo que está en juego. Una caché KV puede reflejar conversaciones de usuarios e historial de tareas. Los operadores necesitan comportamientos claros de eliminación, retención, cifrado y auditoría cuando ese estado se mueve entre memoria agrupada y capas SSD.

La fiabilidad se vuelve más complicada cuando un rack depende de una estructura compartida. Un módulo fallido no debería bloquear hosts no relacionados. Los controladores necesitan conmutación por error predecible, mientras que los sistemas de monitorización deben identificar si las demoras se originan en el cómputo, la memoria local, la memoria agrupada, el almacenamiento o las redes.

Las afirmaciones sobre energía también necesitan mediciones a nivel de sistema. Un módulo de memoria puede usar energía con mayor eficiencia mientras la arquitectura más amplia añade conmutadores, controladores o movimiento adicional de datos. Los compradores necesitan resultados a nivel de rack, no solo comparaciones de componentes.

La economía de producción sigue sin estar clara. SK hynix no anunció disponibilidad general, precios para clientes ni volúmenes de despliegue de MARS. Tampoco reveló si NAVER Cloud planea operar la arquitectura en un servicio de producción orientado al cliente.

El módulo CXL de segunda generación de la empresa ofrece especificaciones más concretas. Cobertura independiente confirmó que SK hynix mostró el producto CXL 3.2 de 256GB y su mejora de eficiencia declarada. El resumen de la cartera de memoria depende, sin embargo, principalmente de información proporcionada por la empresa.

La evidencia más sólida procederá de operadores que publiquen resultados repetibles. Las mediciones relevantes incluyen el tiempo hasta el primer token, tokens por segundo, sesiones simultáneas, tasas de acierto de caché, consumo del rack y utilización de memoria. Los resultados deberían comparar objetivos equivalentes de calidad de servicio, no solo el rendimiento máximo.

La portabilidad de software plantea otra prueba. Una carga de trabajo optimizada para un controlador o estructura no debería requerir una reescritura completa cuando el operador cambia de proveedor de servidores. Las API abiertas y la telemetría común influirán en si CXL se convierte en infraestructura o sigue siendo una colección de demostraciones.

Por tanto, MARS se entiende mejor como una propuesta arquitectónica creíble con validación temprana a nivel de sistema. Aún no demuestra que los racks centrados en memoria sustituirán a los diseños convencionales. La propuesta merece atención porque identifica un cuello de botella real y ofrece una respuesta técnicamente coherente.

Tres señales mostrarán si los racks de IA centrados en memoria son el futuro

La siguiente etapa depende de evidencia de producción, software interoperable y una respuesta clara de los proveedores de plataformas a escala de rack.

La primera señal es un despliegue de cliente divulgado. SK hynix trabaja con NAVER Cloud desde septiembre de 2025 en soluciones de memoria basadas en CXL para cargas de trabajo de IA en la nube. En OCP, las empresas mostraron trabajo de prueba de concepto relacionado con el uso compartido de caché KV y un servicio de compartición de embeddings.

Un anuncio de producción debería identificar la carga de trabajo, la escala de despliegue y el resultado medible. También debería mostrar si la memoria agrupada reduce las compras de aceleradores, aumenta la capacidad de sesiones o mejora el tiempo de respuesta. Sin esos detalles, el nombre de un cliente sigue siendo evidencia de respaldo en lugar de validación.

Un despliegue de NAVER Cloud con mejoras repetibles reforzaría el caso de SK hynix. La continuidad del lenguaje de prueba de concepto sin hitos de producción debilitaría la afirmación a corto plazo. Sugeriría que la integración sigue siendo más difícil de lo que implica la demostración de hardware.

La segunda señal es la alineación de software entre proveedores. Los grupos de trabajo de OCP y los participantes de CXL necesitan marcos comunes para descubrir grupos, asignar capacidad, supervisar el rendimiento y aplicar aislamiento. Las plataformas de servicio de modelos también deben saber cuándo ubicar datos de caché en HBM, DRAM o memoria respaldada por SSD.

Hay que observar integraciones compatibles con marcos de inferencia ampliamente utilizados, en lugar de código de demostración puntual. API estables, soporte de orquestación y telemetría compartida reducirían el riesgo de despliegue. Las herramientas de gestión fragmentadas favorecerían los racks estrechamente integrados liderados por procesadores.

La tercera señal es la respuesta de los proveedores de GPU y plataformas de racks. Pueden adoptar niveles de memoria externos, mejorar sus propios sistemas de agrupación o mantener más memoria conectada directamente a los aceleradores. Sus hojas de ruta de plataformas revelarán si la memoria componible se convierte en un estándar o sigue siendo específica de determinadas cargas de trabajo.

Que un proveedor de procesadores respalde pools CXL comunes reforzaría la tesis centrada en la memoria, incluso si su rack sigue estando liderado por el cómputo. Una alternativa propietaria podría fragmentar el mercado. Las configuraciones con mayor memoria local también podrían retrasar la adopción de pools entre clientes que priorizan una latencia predecible.

SK hynix ya ha demostrado que el argumento va más allá de la DRAM CXL. Su cartera combina HBM, memoria convencional para servidores, memoria computacional, SSD y High Bandwidth Flash. HBF busca ofrecer una capacidad muy superior a la de HBM, a la vez que proporciona más ancho de banda que el almacenamiento convencional.

La compañía presentó HBF como un nivel para entornos de inferencia que atienden a muchos usuarios. Sus comparaciones en la cumbre se basaron en simulaciones internas, por lo que el hardware comercial aún debe demostrar su rendimiento real. La disponibilidad, la durabilidad, la integración de software y el comportamiento energético determinarán su lugar en la jerarquía.

Para los desarrolladores, esta arquitectura importa porque los contextos más largos y los agentes persistentes no son funciones de software gratuitas. Cada decisión de producto crea un estado físico que debe residir en algún lugar. Las políticas de caché, los patrones de recuperación y el enrutamiento de modelos influyen cada vez más en el coste de infraestructura y el tiempo de respuesta.

Para los compradores empresariales, las solicitudes de hardware deberían ser más específicas. Pregunten a los proveedores cómo miden la memoria inutilizada, gestionan la capacidad compartida, aíslan a los inquilinos y se recuperan de fallos en la red de interconexión. Exijan resultados con los modelos y longitudes de contexto que se parezcan a los despliegues previstos.

También pregunten si el sistema expone telemetría útil. Los equipos necesitan ver tasas de aciertos de caché, migraciones entre niveles, congestión de CXL, lecturas de almacenamiento y latencia de cola. Un recurso agrupado que no puede diagnosticarse se convierte en un pasivo operativo.

El rack de IA centrado en memoria de SK hynix no destrona de la noche a la mañana al servidor centrado en GPU. Sí presenta un argumento convincente: la infraestructura de inferencia no puede tratar la memoria como un elemento pasivo. La cuestión más difícil es si los proveedores pueden convertir esa idea en sistemas repetibles y sostenibles.

Durante los próximos meses, estén atentos a un despliegue de producción identificado, interfaces de software comunes e integración directa en plataformas comerciales de racks. Estos tres avances acercarían MARS desde una visión de cumbre hacia un modelo de infraestructura.

Si no llegan, el diseño centrado en memoria podría seguir siendo una técnica útil para cargas de trabajo seleccionadas, en vez de convertirse en una nueva norma. Cualquiera de los dos resultados enseñará algo importante a los compradores: el rendimiento futuro de la IA depende de dónde residan los datos, no solo de dónde se realicen los cálculos.