Semiconductores e infraestructura de computación de IA: Las fronteras competitivas de AMD se están expandiendo de chips individuales al empaquetado, los racks y clústeres completos de IA

Visión general

El informe examina la evolución de la arquitectura de centros de datos e IA de AMD. Su conclusión central es que la estrategia de AMD ya no se limita a la competencia en chips de CPU y GPU. En su lugar, utiliza la integración heterogénea para reducir el coste del movimiento de datos mientras amplía progresivamente el alcance del diseño de sistemas a paquetes, nodos, racks y clústeres. En consecuencia, el informe sostiene que la competitividad de AMD no debe evaluarse por el número de núcleos o los FLOPS de GPU, sino por el cómputo útil, el ancho de banda, la eficiencia energética y la eficiencia de coordinación en los niveles de rack y fábrica de IA.

Perspectivas principales

En primer lugar, el informe considera los ASIC personalizados como una de las oportunidades futuras importantes de AMD. Los grandes proveedores de servicios en la nube están adoptando tanto GPU de propósito general como ASIC desarrollados internamente y optimizados para cargas de trabajo específicas de IA. Las dos arquitecturas no necesariamente se sustituyen entre sí y pueden coexistir a largo plazo. La ventaja potencial de AMD no reside simplemente en diseñar un ASIC, sino en combinar el IP propietario de aceleradores de los clientes con sus CPU, E/S, controladores de memoria, interconexiones die-to-die y tecnologías de empaquetado. AMD ya cuenta con una base modular compuesta por dies de cómputo de CPU, dies de cómputo de GPU, dies de E/S, HBM, Infinity Fabric y empaquetado de chiplets. Por lo tanto, los ASIC personalizados pueden entenderse como una extensión natural de sus capacidades de integración heterogénea CPU/GPU al IP de aceleradores de terceros. Acercar las unidades de cómputo puede reducir el consumo de energía de SerDes, la pérdida de señal y la latencia asociados a las conexiones convencionales PCIe y PCB, al tiempo que aumenta la densidad de ancho de banda y reduce el consumo de energía por bit. En segundo lugar, la ventaja central de EPYC está pasando de tener “más núcleos” a su arquitectura de chiplets. El informe resume su estructura como “Compute Die → Chiplet → I/O Die → Package → Server Platform”: los dies de cómputo proporcionan la principal capacidad de procesamiento, mientras que el die de E/S integra controladores de memoria, PCIe/CXL, conexiones Fabric y E/S externa. Frente a las grandes CPU monolíticas, los chiplets ofrecen tres ventajas principales: los dies más pequeños reducen el riesgo de que un único defecto haga desechar todo el chip, mejorando la utilización de obleas y la economía de fabricación; las funciones de cómputo y E/S pueden utilizar diferentes nodos de proceso para optimizar por separado rendimiento, coste y rendimiento de fabricación; y el mismo die de cómputo puede atender múltiples mercados de servidores mediante distintos números de núcleos, TDP y configuraciones de memoria. En consecuencia, la siguiente etapa de la competencia de EPYC se acerca más a “Densidad de Cómputo × Ancho de Banda de Memoria × Ancho de Banda de E/S × Eficiencia de Empaquetado × Eficiencia Energética”, y no meramente al número de núcleos. A medida que aumenta la densidad de núcleos, la memoria y la E/S se convertirán en nuevos cuellos de botella para EPYC. Si el ancho de banda de memoria no se expande en paralelo, el beneficio marginal de añadir más núcleos disminuirá, y las actualizaciones se centrarán por tanto más en el die de E/S. Este die debe soportar simultáneamente interfaces de memoria DDR, PCIe, CXL, interconexiones de chiplets, conexiones de aceleradores y E/S de red, transformándose de un componente auxiliar en una parte crítica de la arquitectura de CPU para servidores. En los servidores de IA, la CPU también debe intercambiar datos continuamente con GPU, NIC, DPU, almacenamiento, memoria CXL y otros aceleradores. Por ello, el informe recomienda ampliar el marco de rendimiento de CPU desde “Número de Núcleos × IPC × Frecuencia” hasta “Cómputo × Memoria × E/S × Interconexión ÷ Energía”. La relación entre CPU y GPU también está pasando de una jerarquía host-acelerador hacia la coordinación a nivel de plataforma. Los grandes modelos de IA generan cargas de trabajo que implican preprocesamiento de datos, gestión de memoria, KV Cache, redes, acceso al almacenamiento y computación distribuida, lo que vuelve a convertir a las CPU en un componente importante de la infraestructura de IA. Por tanto, la prioridad futura de AMD no es simplemente aumentar el número de GPU, sino mejorar la coordinación entre CPU, GPU y memoria. La evolución arquitectónica pasa de “CPU → PCIe → GPU” a “CPU ↔ High-Speed Fabric ↔ GPU ↔ HBM”, formando finalmente un sistema completo “CPU + GPU + HBM + NIC + Switch + Optical I/O”, que también es uno de los principios fundamentales de Helios. Helios es significativo porque hace que AMD pase de ser un proveedor de componentes a convertirse en un participante en plataformas de computación a escala de rack. Históricamente, AMD suministraba principalmente CPU EPYC y GPU Instinct, mientras que los OEM y ODM de servidores se encargaban de la integración de sistemas. Sin embargo, la arquitectura a escala de rack requiere que AMD participe en el codiseño de CPU, GPU, HBM, interconexiones, switches, NIC, suministro de energía, refrigeración líquida, estructuras mecánicas y software. La unidad básica de diseño del hardware de IA se está expandiendo progresivamente de “Die → Package → Board → Tray → Rack → Cluster”, y la GPU se convierte en una unidad de cómputo dentro de una “fábrica de IA” a mayor escala. Dado que los aceleradores más potentes también consumen más energía, el rendimiento del sistema está cada vez más limitado por el ancho de banda de memoria, el ancho de banda de red, el suministro de energía, la refrigeración y la eficiencia de las interconexiones. Por ello, la competitividad de AMD debe medirse más a nivel de rack que únicamente por los FLOPS de GPU. El enfoque de escalado para las GPU Instinct también está cambiando. La reducción del nodo de proceso de semiconductores por sí sola ya no es suficiente para sostener el crecimiento del rendimiento de IA, y la arquitectura está pasando hacia “Multiple Compute Dies + I/O Dies + HBM + Advanced Packaging”. AMD puede separar diferentes funciones entre múltiples dies y reconectarlas mediante interfaces die-to-die de alta velocidad para crear aceleradores mayores. Este enfoque reduce el riesgo de rendimiento de fabricación asociado a dies monolíticos extremadamente grandes y permite que distintas funciones utilicen diferentes nodos de proceso, pero a costa de una complejidad de empaquetado significativamente mayor. El empaquetado avanzado está evolucionando de una etapa de fabricación de back-end a una parte de la propia arquitectura de GPU. El rendimiento final comercializable debe considerar simultáneamente “KGD Yield × Bonding Yield × Interconnect Yield × HBM Yield × Packaging Yield × Final Test Yield”; un problema en cualquier etapa reducirá el número final de aceleradores entregables. Dentro de este sistema, SoIC y CoWoS abordan distintas dimensiones del escalado. SoIC permite principalmente la integración vertical en el eje Z mediante apilamiento 3D y unión híbrida, acortando la distancia entre dies, aumentando la densidad de interconexión y de ancho de banda y reduciendo el consumo de energía de las comunicaciones. CoWoS permite principalmente el escalado planar X-Y mediante interposers, RDL y sustratos avanzados, integrando dies de cómputo de GPU, dies de E/S y múltiples pilas HBM en un gran paquete. Juntos, permiten que los aceleradores superen progresivamente los límites físicos de una única retícula, un único die y el empaquetado convencional. El foco competitivo del empaquetado avanzado también está pasando de la capacidad nominal a la “Producción de Paquetes Buenos”. Los grandes aceleradores de IA contienen simultáneamente múltiples dies lógicos, múltiples pilas HBM, estructuras de interposer o RDL, sustratos avanzados y numerosas interfaces de micro-bump o unión híbrida. Un defecto en cualquier die o interfaz crítica puede reducir significativamente el rendimiento del paquete y provocar pérdidas económicas sustanciales. Por ello, el informe sitúa la competitividad en las capacidades coordinadas de fabricación de obleas, empaquetado avanzado, integración 3D y pruebas, en lugar de limitarse a comparar la capacidad de CoWoS. Los proveedores capaces de coordinar estos procesos adquirirán una importancia creciente en la cadena de valor de aceleradores de IA. El rendimiento real de los productos Instinct de próxima generación tampoco puede explicarse simplemente por cuántas veces es más rápida una GPU individual respecto de su predecesora. El entrenamiento y la inferencia de IA dependen de sistemas completos, y el informe se centra en los efectos combinados del rendimiento de cómputo, ancho de banda HBM, ancho de banda Scale-Up, utilización del clúster, redes Scale-Out y eficiencia del software. Incluso si el rendimiento de cómputo de una sola GPU aumenta sustancialmente, un ancho de banda de comunicación insuficiente entre GPU seguirá limitando el rendimiento del clúster. Por tanto, el alcance competitivo futuro de Instinct se extenderá desde el silicio de GPU hasta la plataforma Helios, mientras que la forma de producto evolucionará de una sola GPU a un clúster de GPU y, en última instancia, a una fábrica de IA. A medida que los clústeres de GPU se expanden, las redes se convierten en el siguiente gran cuello de botella. Los SerDes de mayor velocidad agravan las presiones de pérdida de inserción, consumo de energía e integridad de señal que enfrentan las trazas PCB, los conectores, el enrutamiento de paquetes y los Retimers. El enlace convencional “Switch ASIC → Package → PCB → Connector → Optical Module” contiene un canal eléctrico de alta velocidad relativamente largo. CPO acerca el motor óptico al Switch ASIC, creando una estructura más próxima a “Switch ASIC → Optical Engine → Fiber”. Esto acorta la ruta eléctrica al tiempo que reduce la pérdida de inserción, el consumo de energía de SerDes, los requisitos de Retimer y la presión sobre la integridad de señal de PCB. El informe subraya que CPO no se limita a trasladar el módulo óptico al paquete; rediseña la arquitectura de E/S de los clústeres de IA. En conjunto, EPYC, Instinct, SoIC, CoWoS, Helios y CPO abordan el mismo problema: el movimiento de datos. Los chiplets de CPU gestionan la transferencia de datos entre dies de cómputo, HBM conecta cómputo y memoria, SoIC gestiona las interconexiones verticales entre dies, CoWoS gestiona la transferencia a nivel de paquete entre GPU y HBM, Fabric de alta velocidad admite la comunicación CPU–GPU y GPU–GPU, Helios coordina la computación a escala de rack y CPO aborda la transmisión entre racks y a escala de clúster. El cuello de botella de la computación de IA está pasando gradualmente de una capacidad de cómputo insuficiente a una incapacidad de mover los datos con la eficiencia necesaria para mantener plenamente utilizados los recursos de cómputo. En consecuencia, la hoja de ruta de escalado de AMD se resume como “Transistor Scaling → Chiplet Scaling → Package Scaling → Rack Scaling → Cluster Scaling”: EPYC aborda el escalado de CPU, Instinct aborda el escalado de aceleradores, SoIC y CoWoS abordan el escalado de paquetes, Helios aborda el escalado de racks, y las redes y CPO extienden la arquitectura al nivel de clúster. La competencia de AMD con NVIDIA, Intel y los ASIC desarrollados internamente por proveedores de servicios en la nube ya no debe reducirse a CPU frente a CPU o GPU frente a GPU. En cambio, la comparación debe centrarse en quién puede desplegar más cómputo de IA útil dentro de un rack o de un centro de datos completo reduciendo al mismo tiempo el consumo de energía, la latencia y los costes de movimiento de datos. El informe concluye finalmente que el activo tecnológico más importante de AMD a largo plazo es la plataforma de computación heterogénea formada por “EPYC + Instinct + Chiplets + HBM + Advanced Packaging + Networking + Helios + CPO”, cuyo objetivo está pasando de “More Compute per Chip” a “More Useful Compute per AI Factory”.

Marco de análisis

El informe desarrolla su análisis jerárquicamente desde los chips hasta los clústeres. Primero analiza cómo los ASIC personalizados podrían ampliar las capacidades de integración heterogénea de AMD, y después examina la arquitectura de chiplets EPYC, los cuellos de botella de memoria y E/S y la coordinación CPU–GPU. Posteriormente amplía el alcance al diseño de racks Helios, la arquitectura multi-die de Instinct, SoIC/CoWoS y el rendimiento compuesto de paquetes. Por último, analiza el rendimiento a nivel de sistema, los cuellos de botella de red y CPO, unificando las hojas de ruta tecnológicas de cada nivel mediante el concepto de “coste de movimiento de datos”. Al evaluar la competitividad, el informe reemplaza sistemáticamente las métricas puntuales por métricas de sistema; por ejemplo, pasa del número de núcleos al cómputo, memoria, E/S, interconexiones y consumo de energía; de la capacidad de empaquetado a la producción de paquetes buenos; y del rendimiento de una sola GPU a la utilización de clústeres y al cómputo útil a nivel de fábrica de IA.

Notas metodológicas

• Marco de competencia y estrategiaVentaja competitiva/Foso competitivo

  Capacidades de integración de computación heterogénea

  El informe no limita las ventajas de AMD a su capacidad para diseñar CPU, GPU o ASIC individuales. En su lugar, las atribuye a la capacidad de plataforma a largo plazo de la empresa para integrar dies de cómputo, E/S, HBM, interconexiones, empaquetado, racks y redes.

• Marco de análisis sectorialOtro

  Análisis escalonado de cuellos de botella desde chips hasta paquetes, racks y clústeres

  El informe identifica las limitaciones de memoria, E/S, rendimiento de empaquetado, interconexión, suministro de energía, refrigeración y red en capas sucesivas de sistemas de IA para explicar por qué la competencia de rendimiento se está expandiendo desde chips individuales hasta toda la fábrica de IA.

• Marco de análisis sectorialOtro

  Desglose del rendimiento compuesto de paquetes

  El informe trata el rendimiento final de aceleradores comercializables como el resultado combinado de los rendimientos de KGD, unión, interconexión, HBM, empaquetado y prueba final, lo que ilustra por qué la capacidad nominal de empaquetado no puede equipararse a la producción real de unidades buenas.

• Marco de análisis sectorialAnálisis del efecto de sustitución

  Coexistencia de GPU de propósito general y ASIC personalizados

  El informe considera que las GPU de propósito general y los ASIC desarrollados internamente adoptados por los proveedores de servicios en la nube no necesariamente se sustituyen entre sí y pueden coexistir en grandes centros de datos para diferentes cargas de trabajo.

Correspondencia y comparación de activos

Correspondencia estructurada entre la tesis y activos concretos (fortalezas, debilidades, pares y riesgos).

• Advanced Micro Devices, Inc.（AMD）

  El informe posiciona a AMD como una entidad que evoluciona de proveedor de CPU y GPU a proveedor de plataformas de computación de IA heterogénea a escala de rack y clúster.

  Fortalezas

  AMD ha establecido una base modular que abarca EPYC, Instinct, dies de cómputo de CPU/GPU, dies de E/S, HBM, Infinity Fabric y empaquetado de chiplets, y cuenta con experiencia en integrar diferentes tecnologías de cómputo e interconexión en una plataforma.

  Debilidades

  La expansión hacia racks y clústeres aumentará significativamente la complejidad de coordinar empaquetado avanzado, interconexiones, suministro de energía, refrigeración líquida, estructuras mecánicas y software. El rendimiento de un chip individual ya no es suficiente para determinar la competitividad global.

  Comparación

  Frente a NVIDIA, Intel y los ASIC desarrollados internamente por proveedores de servicios en la nube, el informe sostiene que el referente competitivo ya no será CPU frente a CPU o GPU frente a GPU, sino el cómputo de IA útil, el consumo energético, la latencia y los costes de movimiento de datos por rack y dentro del centro de datos.

  Riesgos

  Los problemas de rendimiento de fabricación en cualquier etapa del empaquetado, el ancho de banda insuficiente de comunicación entre GPU, el escalado rezagado de memoria y E/S y una coordinación inadecuada de hardware y software a escala de rack podrían limitar el rendimiento final del sistema.

Datos clave

• Métrica competitiva compuesta de EPYCDensidad de Cómputo × Ancho de Banda de Memoria × Ancho de Banda de E/S × Eficiencia de Empaquetado × Eficiencia EnergéticaEl informe sostiene que la competencia de EPYC ya no debe medirse únicamente por el número de núcleos.
• Cambio en el marco de rendimiento de CPU para servidoresNúmero de Núcleos × IPC × Frecuencia → Cómputo × Memoria × E/S × Interconexión ÷ EnergíaEsto refleja la creciente dependencia del rendimiento de los servidores de IA del rendimiento de E/S del sistema y de la eficiencia energética.
• Evolución de la arquitectura de plataforma de CPU y GPUCPU → PCIe → GPU；CPU ↔ High-Speed Fabric ↔ GPU ↔ HBM；CPU + GPU + HBM + NIC + Switch + Optical I/OLa arquitectura está pasando de una conexión tradicional host-acelerador hacia la coordinación a nivel de plataforma.
• Unidad de diseño de hardware de IADie → Package → Board → Tray → Rack → ClusterHelios amplía el límite de diseño de AMD al nivel de rack.
• Rendimiento compuesto de empaquetado avanzadoKGD Yield × Bonding Yield × Interconnect Yield × HBM Yield × Packaging Yield × Final Test YieldUn fallo en cualquier etapa puede reducir el número final de aceleradores comercializables.
• División de funciones entre SoIC y CoWoSSoIC = Integración Vertical；CoWoS = Integración HorizontalSoIC maneja el escalado vertical en el eje Z, mientras que CoWoS maneja el escalado planar X-Y.
• Cambio en el enlace CPOSwitch ASIC → Package → PCB → Connector → Optical Module；pasando a Switch ASIC → Optical Engine → FiberEl objetivo es acortar las rutas eléctricas de alta velocidad y reducir la pérdida y el consumo de energía.
• Hoja de ruta de escalado de AMDTransistor Scaling → Chiplet Scaling → Package Scaling → Rack Scaling → Cluster ScalingEl alcance competitivo se está expandiendo progresivamente desde transistores y chiplets hasta paquetes, racks y clústeres.
• Plataforma de computación heterogénea a largo plazoEPYC + Instinct + Chiplets + HBM + Advanced Packaging + Networking + Helios + CPOEl informe considera que esta plataforma integrada representa mejor los activos tecnológicos de AMD a largo plazo que cualquier CPU o GPU individual.
• Objetivo de la estrategia tecnológica“More Compute per Chip” → “More Useful Compute per AI Factory”El foco de la evaluación está pasando del rendimiento de cómputo de un solo chip al cómputo útil a nivel de fábrica de IA.

Impacto e implicaciones

La principal implicación del informe es que el marco de evaluación competitiva para AMD y la cadena de valor de aceleradores de IA debe orientarse al sistema: las CPU deben evaluarse junto con la memoria, E/S, interconexiones y consumo de energía; las GPU deben evaluarse según HBM, Scale-Up, Scale-Out, software y utilización de clústeres; y el empaquetado avanzado debe evaluarse por la producción de unidades buenas en lugar de la capacidad nominal. A medida que se expande el límite de diseño, AMD debe evolucionar de proveedor de componentes de chips a participante de plataformas a escala de rack capaz de coordinar cómputo, redes, suministro de energía, refrigeración y software. También aumentará la importancia de la coordinación entre fabricación de obleas, integración 3D, empaquetado avanzado, pruebas e interconexiones ópticas.

Riesgos

• Las GPU multi-die reducen el riesgo de rendimiento de fabricación asociado a dies monolíticos extremadamente grandes, pero aumentan significativamente la complejidad de empaquetado e integración.
• Los problemas en cualquier etapa relacionada con KGD, unión, interconexiones, HBM, empaquetado o pruebas finales podrían reducir la producción final de paquetes buenos y causar pérdidas económicas.
• Si el ancho de banda de memoria y las capacidades de E/S no mejoran al ritmo de la densidad de núcleos de CPU, las ganancias marginales de rendimiento derivadas de añadir núcleos podrían disminuir.
• Incluso si el rendimiento de cómputo de una sola GPU mejora significativamente, el ancho de banda insuficiente de comunicación entre GPU seguirá limitando el rendimiento del clúster y la utilización de recursos de cómputo.
• Los SerDes de mayor velocidad aumentarán la pérdida de inserción, el consumo de energía, los requisitos de Retimer y la presión sobre la integridad de señal de PCB.
• Los sistemas a escala de rack están cada vez más limitados por el suministro de energía, la refrigeración líquida, el ancho de banda de red, la eficiencia del software y la coordinación de interconexiones.

Aspectos que vigilar

• Supervisar si las actualizaciones posteriores de EPYC mejoran simultáneamente el ancho de banda de memoria, los dies de E/S, PCIe/CXL y la conectividad de aceleradores.
• Supervisar si AMD participa en proyectos de ASIC personalizados de proveedores de servicios en la nube y si puede integrar el IP de aceleradores de los clientes con sus propias tecnologías de CPU, E/S, memoria y empaquetado.
• Supervisar el avance de Helios en la coordinación a escala de rack entre CPU, GPU, HBM, switches, NIC, suministro de energía, refrigeración líquida y software.
• Supervisar la producción de paquetes buenos del empaquetado avanzado y el rendimiento compuesto de KGD, unión, interconexiones, HBM, empaquetado y pruebas finales.
• Supervisar el ancho de banda HBM, el ancho de banda Scale-Up, las redes Scale-Out, la utilización de clústeres y la eficiencia del software de Instinct de próxima generación, en lugar de centrarse únicamente en el rendimiento de una sola GPU.
• Supervisar si CPO puede acortar las rutas eléctricas de alta velocidad y reducir la pérdida de inserción, el consumo de energía de SerDes, los requisitos de Retimer y la presión sobre la integridad de señal.