Semicondutores e Infraestrutura de Computação de IA: As Fronteiras Competitivas da AMD Estão se Expandindo de Chips Individuais para Encapsulamento, Racks e Clusters Inteiros de IA

Visão geral

O relatório examina a evolução da arquitetura de data centers e IA da AMD. Sua conclusão central é que a estratégia da AMD não está mais confinada à competição em chips de CPU e GPU. Em vez disso, ela usa integração heterogênea para reduzir o custo da movimentação de dados, ao mesmo tempo que expande progressivamente o escopo do projeto de sistemas para encapsulamentos, nós, racks e clusters. Assim, o relatório argumenta que a competitividade da AMD não deve ser avaliada por contagem de núcleos ou FLOPS de GPU, mas por capacidade computacional útil, largura de banda, eficiência energética e eficiência de coordenação nos níveis de rack e fábrica de IA.

Visões principais

Primeiro, o relatório considera os ASICs personalizados uma das importantes oportunidades futuras da AMD. Grandes provedores de serviços em nuvem estão adotando tanto GPUs de uso geral quanto ASICs desenvolvidos internamente e otimizados para cargas de trabalho específicas de IA. As duas arquiteturas não necessariamente se substituem e podem coexistir no longo prazo. A potencial vantagem da AMD não reside apenas em projetar um ASIC, mas em combinar o IP proprietário de aceleradores dos clientes com suas CPUs, E/S, controladores de memória, interconexões die-to-die e tecnologias de encapsulamento. A AMD já possui uma base modular composta por dies de computação de CPU, dies de computação de GPU, dies de E/S, HBM, Infinity Fabric e encapsulamento de chiplets. Portanto, os ASICs personalizados podem ser entendidos como uma extensão natural de suas capacidades de integração heterogênea CPU/GPU para IP de aceleradores de terceiros. Colocar unidades de computação mais próximas pode reduzir o consumo de energia de SerDes, a perda de sinal e a latência associados às conexões convencionais PCIe e PCB, ao mesmo tempo que aumenta a densidade de largura de banda e reduz o consumo de energia por bit. Segundo, a principal vantagem do EPYC está migrando de “mais núcleos” para sua arquitetura de chiplets. O relatório resume sua estrutura como “Die de Computação → Chiplet → Die de E/S → Encapsulamento → Plataforma de Servidor”: os dies de computação fornecem a capacidade principal de processamento, enquanto o die de E/S integra controladores de memória, PCIe/CXL, conexões Fabric e E/S externa. Em comparação com CPUs monolíticas grandes, os chiplets oferecem três vantagens principais: dies menores reduzem o risco de um único defeito fazer com que todo o chip seja descartado, melhorando a utilização de wafers e a economia de fabricação; as funções de computação e E/S podem usar diferentes nós de processo para otimizar desempenho, custo e rendimento separadamente; e o mesmo die de computação pode atender a múltiplos mercados de servidores por meio de diferentes contagens de núcleos, TDPs e configurações de memória. Consequentemente, a próxima etapa da competição do EPYC está mais próxima de “Densidade de Computação × Largura de Banda de Memória × Largura de Banda de E/S × Eficiência de Encapsulamento × Eficiência Energética”, e não apenas da contagem de núcleos. À medida que a densidade de núcleos aumenta, memória e E/S se tornarão novos gargalos do EPYC. Se a largura de banda de memória não se expandir em paralelo, o benefício marginal de adicionar mais núcleos diminuirá, e as atualizações se concentrarão mais intensamente no die de E/S. Esse die deve suportar simultaneamente interfaces de memória DDR, PCIe, CXL, interconexões de chiplets, conexões de aceleradores e E/S de rede, transformando-se de um componente auxiliar em uma parte crítica da arquitetura de CPU para servidores. Em servidores de IA, a CPU também deve trocar dados continuamente com GPUs, NICs, DPUs, armazenamento, memória CXL e outros aceleradores. Portanto, o relatório recomenda expandir a estrutura de desempenho da CPU de “Contagem de Núcleos × IPC × Frequência” para “Computação × Memória × E/S × Interconexão ÷ Energia”. A relação entre CPUs e GPUs também está migrando de uma hierarquia host–acelerador para coordenação em nível de plataforma. Grandes modelos de IA geram cargas de trabalho que envolvem pré-processamento de dados, gerenciamento de memória, KV Cache, redes, acesso a armazenamento e computação distribuída, tornando as CPUs novamente um componente importante da infraestrutura de IA. Portanto, a prioridade futura da AMD não é simplesmente aumentar o número de GPUs, mas melhorar a coordenação entre CPUs, GPUs e memória. A evolução arquitetônica passa de “CPU → PCIe → GPU” para “CPU ↔ Fabric de Alta Velocidade ↔ GPU ↔ HBM”, formando finalmente um sistema completo de “CPU + GPU + HBM + NIC + Switch + E/S Óptica”, que também é um dos princípios fundamentais do Helios. O Helios é significativo porque desloca a AMD de fornecedora de componentes para participante de plataformas de computação em escala de rack. Historicamente, a AMD fornecia principalmente CPUs EPYC e GPUs Instinct, enquanto OEMs e ODMs de servidores eram responsáveis pela integração de sistemas. A arquitetura em escala de rack, entretanto, exige que a AMD participe do codesign de CPUs, GPUs, HBM, interconexões, switches, NICs, fornecimento de energia, refrigeração líquida, estruturas mecânicas e software. A unidade básica de projeto do hardware de IA está se expandindo progressivamente de “Die → Encapsulamento → Placa → Bandeja → Rack → Cluster”, com a GPU se tornando uma unidade de computação dentro de uma “fábrica de IA” em maior escala. Como aceleradores mais potentes também consomem mais energia, o desempenho do sistema é cada vez mais limitado por largura de banda de memória, largura de banda de rede, fornecimento de energia, refrigeração e eficiência de interconexão. Portanto, a competitividade da AMD deve ser medida mais no nível de rack do que apenas por FLOPS de GPU. A abordagem de escalabilidade para GPUs Instinct também está mudando. A redução dos nós de processo de semicondutores por si só não é mais suficiente para sustentar o crescimento do desempenho de IA, e a arquitetura está migrando para “Múltiplos Dies de Computação + Dies de E/S + HBM + Encapsulamento Avançado”. A AMD pode separar diferentes funções entre múltiplos dies e reconectá-los por interfaces die-to-die de alta velocidade para criar aceleradores maiores. Essa abordagem reduz o risco de rendimento associado a dies monolíticos extremamente grandes e permite que diferentes funções usem diferentes nós de processo, mas ao custo de uma complexidade de encapsulamento significativamente maior. O encapsulamento avançado está evoluindo de uma etapa de fabricação de back-end para parte da própria arquitetura da GPU. O rendimento final comercializável deve considerar simultaneamente “Rendimento de KGD × Rendimento de Bonding × Rendimento de Interconexão × Rendimento de HBM × Rendimento de Encapsulamento × Rendimento de Teste Final”; um problema em qualquer etapa reduzirá o número final de aceleradores entregáveis. Dentro desse sistema, SoIC e CoWoS tratam diferentes dimensões de escalabilidade. O SoIC permite principalmente a integração vertical no eixo Z por meio de empilhamento 3D e bonding híbrido, encurtando a distância entre os dies, aumentando a densidade de interconexão e largura de banda e reduzindo o consumo de energia de comunicação. O CoWoS permite principalmente a escalabilidade planar X-Y por meio de interposers, RDL e substratos avançados, integrando dies de computação de GPU, dies de E/S e múltiplas pilhas de HBM em um grande encapsulamento. Juntos, eles permitem que os aceleradores superem progressivamente os limites físicos de um único retículo, um único die e do encapsulamento convencional. O foco competitivo no encapsulamento avançado também está migrando da capacidade nominal para a “Produção de Encapsulamentos Bons”. Grandes aceleradores de IA contêm simultaneamente múltiplos dies lógicos, múltiplas pilhas de HBM, estruturas de interposer ou RDL, substratos avançados e numerosas interfaces de micro-bump ou bonding híbrido. Um defeito em qualquer die ou interface crítica pode reduzir significativamente o rendimento do encapsulamento e causar perdas econômicas substanciais. Portanto, o relatório situa a competitividade nas capacidades coordenadas de fabricação de wafers, encapsulamento avançado, integração 3D e testes, em vez de apenas comparar a capacidade de CoWoS. Fornecedores capazes de coordenar esses processos se tornarão cada vez mais importantes na cadeia de valor de aceleradores de IA. O desempenho real dos produtos Instinct de próxima geração também não pode ser explicado simplesmente por quantas vezes uma única GPU é mais rápida que sua antecessora. O treinamento e a inferência de IA dependem de sistemas completos, e o relatório se concentra nos efeitos combinados de desempenho computacional, largura de banda de HBM, largura de banda Scale-Up, utilização de clusters, rede Scale-Out e eficiência de software. Mesmo que o desempenho computacional de uma única GPU aumente substancialmente, uma largura de banda de comunicação insuficiente entre GPUs ainda limitará o desempenho do cluster. Portanto, o escopo competitivo futuro do Instinct se estenderá do silício de GPU à plataforma Helios, enquanto a forma do produto evoluirá de uma única GPU para um cluster de GPUs e, em última instância, para uma fábrica de IA. À medida que os clusters de GPUs se expandem, as redes se tornam o próximo grande gargalo. SerDes de maior velocidade agravam as pressões de perda por inserção, consumo de energia e integridade de sinal enfrentadas por trilhas de PCB, conectores, roteamento de encapsulamento e Retimers. O link convencional “ASIC de Switch → Encapsulamento → PCB → Conector → Módulo Óptico” contém um canal elétrico de alta velocidade relativamente longo. O CPO coloca o motor óptico próximo ao ASIC de switch, criando uma estrutura mais próxima de “ASIC de Switch → Motor Óptico → Fibra”. Isso encurta o caminho elétrico enquanto reduz perda por inserção, consumo de energia de SerDes, exigências de Retimer e pressão sobre a integridade de sinal da PCB. O relatório enfatiza que o CPO não simplesmente move o módulo óptico para dentro do encapsulamento; ele redesenha a arquitetura de E/S dos clusters de IA. Em conjunto, EPYC, Instinct, SoIC, CoWoS, Helios e CPO tratam todos da mesma questão — a movimentação de dados. Os chiplets de CPU gerenciam a transferência de dados entre dies de computação, o HBM conecta computação e memória, o SoIC gerencia interconexões verticais entre dies, o CoWoS gerencia a transferência no nível de encapsulamento entre GPUs e HBM, o Fabric de alta velocidade suporta a comunicação CPU–GPU e GPU–GPU, o Helios coordena a computação em escala de rack e o CPO trata da transmissão entre racks e em escala de cluster. O gargalo da computação de IA está gradualmente migrando de capacidade computacional insuficiente para a incapacidade de mover dados com eficiência suficiente para manter os recursos computacionais plenamente utilizados. Consequentemente, o roteiro de escalabilidade da AMD é resumido como “Escalabilidade de Transistores → Escalabilidade de Chiplets → Escalabilidade de Encapsulamentos → Escalabilidade de Racks → Escalabilidade de Clusters”: o EPYC trata da escalabilidade de CPU, o Instinct trata da escalabilidade de aceleradores, SoIC e CoWoS tratam da escalabilidade de encapsulamentos, o Helios trata da escalabilidade de racks e redes e CPO estendem a arquitetura ao nível de cluster. A competição da AMD com NVIDIA, Intel e ASICs desenvolvidos internamente por provedores de serviços em nuvem não deve mais ser reduzida a CPU versus CPU ou GPU versus GPU. Em vez disso, a comparação deve se concentrar em quem pode implantar mais capacidade computacional útil de IA dentro de um rack ou de um data center inteiro, reduzindo consumo de energia, latência e custos de movimentação de dados. O relatório conclui, por fim, que o ativo tecnológico mais importante da AMD no longo prazo é a plataforma de computação heterogênea formada por “EPYC + Instinct + Chiplets + HBM + Encapsulamento Avançado + Redes + Helios + CPO”, cujo objetivo está migrando de “Mais Computação por Chip” para “Mais Computação Útil por Fábrica de IA”.

Estrutura de análise

O relatório desenvolve sua análise hierarquicamente, dos chips aos clusters. Primeiro, discute como ASICs personalizados poderiam ampliar as capacidades de integração heterogênea da AMD; depois, examina a arquitetura de chiplets do EPYC, os gargalos de memória e E/S e a coordenação CPU–GPU. Em seguida, amplia o escopo para o projeto de rack Helios, a arquitetura multi-die do Instinct, SoIC/CoWoS e o rendimento composto de encapsulamentos. Por fim, analisa o desempenho em nível de sistema, gargalos de rede e CPO, unificando os roteiros tecnológicos em cada nível por meio do conceito de “custo de movimentação de dados”. Ao avaliar competitividade, o relatório substitui consistentemente métricas pontuais por métricas de sistema — por exemplo, passando da contagem de núcleos para computação, memória, E/S, interconexões e consumo de energia; da capacidade de encapsulamento para a produção de encapsulamentos bons; e do desempenho de uma única GPU para utilização de clusters e capacidade computacional útil no nível de fábrica de IA.

Notas metodológicas

• Estrutura de Competição e EstratégiaVantagem Competitiva/Fosso Econômico

  Capacidades de Integração de Computação Heterogênea

  O relatório não limita as vantagens da AMD à sua capacidade de projetar CPUs, GPUs ou ASICs individuais. Em vez disso, atribui-as à capacidade de plataforma de longo prazo da empresa de integrar dies de computação, E/S, HBM, interconexões, encapsulamento, racks e redes.

• Estrutura de Análise da IndústriaOutro

  Análise Estratificada de Gargalos, de Chips a Encapsulamentos, Racks e Clusters

  O relatório identifica restrições de memória, E/S, rendimento de encapsulamento, interconexão, fornecimento de energia, refrigeração e rede em camadas sucessivas dos sistemas de IA para explicar por que a competição por desempenho está se expandindo de chips individuais para toda a fábrica de IA.

• Estrutura de Análise da IndústriaOutro

  Decomposição do Rendimento Composto de Encapsulamentos

  O relatório trata o rendimento final de aceleradores comercializáveis como o resultado combinado dos rendimentos de KGD, bonding, interconexão, HBM, encapsulamento e teste final, ilustrando por que a capacidade nominal de encapsulamento não pode ser equiparada à produção real de unidades boas.

• Estrutura de Análise da IndústriaAnálise do Efeito de Substituição

  Coexistência de GPUs de Uso Geral e ASICs Personalizados

  O relatório acredita que GPUs de uso geral e ASICs desenvolvidos internamente adotados por provedores de serviços em nuvem não necessariamente se substituem e podem coexistir em grandes data centers para diferentes cargas de trabalho.

Mapeamento e comparação de ativos

Mapeamento estruturado da tese para ativos nomeados (pontos fortes, pontos fracos, pares e riscos).

• Advanced Micro Devices, Inc.（AMD）

  O relatório posiciona a AMD como uma entidade que evolui de fornecedora de CPUs e GPUs para fornecedora de plataformas heterogêneas de computação de IA em escala de rack e cluster.

  Pontos fortes

  A AMD estabeleceu uma base modular que abrange EPYC, Instinct, dies de computação de CPU/GPU, dies de E/S, HBM, Infinity Fabric e encapsulamento de chiplets, e tem experiência na integração de diferentes tecnologias de computação e interconexão em uma plataforma.

  Pontos fracos

  A expansão para racks e clusters aumentará significativamente a complexidade de coordenar encapsulamento avançado, interconexões, fornecimento de energia, refrigeração líquida, estruturas mecânicas e software. O desempenho de um chip individual já não é suficiente para determinar a competitividade geral.

  Comparação

  Em comparação com NVIDIA, Intel e ASICs desenvolvidos internamente por provedores de serviços em nuvem, o relatório argumenta que a referência competitiva não será mais CPU versus CPU ou GPU versus GPU, mas capacidade computacional útil de IA, consumo de energia, latência e custos de movimentação de dados por rack e dentro do data center.

  Riscos

  Problemas de rendimento em qualquer etapa do encapsulamento, largura de banda insuficiente de comunicação entre GPUs, escalabilidade defasada de memória e E/S e coordenação inadequada de hardware e software em escala de rack podem restringir o desempenho final do sistema.

Dados principais

• Métrica Competitiva Composta do EPYCDensidade de Computação × Largura de Banda de Memória × Largura de Banda de E/S × Eficiência de Encapsulamento × Eficiência EnergéticaO relatório argumenta que a competição do EPYC não deve mais ser medida somente pela contagem de núcleos.
• Mudança na Estrutura de Desempenho de CPU para ServidoresContagem de Núcleos × IPC × Frequência → Computação × Memória × E/S × Interconexão ÷ EnergiaIsso reflete a crescente dependência do desempenho de servidores de IA do throughput de E/S do sistema e da eficiência energética.
• Evolução da Arquitetura da Plataforma de CPU e GPUCPU → PCIe → GPU；CPU ↔ Fabric de Alta Velocidade ↔ GPU ↔ HBM；CPU + GPU + HBM + NIC + Switch + E/S ÓpticaA arquitetura está migrando de uma conexão tradicional host–acelerador para coordenação em nível de plataforma.
• Unidade de Projeto de Hardware de IADie → Encapsulamento → Placa → Bandeja → Rack → ClusterO Helios expande a fronteira de projeto da AMD para o nível de rack.
• Rendimento Composto de Encapsulamento AvançadoRendimento de KGD × Rendimento de Bonding × Rendimento de Interconexão × Rendimento de HBM × Rendimento de Encapsulamento × Rendimento de Teste FinalUma falha em qualquer etapa pode reduzir o número final de aceleradores comercializáveis.
• Divisão de Funções entre SoIC e CoWoSSoIC = Integração Vertical；CoWoS = Integração HorizontalO SoIC trata da escalabilidade vertical no eixo Z, enquanto o CoWoS trata da escalabilidade planar X-Y.
• Mudança no Link CPOASIC de Switch → Encapsulamento → PCB → Conector → Módulo Óptico；migrando para ASIC de Switch → Motor Óptico → FibraO objetivo é encurtar os caminhos elétricos de alta velocidade e reduzir perdas e consumo de energia.
• Roteiro de Escalabilidade da AMDEscalabilidade de Transistores → Escalabilidade de Chiplets → Escalabilidade de Encapsulamentos → Escalabilidade de Racks → Escalabilidade de ClustersO escopo competitivo está se expandindo progressivamente de transistores e chiplets para encapsulamentos, racks e clusters.
• Plataforma de Computação Heterogênea de Longo PrazoEPYC + Instinct + Chiplets + HBM + Encapsulamento Avançado + Redes + Helios + CPOO relatório acredita que essa plataforma integrada representa melhor os ativos tecnológicos de longo prazo da AMD do que qualquer CPU ou GPU individual.
• Objetivo da Estratégia Tecnológica“Mais Computação por Chip” → “Mais Computação Útil por Fábrica de IA”O foco da avaliação está migrando do desempenho computacional de um único chip para a capacidade computacional útil no nível de fábrica de IA.

Impacto e implicações

A principal implicação do relatório é que a estrutura de avaliação competitiva para a AMD e a cadeia de valor de aceleradores de IA deve se tornar orientada a sistemas: CPUs devem ser avaliadas em conjunto com memória, E/S, interconexões e consumo de energia; GPUs devem ser avaliadas com base em HBM, Scale-Up, Scale-Out, software e utilização de clusters; e encapsulamento avançado deve ser avaliado com base na produção de unidades boas, e não na capacidade nominal. À medida que a fronteira de projeto se expande, a AMD deve evoluir de fornecedora de componentes de chips para participante de plataformas em escala de rack, capaz de coordenar computação, redes, fornecimento de energia, refrigeração e software. A importância da coordenação entre fabricação de wafers, integração 3D, encapsulamento avançado, testes e interconexões ópticas também aumentará.

Riscos

• GPUs multi-die reduzem o risco de rendimento associado a dies monolíticos extremamente grandes, mas aumentam significativamente a complexidade de encapsulamento e integração.
• Problemas em qualquer etapa envolvendo KGD, bonding, interconexões, HBM, encapsulamento ou teste final podem reduzir a produção final de encapsulamentos bons e causar perdas econômicas.
• Se a largura de banda de memória e as capacidades de E/S não melhorarem no mesmo ritmo da densidade de núcleos da CPU, os ganhos marginais de desempenho decorrentes da adição de núcleos poderão diminuir.
• Mesmo que o desempenho computacional de uma única GPU melhore significativamente, uma largura de banda insuficiente de comunicação entre GPUs continuará restringindo o desempenho do cluster e a utilização de recursos computacionais.
• SerDes de maior velocidade aumentarão a perda por inserção, o consumo de energia, as exigências de Retimer e a pressão sobre a integridade de sinal da PCB.
• Sistemas em escala de rack são cada vez mais limitados por fornecimento de energia, refrigeração líquida, largura de banda de rede, eficiência de software e coordenação de interconexões.

Pontos a observar

• Monitorar se as atualizações subsequentes do EPYC melhoram simultaneamente largura de banda de memória, dies de E/S, PCIe/CXL e conectividade de aceleradores.
• Monitorar se a AMD participa de projetos de ASICs personalizados de provedores de serviços em nuvem e se consegue integrar o IP de aceleradores dos clientes às suas próprias tecnologias de CPU, E/S, memória e encapsulamento.
• Monitorar o progresso do Helios na coordenação em escala de rack entre CPUs, GPUs, HBM, switches, NICs, fornecimento de energia, refrigeração líquida e software.
• Monitorar a Produção de Encapsulamentos Bons no encapsulamento avançado e o rendimento composto de KGD, bonding, interconexões, HBM, encapsulamento e teste final.
• Monitorar a largura de banda de HBM, a largura de banda Scale-Up, as redes Scale-Out, a utilização de clusters e a eficiência de software do Instinct de próxima geração, em vez de se concentrar apenas no desempenho de uma única GPU.
• Monitorar se o CPO consegue encurtar caminhos elétricos de alta velocidade e reduzir perda por inserção, consumo de energia de SerDes, exigências de Retimer e pressão sobre a integridade de sinal.