반도체 및 AI 컴퓨팅 인프라: AMD의 경쟁 경계는 개별 칩에서 패키징, 랙 및 전체 AI 클러스터로 확장되고 있다

개요

본 보고서는 AMD의 데이터센터 및 AI 아키텍처 진화를 검토한다. 핵심 결론은 AMD의 전략이 더 이상 CPU 및 GPU 칩 경쟁에 국한되지 않는다는 것이다. 대신 AMD는 이기종 통합을 활용해 데이터 이동 비용을 낮추고, 시스템 설계 범위를 패키지, 노드, 랙 및 클러스터로 단계적으로 확장하고 있다. 이에 따라 보고서는 AMD의 경쟁력을 코어 수나 GPU FLOPS가 아니라 랙 및 AI 팩토리 수준의 유효 컴퓨팅 성능, 대역폭, 에너지 효율 및 조정 효율로 평가해야 한다고 주장한다.

핵심 견해

첫째, 보고서는 맞춤형 ASIC을 AMD의 중요한 미래 기회 중 하나로 본다. 대형 클라우드 서비스 제공업체들은 범용 GPU와 특정 AI 워크로드에 최적화된 자체 개발 ASIC을 모두 채택하고 있다. 두 아키텍처는 반드시 서로를 대체하지 않으며 장기적으로 공존할 수 있다. AMD의 잠재적 강점은 단순히 ASIC을 설계하는 데 있지 않고, 고객의 독자적 가속기 IP를 자사의 CPU, I/O, 메모리 컨트롤러, 다이 간 인터커넥트 및 패키징 기술과 결합하는 데 있다. AMD는 이미 CPU 컴퓨팅 다이, GPU 컴퓨팅 다이, I/O 다이, HBM, Infinity Fabric 및 칩렛 패키징으로 구성된 모듈형 기반을 보유하고 있다. 따라서 맞춤형 ASIC은 CPU/GPU 이기종 통합 역량을 제3자 가속기 IP로 자연스럽게 확장하는 것으로 이해할 수 있다. 컴퓨팅 유닛을 더 가깝게 배치하면 기존 PCIe 및 PCB 연결과 관련된 SerDes 전력 소모, 신호 손실 및 지연시간을 줄이는 동시에 대역폭 밀도를 높이고 비트당 에너지 소모를 낮출 수 있다. 둘째, EPYC의 핵심 강점은 “더 많은 코어”에서 칩렛 아키텍처로 이동하고 있다. 보고서는 그 구조를 “Compute Die → Chiplet → I/O Die → Package → Server Platform”으로 요약한다. 컴퓨팅 다이는 주된 처리 능력을 제공하고, I/O 다이는 메모리 컨트롤러, PCIe/CXL, Fabric 연결 및 외부 I/O를 통합한다. 대형 모놀리식 CPU와 비교할 때 칩렛은 세 가지 주요 장점을 제공한다. 더 작은 다이는 단일 결함으로 전체 칩이 폐기될 위험을 낮춰 웨이퍼 활용도와 제조 경제성을 개선한다. 컴퓨팅 및 I/O 기능은 서로 다른 공정 노드를 사용해 성능, 비용 및 수율을 각각 최적화할 수 있다. 또한 동일한 컴퓨팅 다이는 서로 다른 코어 수, TDP 및 메모리 구성을 통해 여러 서버 시장에 활용될 수 있다. 따라서 EPYC 경쟁의 다음 단계는 단순한 코어 수보다 “컴퓨팅 밀도 × 메모리 대역폭 × I/O 대역폭 × 패키징 효율 × 전력 효율”에 더 가깝다. 코어 밀도가 높아짐에 따라 메모리와 I/O는 새로운 EPYC 병목이 될 것이다. 메모리 대역폭이 병행 확대되지 않으면 더 많은 코어를 추가하는 데 따른 한계효익은 감소하며, 업그레이드는 I/O 다이에 더 크게 집중될 것이다. 이 다이는 DDR 메모리 인터페이스, PCIe, CXL, 칩렛 인터커넥트, 가속기 연결 및 네트워크 I/O를 동시에 지원해야 하므로 보조 부품에서 서버 CPU 아키텍처의 핵심 요소로 변화한다. AI 서버에서 CPU는 GPU, NIC, DPU, 스토리지, CXL 메모리 및 기타 가속기와도 지속적으로 데이터를 교환해야 한다. 이에 따라 보고서는 CPU 성능 프레임워크를 “코어 수 × IPC × 주파수”에서 “컴퓨팅 × 메모리 × I/O × 인터커넥트 ÷ 전력”으로 확장할 것을 제안한다. CPU와 GPU의 관계 역시 호스트-가속기 위계에서 플랫폼 수준의 조정으로 이동하고 있다. 대형 AI 모델은 데이터 전처리, 메모리 관리, KV Cache, 네트워킹, 스토리지 접근 및 분산 컴퓨팅을 포함하는 워크로드를 생성하므로 CPU는 다시 AI 인프라의 중요한 구성요소가 된다. 따라서 AMD의 미래 우선순위는 단순히 GPU 수를 늘리는 것이 아니라 CPU, GPU 및 메모리 간 조정을 개선하는 것이다. 아키텍처는 “CPU → PCIe → GPU”에서 “CPU ↔ High-Speed Fabric ↔ GPU ↔ HBM”으로, 궁극적으로 “CPU + GPU + HBM + NIC + Switch + Optical I/O”의 완전한 시스템으로 진화하며, 이는 Helios의 기본 원칙 중 하나이기도 하다. Helios는 AMD를 부품 공급업체에서 랙 규모 컴퓨팅 플랫폼 참여자로 전환시킨다는 점에서 중요하다. 과거 AMD는 주로 EPYC CPU와 Instinct GPU를 공급했고, 서버 OEM 및 ODM이 시스템 통합을 담당했다. 그러나 랙 규모 아키텍처는 AMD가 CPU, GPU, HBM, 인터커넥트, 스위치, NIC, 전력 공급, 액체 냉각, 기계 구조 및 소프트웨어의 공동 설계에 참여할 것을 요구한다. AI 하드웨어의 기본 설계 단위는 “Die → Package → Board → Tray → Rack → Cluster”로 단계적으로 확장되고 있으며, GPU는 더 큰 규모의 “AI 팩토리” 내 컴퓨팅 유닛이 되고 있다. 더 강력한 가속기는 더 많은 전력을 소비하므로 시스템 성능은 점점 메모리 대역폭, 네트워크 대역폭, 전력 공급, 냉각 및 인터커넥트 효율에 의해 제약받는다. 따라서 AMD의 경쟁력은 GPU FLOPS만이 아니라 랙 수준에서 더 많이 측정되어야 한다. Instinct GPU의 스케일링 접근법도 변하고 있다. 반도체 공정 노드 미세화만으로는 더 이상 AI 성능 성장을 지속하기에 충분하지 않으며, 아키텍처는 “Multiple Compute Dies + I/O Dies + HBM + Advanced Packaging”으로 전환되고 있다. AMD는 서로 다른 기능을 다수의 다이에 분리하고 고속 다이 간 인터페이스를 통해 재연결해 더 큰 가속기를 만들 수 있다. 이 접근법은 극도로 큰 모놀리식 다이와 관련된 수율 위험을 줄이고 서로 다른 기능이 각기 다른 공정 노드를 사용하도록 하지만, 패키징 복잡성이 크게 증가하는 대가를 수반한다. 첨단 패키징은 후공정 제조 단계에서 GPU 아키텍처 자체의 일부로 진화하고 있다. 최종 출하 가능한 수율은 “KGD Yield × Bonding Yield × Interconnect Yield × HBM Yield × Packaging Yield × Final Test Yield”를 동시에 고려해야 하며, 어느 단계의 문제든 최종 납품 가능한 가속기 수를 감소시킨다. 이 시스템에서 SoIC와 CoWoS는 서로 다른 스케일링 차원을 해결한다. SoIC는 주로 3D 적층 및 하이브리드 본딩을 통해 Z축 수직 통합을 가능하게 하며, 다이 간 거리를 단축하고 인터커넥트 및 대역폭 밀도를 높이며 통신 전력 소모를 낮춘다. CoWoS는 주로 인터포저, RDL 및 첨단 기판을 통해 X-Y 평면 스케일링을 가능하게 하며, GPU 컴퓨팅 다이, I/O 다이 및 다수의 HBM 스택을 하나의 대형 패키지에 통합한다. 이들은 함께 가속기가 단일 레티클, 단일 다이 및 기존 패키징의 물리적 한계를 단계적으로 극복하도록 한다. 첨단 패키징의 경쟁 초점 역시 명목 생산능력에서 “Good Package Output”으로 이동하고 있다. 대형 AI 가속기는 여러 로직 다이, 여러 HBM 스택, 인터포저 또는 RDL 구조, 첨단 기판 및 다수의 마이크로 범프 또는 하이브리드 본딩 인터페이스를 동시에 포함한다. 핵심 다이 또는 인터페이스의 결함은 패키지 수율을 크게 낮추고 상당한 경제적 손실을 야기할 수 있다. 이에 따라 보고서는 단순한 CoWoS 생산능력 비교가 아니라 웨이퍼 제조, 첨단 패키징, 3D 통합 및 테스트의 조정 역량에 경쟁력이 있다고 본다. 이러한 공정을 조정할 수 있는 공급업체는 AI 가속기 가치사슬에서 점점 더 중요해질 것이다. 차세대 Instinct 제품의 실제 성능 또한 단일 GPU가 이전 세대보다 몇 배 빨라졌는지만으로 설명될 수 없다. AI 학습과 추론은 완전한 시스템에 의존하며, 보고서는 컴퓨팅 성능, HBM 대역폭, Scale-Up 대역폭, 클러스터 활용도, Scale-Out 네트워킹 및 소프트웨어 효율의 결합 효과에 주목한다. 단일 GPU의 컴퓨팅 성능이 크게 향상되더라도 GPU 간 통신 대역폭이 부족하면 클러스터 성능은 여전히 제약받는다. 따라서 Instinct의 미래 경쟁 범위는 GPU 실리콘에서 Helios 플랫폼으로 확장되고, 제품 형태는 단일 GPU에서 GPU 클러스터로, 궁극적으로 AI 팩토리로 진화할 것이다. GPU 클러스터가 확장됨에 따라 네트워킹은 다음 주요 병목이 된다. 더 높은 속도의 SerDes는 PCB 트레이스, 커넥터, 패키지 라우팅 및 Retimer가 직면하는 삽입 손실, 전력 소모 및 신호 무결성 압력을 악화시킨다. 기존 링크인 “Switch ASIC → Package → PCB → Connector → Optical Module”은 비교적 긴 고속 전기 채널을 포함한다. CPO는 광 엔진을 스위치 ASIC 가까이에 배치해 “Switch ASIC → Optical Engine → Fiber”에 가까운 구조를 만든다. 이는 전기 경로를 단축하는 동시에 삽입 손실, SerDes 전력 소모, Retimer 요구사항 및 PCB 신호 무결성 압력을 줄인다. 보고서는 CPO가 단순히 광 모듈을 패키지 안으로 옮기는 것이 아니라 AI 클러스터의 I/O 아키텍처를 재설계하는 것이라고 강조한다. 종합하면 EPYC, Instinct, SoIC, CoWoS, Helios 및 CPO는 모두 데이터 이동이라는 동일한 문제를 다룬다. CPU 칩렛은 컴퓨팅 다이 간 데이터 전송을 처리하고, HBM은 컴퓨팅과 메모리를 연결하며, SoIC는 수직 다이 인터커넥트를 처리하고, CoWoS는 GPU와 HBM 간 패키지 수준 전송을 처리한다. 고속 Fabric은 CPU-GPU 및 GPU-GPU 통신을 지원하고, Helios는 랙 규모 컴퓨팅을 조정하며, CPO는 랙 간 및 클러스터 규모 전송을 다룬다. AI 컴퓨팅 병목은 컴퓨팅 성능 부족에서 컴퓨팅 자원을 완전히 활용할 만큼 효율적으로 데이터를 이동시키지 못하는 문제로 점차 이동하고 있다. 이에 따라 AMD의 스케일링 로드맵은 “Transistor Scaling → Chiplet Scaling → Package Scaling → Rack Scaling → Cluster Scaling”으로 요약된다. EPYC는 CPU 스케일링을, Instinct는 가속기 스케일링을, SoIC와 CoWoS는 패키지 스케일링을, Helios는 랙 스케일링을 담당하며, 네트워킹과 CPO는 아키텍처를 클러스터 수준으로 확장한다. AMD와 NVIDIA, Intel 및 클라우드 서비스 제공업체의 자체 개발 ASIC 간 경쟁은 더 이상 CPU 대 CPU 또는 GPU 대 GPU로 축소되어서는 안 된다. 대신 전력 소모, 지연시간 및 데이터 이동 비용을 낮추면서 랙 또는 전체 데이터센터 내에 누가 더 많은 유효 AI 컴퓨팅 성능을 배치할 수 있는지에 초점을 맞춰야 한다. 보고서는 궁극적으로 “EPYC + Instinct + Chiplets + HBM + Advanced Packaging + Networking + Helios + CPO”로 구성된 이기종 컴퓨팅 플랫폼이 AMD의 가장 중요한 장기 기술 자산이며, 그 목표가 “More Compute per Chip”에서 “More Useful Compute per AI Factory”로 이동하고 있다고 결론짓는다.

분석 프레임워크

보고서는 칩에서 클러스터로 분석을 계층적으로 전개한다. 먼저 맞춤형 ASIC이 AMD의 이기종 통합 역량을 어떻게 확장할 수 있는지 논의하고, 이어 EPYC 칩렛 아키텍처, 메모리 및 I/O 병목, CPU-GPU 조정을 검토한다. 이후 Helios 랙 설계, Instinct의 멀티다이 아키텍처, SoIC/CoWoS 및 복합 패키지 수율로 범위를 넓힌다. 마지막으로 시스템 수준 성능, 네트워크 병목 및 CPO를 분석하며, 각 수준의 기술 로드맵을 “데이터 이동 비용” 개념으로 통합한다. 경쟁력 평가 시 보고서는 일관되게 점 단위 지표를 시스템 지표로 대체한다. 예를 들어 코어 수에서 컴퓨팅, 메모리, I/O, 인터커넥트 및 전력 소모로, 패키징 생산능력에서 양품 패키지 생산량으로, 단일 GPU 성능에서 AI 팩토리 수준의 클러스터 활용도 및 유효 컴퓨팅 성능으로 전환한다.

방법론 메모

• 경쟁 및 전략 프레임워크해자/경쟁우위

  이기종 컴퓨팅 통합 역량

  보고서는 AMD의 강점을 개별 CPU, GPU 또는 ASIC 설계 능력에 국한하지 않는다. 대신 컴퓨팅 다이, I/O, HBM, 인터커넥트, 패키징, 랙 및 네트워킹을 통합하는 회사의 장기적 플랫폼 역량에서 그 강점이 나온다고 본다.

• 산업 분석 프레임워크기타

  칩에서 패키지, 랙 및 클러스터까지의 계층적 병목 분석

  보고서는 AI 시스템의 연속된 계층에서 메모리, I/O, 패키징 수율, 인터커넥트, 전력 공급, 냉각 및 네트워크 제약을 식별하여 성능 경쟁이 개별 칩에서 전체 AI 팩토리로 확대되는 이유를 설명한다.

• 산업 분석 프레임워크기타

  복합 패키지 수율 분해

  보고서는 출하 가능한 가속기의 최종 수율을 KGD, 본딩, 인터커넥트, HBM, 패키징 및 최종 테스트 수율의 결합 결과로 보며, 명목 패키징 생산능력이 실제 양품 생산량과 동일시될 수 없는 이유를 보여준다.

• 산업 분석 프레임워크대체 효과 분석

  범용 GPU와 맞춤형 ASIC의 공존

  보고서는 클라우드 서비스 제공업체가 채택하는 범용 GPU와 자체 개발 ASIC이 반드시 서로를 대체하지 않으며, 서로 다른 워크로드를 위해 대형 데이터센터 내에서 공존할 수 있다고 본다.

자산 매핑 및 비교

투자 논리에서 명시된 자산으로의 구조화 매핑(강점, 약점, 비교 대상, 위험).

• Advanced Micro Devices, Inc.（AMD）

  보고서는 AMD를 CPU 및 GPU 공급업체에서 랙 규모 및 클러스터 규모의 이기종 AI 컴퓨팅 플랫폼 제공업체로 진화하는 기업으로 규정한다.

  강점

  AMD는 EPYC, Instinct, CPU/GPU 컴퓨팅 다이, I/O 다이, HBM, Infinity Fabric 및 칩렛 패키징을 아우르는 모듈형 기반을 구축했으며, 다양한 컴퓨팅 및 인터커넥트 기술을 하나의 플랫폼으로 통합한 경험을 보유하고 있다.

  약점

  랙과 클러스터로의 확장은 첨단 패키징, 인터커넥트, 전력 공급, 액체 냉각, 기계 구조 및 소프트웨어를 조정하는 복잡성을 크게 높일 것이다. 개별 칩의 성능만으로는 더 이상 전체 경쟁력을 결정하기에 충분하지 않다.

  비교

  NVIDIA, Intel 및 클라우드 서비스 제공업체의 자체 개발 ASIC과 비교할 때, 보고서는 경쟁 기준이 더 이상 CPU 대 CPU 또는 GPU 대 GPU가 아니라 랙당 및 데이터센터 내 유효 AI 컴퓨팅 성능, 에너지 소모, 지연시간 및 데이터 이동 비용이 될 것이라고 주장한다.

  위험

  어느 패키징 단계에서든 발생하는 수율 문제, 부족한 GPU 간 통신 대역폭, 뒤처지는 메모리 및 I/O 스케일링, 불충분한 랙 규모 하드웨어-소프트웨어 조정은 모두 최종 시스템 성능을 제약할 수 있다.

핵심 데이터

• EPYC 복합 경쟁 지표컴퓨팅 밀도 × 메모리 대역폭 × I/O 대역폭 × 패키징 효율 × 전력 효율보고서는 EPYC 경쟁을 더 이상 코어 수만으로 측정해서는 안 된다고 주장한다.
• 서버 CPU 성능 프레임워크의 변화코어 수 × IPC × 주파수 → 컴퓨팅 × 메모리 × I/O × 인터커넥트 ÷ 전력이는 AI 서버 성능이 시스템 I/O 처리량과 에너지 효율에 점점 더 의존함을 반영한다.
• CPU 및 GPU 플랫폼 아키텍처의 진화CPU → PCIe → GPU；CPU ↔ High-Speed Fabric ↔ GPU ↔ HBM；CPU + GPU + HBM + NIC + Switch + Optical I/O아키텍처는 기존 호스트-가속기 연결에서 플랫폼 수준 조정으로 이동하고 있다.
• AI 하드웨어 설계 단위Die → Package → Board → Tray → Rack → ClusterHelios는 AMD의 설계 경계를 랙 수준으로 확장한다.
• 복합 첨단 패키징 수율KGD Yield × Bonding Yield × Interconnect Yield × HBM Yield × Packaging Yield × Final Test Yield어느 단계에서든 실패가 발생하면 최종 출하 가능한 가속기 수가 감소할 수 있다.
• SoIC와 CoWoS 간 역할 분담SoIC = 수직 통합；CoWoS = 수평 통합SoIC는 Z축 수직 스케일링을, CoWoS는 X-Y 평면 스케일링을 담당한다.
• CPO 링크의 변화Switch ASIC → Package → PCB → Connector → Optical Module；Switch ASIC → Optical Engine → Fiber로 전환목표는 고속 전기 경로를 단축하고 손실 및 전력 소모를 줄이는 것이다.
• AMD 스케일링 로드맵Transistor Scaling → Chiplet Scaling → Package Scaling → Rack Scaling → Cluster Scaling경쟁 범위는 트랜지스터와 칩렛에서 패키지, 랙 및 클러스터로 단계적으로 확장되고 있다.
• 장기 이기종 컴퓨팅 플랫폼EPYC + Instinct + Chiplets + HBM + Advanced Packaging + Networking + Helios + CPO보고서는 이 통합 플랫폼이 어떤 개별 CPU나 GPU보다 AMD의 장기 기술 자산을 더 잘 나타낸다고 본다.
• 기술 전략 목표“More Compute per Chip” → “More Useful Compute per AI Factory”평가 초점은 단일 칩 컴퓨팅 성능에서 AI 팩토리 수준의 유효 컴퓨팅 성능으로 이동하고 있다.

영향과 시사점

보고서의 주요 시사점은 AMD와 AI 가속기 가치사슬에 대한 경쟁 평가 프레임워크가 시스템 지향적으로 변화해야 한다는 것이다. CPU는 메모리, I/O, 인터커넥트 및 전력 소모와 함께 평가해야 하며, GPU는 HBM, Scale-Up, Scale-Out, 소프트웨어 및 클러스터 활용도를 바탕으로 평가해야 하고, 첨단 패키징은 명목 생산능력이 아니라 양품 생산량을 기준으로 평가해야 한다. 설계 경계가 확장됨에 따라 AMD는 칩 부품 공급업체에서 컴퓨팅, 네트워킹, 전력 공급, 냉각 및 소프트웨어를 조정할 수 있는 랙 규모 플랫폼 참여자로 진화해야 한다. 웨이퍼 제조, 3D 통합, 첨단 패키징, 테스트 및 광 인터커넥트 간 조정의 중요성도 커질 것이다.

위험

• 멀티다이 GPU는 극도로 큰 모놀리식 다이와 관련된 수율 위험을 낮추지만 패키징 및 통합 복잡성을 크게 높인다.
• KGD, 본딩, 인터커넥트, HBM, 패키징 또는 최종 테스트의 어느 단계에서든 발생하는 문제는 최종 양품 패키지 생산량을 줄이고 경제적 손실을 초래할 수 있다.
• 메모리 대역폭과 I/O 역량이 CPU 코어 밀도와 함께 개선되지 않으면 코어 추가에 따른 한계 성능 향상은 감소할 수 있다.
• 단일 GPU 컴퓨팅 성능이 크게 개선되더라도 GPU 간 통신 대역폭이 부족하면 클러스터 성능과 컴퓨팅 자원 활용도는 계속 제약받을 것이다.
• 더 높은 속도의 SerDes는 삽입 손실, 전력 소모, Retimer 요구사항 및 PCB 신호 무결성 압력을 높일 것이다.
• 랙 규모 시스템은 전력 공급, 액체 냉각, 네트워크 대역폭, 소프트웨어 효율 및 인터커넥트 조정에 의해 점점 더 제약받고 있다.

주시할 점

• 후속 EPYC 업그레이드가 메모리 대역폭, I/O 다이, PCIe/CXL 및 가속기 연결성을 동시에 개선하는지 모니터링할 것.
• AMD가 클라우드 서비스 제공업체의 맞춤형 ASIC 프로젝트에 참여하는지, 그리고 고객의 가속기 IP를 자체 CPU, I/O, 메모리 및 패키징 기술과 통합할 수 있는지 모니터링할 것.
• CPU, GPU, HBM, 스위치, NIC, 전력 공급, 액체 냉각 및 소프트웨어 전반의 Helios 랙 규모 조정 진척도를 모니터링할 것.
• 첨단 패키징 Good Package Output과 KGD, 본딩, 인터커넥트, HBM, 패키징 및 최종 테스트의 복합 수율을 모니터링할 것.
• 단일 GPU 성능에만 집중하지 말고 차세대 Instinct의 HBM 대역폭, Scale-Up 대역폭, Scale-Out 네트워킹, 클러스터 활용도 및 소프트웨어 효율을 모니터링할 것.
• CPO가 고속 전기 경로를 단축하고 삽입 손실, SerDes 전력 소모, Retimer 요구사항 및 신호 무결성 압력을 줄일 수 있는지 모니터링할 것.