Semiconductors and AI infrastructure 리서치 보고서 해설

개요

이 Hot Chips 2026 컨퍼런스 보고서는 에이전틱 AI 추론이 반도체 업계의 핵심 설계 요건이 되어 AI 인프라 기회를 훈련 중심 가속기 밖으로 확대한다고 주장한다. JPMorgan은 다년간 구축에 대해 건설적인 견해를 유지하며 컴퓨팅, 맞춤형 ASIC, 메모리 및 네트워킹 수혜자를 제시한다.

핵심 견해

JPMorgan이 Hot Chips 2026에서 도출한 핵심 결론은 에이전틱 AI 추론이 훈련 최적화를 대체해 칩 설계의 주된 초점이 되었다는 점이다. 멀티턴 워크로드, 더 긴 컨텍스트, mixture-of-experts 모델, KV 캐시 관리 및 저지연 멀티칩 실행은 추론을 피크 FLOPS 중심이 아니라 디코드 중심이면서 메모리 대역폭 제약을 받는 형태로 바꾸고 있다. SambaNova는 여러 프론티어 모델에서 컴퓨팅 사이클의 75–97%가 디코드 중심이라고 수치화했으며, 보고서는 이를 메모리 대역폭 활용이 추론 처리량의 제약이 되고 있다는 증거로 본다. Google의 추론 지향 TPU v8i는 MoE 지연시간을 위해 온칩 SRAM을 더 크게 배분했고, Intel의 Crescent Island는 메모리 용량을 강조하기 위해 LPDDR5x를 채택했다. OpenAI도 피크 FLOPS가 아닌 지연시간, 줄당 토큰 및 요청당 에너지를 제시했다. 이에 따라 JPMorgan은 피크 연산과 대규모 scale-up 상호연결 대역폭을 중시하는 훈련 최적화 실리콘과, 용량·SRAM·저지연 패브릭을 중시하는 추론 최적화 실리콘 간 분화가 커질 것으로 예상한다. 맞춤형 실리콘은 두 번째 주요 주제이다. Broadcom과 공동 개발한 OpenAI의 Jalapeno는 추론 워크로드에 최적화된 OpenAI 최초의 내부 칩이며, AI 지원 하드웨어/소프트웨어 공동 설계를 통해 초기 RTL에서 테이프아웃까지 약9개월이 걸렸다고 제시됐다. JPMorgan은 후속 및 인접 실리콘 프로젝트가 빠른 주기로 이어질 것으로 예상한다. 보고서는 Jalapeno를 Google TPU, Meta MTIA, Microsoft MAIA, SambaNova의 SN50 RDU, Intel의 Crescent Island와 함께 내부 실리콘 확대의 증거로 제시한다. 다만 ASIC이 상용 GPU를 대체한다고 보지는 않는다. 맞춤형 설계는 고객이 NRE를 정당화할 수 있는 대규모의 특성이 명확한 워크로드에 적합한 반면, Nvidia와 AMD 플랫폼은 모든 모델을 구동하는 범용 플랫폼으로서 더 넓은 생태계의 수요를 담당한다. JPMorgan 추정에 따르면 상용 GPU는 현재 AI 가속기 TAM의85% 초과를 차지하지만, 향후 수년간 상용 GPU와 맞춤형 XPU/ASIC 간 구성비는 균형에 가까워질 전망이다. 또한 OpenAI가 2030년까지 누적 약12GW의 Nvidia 인프라를 배포할 계획을 공개한 점은 맞춤형과 상용 용량이 공존할 수 있다는 증거로 제시된다. AMD의 Instinct MI400 시리즈와 Helios 랙은 Nvidia의 Vera Rubin에 대한 경쟁적 대응의 신뢰도를 높인 것으로 평가됐다. Helios 레퍼런스 아키텍처는 랙당72개 GPU에서2.9 exaflops의 AI 컴퓨팅과31TB의 HBM4 메모리를 제공하며, Nvidia Vera Rubin의72-GPU/랙 구성과 일치한다. JPMorgan은 MoE 추론 및 긴 컨텍스트 에이전틱 워크로드에서 MI455X의 칩렛 아키텍처와 강화된 HBM4 용량 및 대역폭 프로파일을 강조한다. UALink128은 NVLink의 개방형 표준 scale-up 대안으로 제시되며, Helios 랙은 GPU, CPU, DPU 및800G AI NIC를 통합한다. 추론 워크로드가 가속되고 있다는 견해를 바탕으로, JPMorgan은 AMD가 낮은 기반에서 AI 컴퓨팅 점유율을 확보할 좋은 위치에 있으며 특히 추론에서 그렇다고 보지만, 이 보고서는 기업 등급을 제시하지 않는다. 네트워킹은 AI 인프라에서 더 광범위하고 차별화된 영역이 되고 있다. Nvidia는 BlueField-4를 통해 GPU 워크로드를 스토리지, 에이전트를 구동하는 CPU, 오케스트레이션 및 보안에 연결하는 "Scale-In Network"라는 새 카테고리를 도입했다. 이는 기존 scale-up인 NVLink와 scale-out인 Spectrum-X Ethernet 사이에 위치한다. JPMorgan은 이를 Nvidia의 네트워킹 스택이 scale-up, scale-out, scale-across 및 scale-in으로 확장된 것으로 본다. Broadcom의 Thor Ultra 800G Ethernet NIC는 AI 학습과 추론 워크로드의 신뢰성, 혼잡 제어 및 멀티패싱 과제를 해결하기 위한 Enhanced RoCE 기능을 제공하며, 이더넷이 AI scale-out 및 scale-across 패브릭에서 중요성을 높이고 있다는 보고서의 견해를 뒷받침한다. 보고서는 AI 네트워킹을 빠르게 확대되는 TAM으로 보고, Broadcom과 Nvidia가 수직 통합 솔루션으로 앞서가는 가운데 클러스터 규모와 대역폭 요건 확대로 Marvell, Astera Labs, MTSI에도 파급 효과가 있을 것으로 본다. Broadcom은 Google TPU, OpenAI Jalapeno, Meta MTIA, SambaNova RDU 및 이더넷 네트워킹 전반에 관여함에 따라 JPMorgan 분석에서 횡단적인 수혜자이다. 보고서는 이것이 맞춤형 AI 컴퓨팅 실리콘과 AI 인프라 네트워킹 양쪽에서 Broadcom의 역할을 확대한다고 본다. HBM 공급은 공통적인 핵심 제약이다. 언급된 모든 주요 로드맵이 HBM3E, HBM4 또는 HBM4E에 의존해 JPMorgan의 장기 메모리 수급 긴축 전망을 강화한다. JPMorgan의 관점에서 Intel의 Diamond Rapids Xeon과 Crescent Island 추론 GPU는 아키텍처 진전을 보여주지만, 보고서는 실행 위험이 여전히 높다고 본다. Diamond Rapids의 3D Mesh와 분리형 설계는 하이퍼스케일 데이터 이동, 처리 및 보안을 중심으로 제시된다. Crescent Island는480GB LPDDR5x 메모리,350W TDP 및 온칩 MoE 추측적 디코딩 가속을 갖춘 에이전틱 AI 추론 전용 제품이다. 보고서는 최종 경쟁 영향이 2027년까지의 실행력과 고객 약정에 달려 있다고 본다.

분석 프레임워크

JPMorgan은 컨퍼런스 발표를 종합해 AI 워크로드 특성의 변화를 파악한 뒤, 이를 칩 아키텍처, 메모리 수요, 맞춤형 실리콘의 경제성 및 네트워킹 설계와 연결한다. 공개된 시스템 사양과 업체별 설계 선택을 비교해 잠재적 수혜자와 실행 제약을 평가한다.

방법론 메모

• 산업 분석 프레임워크수급 프레임워크

  HBM 수급 제약

  보고서는 주요 AI 로드맵의 HBM3E, HBM4, HBM4E 의존도를 메모리 공급이 AI 실리콘 배포의 제한 요인으로 남아 있다는 증거로 다룬다.

• 산업 분석 프레임워크산업 가치사슬 상·중·하류 전이

  AI 워크로드 변화의 컴퓨팅·메모리·네트워킹 부품 전이

  보고서는 에이전틱 추론 워크로드의 요구사항을 가속기 아키텍처, HBM 수요, 상호연결 패브릭, NIC, 광학 부품 및 관련 반도체 공급업체와 연결한다.

자산 매핑 및 비교

투자 논리에서 명시된 자산으로의 구조화 매핑(강점, 약점, 비교 대상, 위험).

• Broadcom (AVGO)

  맞춤형 AI ASIC 개발과 이더넷 기반 AI 네트워킹의 수혜자이다.

  강점

  Google TPU, OpenAI Jalapeno, Meta MTIA, SambaNova RDU 및 Thor Ultra Ethernet NIC 전반에 관여한 것으로 언급된다.

  비교

  Nvidia와 함께 선도적인 수직 통합 AI 네트워킹 기존 사업자로 자리매김한다.

  위험

  HBM 제약이 AI 실리콘 배포 속도를 제한할 수 있다.

• NVIDIA (NVDA)

  상용 GPU 및 풀스택 네트워킹 수혜자이다.

  강점

  NVLink, Spectrum-X 및 BlueField-4가 scale-up, scale-out, scale-across 및 scale-in 네트워킹을 포괄한다.

  약점

  맞춤형 실리콘은 시간이 지나면서 AI 가속기 TAM에서 점유율을 높일 것으로 예상된다.

  비교

  AMD의 Helios는 Nvidia가 언급한 72-GPU 랙 구성과 일치하는 풀 시스템 대안으로 제시된다.

  위험

  맞춤형 ASIC 확대와 HBM 공급 제약이 위험이다.

• AMD (AMD)

  특히 추론에서 AI 컴퓨팅 점유율을 확보할 잠재적 기업이다.

  강점

  MI400/Helios는 HBM4, UALink128 및 통합 GPU, CPU, DPU, AI NIC 역량을 결합한다.

  약점

  보고서는 점유율 확보가 낮은 기반에서 시작된다고 설명한다.

  비교

  Nvidia의 Vera Rubin 및 NVLink 생태계에 대한 경쟁적 대응으로 제시된다.

  위험

  경쟁 결과는 실행력과 생태계 채택에 달려 있다.

• Marvell Technology (MRVL)

  확대되는 AI scale-out 네트워킹과 맞춤형 ASIC 수요의 수혜자이다.

  강점

  맞춤형 scale-out 실리콘, DCI/DSP, 코히어런트 광학 및 Microsoft MAIA ASIC 파트너십이 언급된다.

  비교

  Broadcom과 마찬가지로 이더넷 채택의 수혜를 받는다.

• Astera Labs (ALAB)

  높아지는 클러스터 연결성 요구의 수혜자이다.

  강점

  연결 패브릭과 PCIe/CXL 리타이머가 언급된다.

  비교

  상용 NIC/DPU 기존 사업자가 아니라 더 넓은 네트워킹 생태계의 일부이다.

• MTSI

  AI 클러스터 대역폭 수요 증가의 수혜자이다.

  강점

  고속 레이저와 광학 부품이 언급된다.

  비교

  더 큰 클러스터를 지원하는 광범위한 네트워킹 생태계에 참여한다.

• Micron Technology (MU)

  지속적인 HBM 수요의 수혜자이다.

  강점

  HBM은 주요 AI 실리콘 로드맵 전반에서 핵심 공급 요건으로 남아 있다.

• SanDisk (SNDK)

  JPMorgan이 AI 인프라 구축의 수혜자로 지목했다.

핵심 데이터

• 디코드 중심 컴퓨팅 사이클75–97%SambaNova가 언급한 프론티어 모델 전반의 비중이다.
• OpenAI Jalapeno 개발 주기~9 months발표에 따른 초기 RTL부터 테이프아웃까지의 기간이다.
• AI 가속기 TAM 내 상용 GPU 점유율>85%JPMorgan이 언급한 현재 점유율이며, 보고서는 향후 수년간 맞춤형 XPU/ASIC와의 구성비가 균형에 가까워질 것으로 예상한다.
• AMD Helios AI 컴퓨팅2.9 exaflops랙당72개 GPU 기준이다.
• AMD Helios HBM4 메모리31TBHelios 레퍼런스 아키텍처에 제시된 랙 수준 메모리 용량이다.
• Intel Crescent Island 메모리 및 전력480GB LPDDR5x; 350W TDP에이전틱 추론 지향 GPU에서 강조된 사양이다.

영향과 시사점

JPMorgan은 에이전틱 추론으로의 전환이 반도체 수요를 훈련 중심 가속기에서 맞춤형 ASIC, 메모리, 네트워크 인터페이스, 연결성 및 광학 부품으로 확대한다고 본다. AVGO, NVDA, AMD, MRVL, MTSI, ALAB, MU, SNDK를 지속되는 AI 인프라 구축의 주요 수혜자로 지목한다.

위험

• HBM 공급 긴축이 AI 실리콘의 가용성과 배포를 제한할 수 있다.
• Intel의 경쟁 영향은 2027년까지의 로드맵 실행과 고객 약정에 달려 있다.

주시할 점

• 상용 GPU 수요 대비 맞춤형 XPU 및 ASIC 배포의 진행 속도.
• 주요 AI 실리콘 로드맵 전반의 HBM3E, HBM4, HBM4E 가용성.
• AMD MI400 및 Helios의 실행, UALink 채택, 추론 시장 점유율 확대.
• AI scale-out 및 scale-across 네트워크에서 Ethernet과 Enhanced RoCE의 추가 채택.