半導体およびAIコンピューティング・インフラ：AMDの競争境界は個別チップからパッケージ、ラック、AIクラスター全体へ拡大している

概要

本レポートはAMDのデータセンターおよびAIアーキテクチャの進化を検討する。中核的な結論は、AMDの戦略がもはやCPUおよびGPUチップにおける競争に限定されないという点である。代わりに、同社は異種統合を用いてデータ移動コストを削減しながら、システム設計の範囲をパッケージ、ノード、ラック、クラスターへと段階的に拡大している。したがって本レポートは、AMDの競争力をコア数やGPU FLOPSではなく、ラックおよびAIファクトリーレベルでの有効演算能力、帯域幅、電力効率、協調効率で評価すべきだと主張する。

主要見解

第一に、本レポートはカスタムASICをAMDにとって重要な将来機会の一つとみなしている。大手クラウドサービスプロバイダーは、汎用GPUと、特定のAIワークロードに最適化された内製ASICの両方を採用している。両アーキテクチャは必ずしも相互に代替するものではなく、長期的に共存する可能性がある。AMDの潜在的優位性は、単にASICを設計することではなく、顧客独自のアクセラレータIPを、同社のCPU、I/O、メモリコントローラー、ダイ間相互接続、パッケージング技術と組み合わせることにある。AMDはすでに、CPUコンピュートダイ、GPUコンピュートダイ、I/Oダイ、HBM、Infinity Fabric、チップレット・パッケージングから成るモジュラーな基盤を有している。従ってカスタムASICは、同社のCPU/GPU異種統合能力をサードパーティ製アクセラレータIPに自然に拡張したものと理解できる。演算ユニットをより近接して配置することで、従来のPCIeおよびPCB接続に伴うSerDes消費電力、信号損失、レイテンシを低減し、帯域密度を高め、ビット当たりの消費電力を下げることができる。 第二に、EPYCの中核的優位性は「より多くのコア」からチップレット・アーキテクチャへ移行している。本レポートはその構造を「コンピュートダイ → チップレット → I/Oダイ → パッケージ → サーバープラットフォーム」と要約する。コンピュートダイが主要な処理能力を提供する一方、I/Oダイはメモリコントローラー、PCIe/CXL、Fabric接続、外部I/Oを統合する。大型モノリシックCPUと比べ、チップレットには三つの主要な利点がある。小型ダイは単一欠陥によってチップ全体が廃棄されるリスクを減らし、ウェハ利用率と製造経済性を向上させる。演算機能とI/O機能は異なるプロセスノードを用いることで、性能、コスト、歩留まりを個別に最適化できる。同一のコンピュートダイは、異なるコア数、TDP、メモリ構成により複数のサーバー市場に対応できる。その結果、EPYC競争の次の段階は、単なるコア数ではなく、「演算密度 × メモリ帯域幅 × I/O帯域幅 × パッケージング効率 × 電力効率」により近いものとなる。 コア密度の増大に伴い、メモリとI/OはEPYCの新たなボトルネックになる。メモリ帯域幅が並行して拡大しなければ、より多くのコアを追加することによる限界便益は低下し、アップグレードはI/Oダイにより重点を置くことになる。このダイはDDRメモリインターフェース、PCIe、CXL、チップレット相互接続、アクセラレータ接続、ネットワークI/Oを同時にサポートする必要があり、補助的な部品からサーバーCPUアーキテクチャの重要部分へ変化する。AIサーバーでは、CPUはGPU、NIC、DPU、ストレージ、CXLメモリ、その他のアクセラレータと継続的にデータを交換する必要もある。従って本レポートは、CPU性能の枠組みを「コア数 × IPC × 周波数」から「演算 × メモリ × I/O × 相互接続 ÷ 電力」へ拡張することを提案する。 CPUとGPUの関係も、ホスト・アクセラレータの階層構造からプラットフォームレベルの協調へ移行している。大規模AIモデルは、データ前処理、メモリ管理、KV Cache、ネットワーキング、ストレージアクセス、分散コンピューティングを含むワークロードを生み出し、CPUを再びAIインフラの重要な構成要素にしている。従ってAMDの将来の優先事項は、単にGPU数を増やすことではなく、CPU、GPU、メモリ間の協調を改善することである。アーキテクチャの進化は「CPU → PCIe → GPU」から「CPU ↔ 高速Fabric ↔ GPU ↔ HBM」へ、最終的には完全な「CPU + GPU + HBM + NIC + スイッチ + 光I/O」システムへと進み、これもHeliosの基礎原則の一つである。 Heliosが重要であるのは、AMDをコンポーネント供給企業からラックスケール・コンピューティング・プラットフォームの参加者へ移行させるためである。歴史的にAMDは主にEPYC CPUとInstinct GPUを供給し、サーバーOEMおよびODMがシステム統合を担ってきた。しかしラックスケール・アーキテクチャでは、AMDがCPU、GPU、HBM、相互接続、スイッチ、NIC、電力供給、液冷、機械構造、ソフトウェアの協調設計に参加することが求められる。AIハードウェアの基本設計単位は「ダイ → パッケージ → ボード → トレイ → ラック → クラスター」へ段階的に拡大しており、GPUはより大規模な「AIファクトリー」内の演算ユニットになりつつある。より強力なアクセラレータはより多くの電力も消費するため、システム性能はメモリ帯域幅、ネットワーク帯域幅、電力供給、冷却、相互接続効率によってますます制約される。従ってAMDの競争力は、GPU FLOPSだけでなくラックレベルでより測定されるべきである。 Instinct GPUのスケーリング手法も変化している。半導体プロセスノードの微細化だけではAI性能の成長を維持するにはもはや不十分であり、アーキテクチャは「複数のコンピュートダイ + I/Oダイ + HBM + 高度パッケージング」へ移行している。AMDは異なる機能を複数のダイに分離し、高速ダイ間インターフェースで再接続することで、より大型のアクセラレータを作ることができる。この手法は極めて大型のモノリシックダイに伴う歩留まりリスクを低減し、異なる機能が異なるプロセスノードを利用できるようにするが、その代償としてパッケージングの複雑性が大幅に高まる。高度パッケージングは後工程の製造ステップから、GPUアーキテクチャ自体の一部へ進化している。最終出荷可能歩留まりでは、「KGD歩留まり × ボンディング歩留まり × 相互接続歩留まり × HBM歩留まり × パッケージング歩留まり × 最終試験歩留まり」を同時に考慮する必要があり、いずれかの段階の問題が最終的に供給可能なアクセラレータ数を減少させる。 このシステムにおいて、SoICとCoWoSはスケーリングの異なる次元に対応する。SoICは主に3D積層とハイブリッドボンディングを通じてZ軸方向の垂直統合を実現し、ダイ間距離を短縮して、相互接続および帯域幅密度を高め、通信消費電力を低減する。CoWoSは主にインターポーザー、RDL、高度基板を通じてX-Y平面スケーリングを実現し、GPUコンピュートダイ、I/Oダイ、複数のHBMスタックを大型パッケージに統合する。両者により、アクセラレータは単一レチクル、単一ダイ、従来パッケージングの物理的限界を段階的に克服できる。 高度パッケージングにおける競争の焦点も、公称能力から「良品パッケージ出力」へ移行している。大型AIアクセラレータには、複数のロジックダイ、複数のHBMスタック、インターポーザーまたはRDL構造、高度基板、多数のマイクロバンプまたはハイブリッドボンディング・インターフェースが同時に含まれる。重要なダイまたはインターフェースの欠陥は、パッケージ歩留まりを大幅に低下させ、多額の経済的損失を引き起こす可能性がある。従って本レポートは、競争力をCoWoS能力の単純比較ではなく、ウェハ製造、高度パッケージング、3D統合、テストの協調能力に見いだしている。これらのプロセスを協調できるサプライヤーは、AIアクセラレータのバリューチェーンでますます重要になる。 次世代Instinct製品の実際の性能も、単一GPUが前世代比で何倍高速かというだけでは説明できない。AIトレーニングと推論は完全なシステムに依存しており、本レポートは演算性能、HBM帯域幅、Scale-Up帯域幅、クラスター利用率、Scale-Outネットワーキング、ソフトウェア効率の複合的効果に注目する。単一GPUの演算性能が大幅に向上しても、GPU間通信帯域幅が不十分であれば、クラスター性能はなお制約される。したがってInstinctの将来の競争範囲はGPUシリコンからHeliosプラットフォームへ拡大し、製品形態は単一GPUからGPUクラスター、最終的にはAIファクトリーへ進化する。 GPUクラスターが拡大するにつれ、ネットワーキングが次の主要なボトルネックになる。より高速なSerDesは、PCB配線、コネクター、パッケージ配線、Retimerが直面する挿入損失、消費電力、信号完全性の圧力を悪化させる。従来の「スイッチASIC → パッケージ → PCB → コネクター → 光モジュール」というリンクには、比較的長い高速電気チャネルが含まれる。CPOは光エンジンをスイッチASICの近くに配置し、「スイッチASIC → 光エンジン → ファイバー」に近い構造を作る。これにより電気経路を短縮すると同時に、挿入損失、SerDes消費電力、Retimerの必要性、PCB信号完全性への圧力を低減する。本レポートは、CPOは単に光モジュールをパッケージ内へ移動させるものではなく、AIクラスターのI/Oアーキテクチャを再設計するものだと強調する。 総合すると、EPYC、Instinct、SoIC、CoWoS、Helios、CPOはいずれも同じ問題、すなわちデータ移動に対処している。CPUチップレットはコンピュートダイ間のデータ転送を処理し、HBMは演算とメモリを接続し、SoICは垂直ダイ相互接続を担い、CoWoSはGPUとHBM間のパッケージレベル転送を担い、高速FabricはCPU-GPUおよびGPU-GPU通信を支援し、Heliosはラックスケール演算を協調させ、CPOはラック間およびクラスター規模の伝送に対処する。AIコンピューティングのボトルネックは、演算能力不足から、演算資源を完全に活用できるほど効率的にデータを移動できないことへ徐々に移行している。 従って、AMDのスケーリング・ロードマップは「トランジスタ・スケーリング → チップレット・スケーリング → パッケージ・スケーリング → ラック・スケーリング → クラスター・スケーリング」と要約される。EPYCはCPUスケーリング、Instinctはアクセラレータ・スケーリング、SoICとCoWoSはパッケージ・スケーリング、Heliosはラック・スケーリングを担い、ネットワーキングとCPOはアーキテクチャをクラスター・レベルへ拡張する。AMDとNVIDIA、Intel、クラウドサービスプロバイダーの内製ASICとの競争は、もはやCPU対CPUまたはGPU対GPUに還元すべきではない。代わりに、消費電力、レイテンシ、データ移動コストを削減しながら、ラックまたはデータセンター全体により多くの有効AI演算能力を導入できる企業がどこかに焦点を当てるべきである。本レポートは最終的に、「EPYC + Instinct + チップレット + HBM + 高度パッケージング + ネットワーキング + Helios + CPO」で構成される異種コンピューティング・プラットフォームがAMDの最も重要な長期的技術資産であり、その目標は「チップ当たりのより多い演算能力」から「AIファクトリー当たりのより多い有効演算能力」へ移行していると結論付ける。

分析フレームワーク

本レポートは、チップからクラスターへ階層的に分析を進める。まずカスタムASICがAMDの異種統合能力をどのように拡張できるかを論じ、次にEPYCのチップレット・アーキテクチャ、メモリおよびI/Oのボトルネック、CPU-GPU協調を検討する。その後、Heliosのラック設計、Instinctのマルチダイ・アーキテクチャ、SoIC/CoWoS、複合パッケージ歩留まりへと範囲を広げる。最後に、システムレベルの性能、ネットワークのボトルネック、CPOを分析し、「データ移動コスト」という概念を通じて各レベルの技術ロードマップを統合する。競争力を評価する際、本レポートは一貫して点的な指標をシステム指標へ置き換える。例えば、コア数から演算、メモリ、I/O、相互接続、消費電力へ、パッケージング能力から良品パッケージ出力へ、単一GPU性能からAIファクトリーレベルのクラスター利用率および有効演算能力へ移行させている。

手法メモ

• 競争・戦略フレームワークモート／競争優位性

  異種コンピューティング統合能力

  本レポートはAMDの優位性を、個別のCPU、GPU、ASICを設計する能力に限定していない。代わりに、コンピュートダイ、I/O、HBM、相互接続、パッケージング、ラック、ネットワーキングを統合する同社の長期的なプラットフォーム能力に帰している。

• 業界分析フレームワークその他

  チップからパッケージ、ラック、クラスターまでの階層的ボトルネック分析

  本レポートは、個別チップからAIファクトリー全体へ性能競争が拡大する理由を説明するため、AIシステムの連続する層にわたり、メモリ、I/O、パッケージング歩留まり、相互接続、電力供給、冷却、ネットワークの制約を特定している。

• 業界分析フレームワークその他

  複合パッケージ歩留まりの分解

  本レポートは、出荷可能アクセラレータの最終歩留まりをKGD、ボンディング、相互接続、HBM、パッケージング、最終試験の歩留まりを組み合わせた結果として扱い、公称パッケージング能力を実際の良品出力と同一視できない理由を示している。

• 業界分析フレームワーク代替効果分析

  汎用GPUとカスタムASICの共存

  本レポートは、クラウドサービスプロバイダーが採用する汎用GPUと内製ASICは必ずしも相互に代替せず、異なるワークロード向けに大規模データセンター内で共存できると考えている。

資産マッピングと比較

投資テーゼから固有資産への構造化マッピング（強み、弱み、同業、リスク）。

• アドバンスト・マイクロ・デバイセズ（AMD）

  本レポートはAMDを、CPUおよびGPUの供給企業から、ラックスケールおよびクラスター規模の異種AIコンピューティング・プラットフォーム提供企業へ進化する主体として位置付けている。

  強み

  AMDはEPYC、Instinct、CPU/GPUコンピュートダイ、I/Oダイ、HBM、Infinity Fabric、チップレット・パッケージングを包含するモジュラーな基盤を確立しており、異なるコンピューティングおよび相互接続技術をプラットフォームへ統合した経験を持つ。

  弱み

  ラックおよびクラスターへの拡大は、高度パッケージング、相互接続、電力供給、液冷、機械構造、ソフトウェアを協調させる複雑性を大幅に高める。個別チップの性能だけでは、もはや全体的な競争力を決定するには不十分である。

  比較

  NVIDIA、Intel、クラウドサービスプロバイダーの内製ASICと比較して、本レポートは競争基準がCPU対CPUまたはGPU対GPUではなく、ラック当たりおよびデータセンター内での有効AI演算能力、消費電力、レイテンシ、データ移動コストになると主張する。

  リスク

  いずれかのパッケージング段階における歩留まり問題、不十分なGPU間通信帯域幅、メモリおよびI/Oスケーリングの遅れ、不十分なラックスケールのハードウェア・ソフトウェア協調はいずれも最終システム性能を制約し得る。

主要データ

• EPYCの複合競争指標演算密度 × メモリ帯域幅 × I/O帯域幅 × パッケージング効率 × 電力効率本レポートは、EPYCの競争をもはやコア数だけで測定すべきではないと主張する。
• サーバーCPU性能フレームワークの変化コア数 × IPC × 周波数 → 演算 × メモリ × I/O × 相互接続 ÷ 電力これは、AIサーバー性能がシステムI/Oスループットと電力効率にますます依存していることを反映する。
• CPUおよびGPUプラットフォーム・アーキテクチャの進化CPU → PCIe → GPU；CPU ↔ 高速Fabric ↔ GPU ↔ HBM；CPU + GPU + HBM + NIC + スイッチ + 光I/Oアーキテクチャは従来のホスト・アクセラレータ接続からプラットフォームレベルの協調へ移行している。
• AIハードウェア設計単位ダイ → パッケージ → ボード → トレイ → ラック → クラスターHeliosはAMDの設計境界をラックレベルへ拡張する。
• 複合高度パッケージング歩留まりKGD歩留まり × ボンディング歩留まり × 相互接続歩留まり × HBM歩留まり × パッケージング歩留まり × 最終試験歩留まりいずれかの段階の不具合が、最終的な出荷可能アクセラレータ数を減少させる可能性がある。
• SoICとCoWoSの役割分担SoIC = 垂直統合；CoWoS = 水平統合SoICはZ軸方向の垂直スケーリングを担い、CoWoSはX-Y平面スケーリングを担う。
• CPOリンクの変化スイッチASIC → パッケージ → PCB → コネクター → 光モジュール；スイッチASIC → 光エンジン → ファイバーへ移行目的は、高速電気経路を短縮し、損失と消費電力を削減することである。
• AMDのスケーリング・ロードマップトランジスタ・スケーリング → チップレット・スケーリング → パッケージ・スケーリング → ラック・スケーリング → クラスター・スケーリング競争範囲はトランジスタとチップレットから、パッケージ、ラック、クラスターへ段階的に拡大している。
• 長期的な異種コンピューティング・プラットフォームEPYC + Instinct + チップレット + HBM + 高度パッケージング + ネットワーキング + Helios + CPO本レポートは、この統合プラットフォームが個別のCPUやGPU以上にAMDの長期的技術資産を表していると考えている。
• 技術戦略の目標「チップ当たりのより多い演算能力」 → 「AIファクトリー当たりのより多い有効演算能力」評価の焦点は、単一チップの演算性能からAIファクトリーレベルの有効演算能力へ移行している。

影響と示唆

本レポートの主な示唆は、AMDおよびAIアクセラレータ・バリューチェーンの競争評価フレームワークがシステム志向になる必要があるということである。CPUはメモリ、I/O、相互接続、消費電力と合わせて評価すべきであり、GPUはHBM、Scale-Up、Scale-Out、ソフトウェア、クラスター利用率に基づいて評価すべきであり、高度パッケージングは公称能力ではなく良品出力に基づいて評価すべきである。設計境界が拡大するにつれ、AMDはチップコンポーネント供給企業から、演算、ネットワーキング、電力供給、冷却、ソフトウェアを協調できるラックスケール・プラットフォームの参加者へ進化しなければならない。ウェハ製造、3D統合、高度パッケージング、テスト、光相互接続の協調の重要性も高まる。

リスク

• マルチダイGPUは極めて大型のモノリシックダイに伴う歩留まりリスクを低減するが、パッケージングと統合の複雑性を大幅に高める。
• KGD、ボンディング、相互接続、HBM、パッケージング、最終試験のいずれかの段階における問題が、最終的な良品パッケージ出力を減少させ、経済的損失を引き起こす可能性がある。
• メモリ帯域幅およびI/O能力がCPUコア密度と歩調を合わせて改善しなければ、コア追加による限界的な性能向上は低下する可能性がある。
• 単一GPUの演算性能が大幅に向上しても、GPU間通信帯域幅が不十分であれば、クラスター性能と演算資源利用率は引き続き制約される。
• より高速なSerDesは、挿入損失、消費電力、Retimerの必要性、PCB信号完全性への圧力を増大させる。
• ラックスケール・システムは、電力供給、液冷、ネットワーク帯域幅、ソフトウェア効率、相互接続協調によってますます制約される。

注目点

• 今後のEPYCアップグレードが、メモリ帯域幅、I/Oダイ、PCIe/CXL、アクセラレータ接続性を同時に改善するかを注視する。
• AMDがクラウドサービスプロバイダーのカスタムASICプロジェクトに参画するか、また顧客のアクセラレータIPを自社のCPU、I/O、メモリ、パッケージング技術と統合できるかを注視する。
• CPU、GPU、HBM、スイッチ、NIC、電力供給、液冷、ソフトウェアにまたがるHeliosのラックスケール協調の進展を注視する。
• 高度パッケージングの良品パッケージ出力、およびKGD、ボンディング、相互接続、HBM、パッケージング、最終試験の複合歩留まりを注視する。
• 単一GPU性能だけに焦点を当てるのではなく、次世代InstinctのHBM帯域幅、Scale-Up帯域幅、Scale-Outネットワーキング、クラスター利用率、ソフトウェア効率を注視する。
• CPOが高速電気経路を短縮し、挿入損失、SerDes消費電力、Retimerの必要性、信号完全性への圧力を低減できるかを注視する。