AMD Instinct™ MI300 产品分析

1。与 GH200 相比，AMD MI300A 的优势在于更大的内存，但计算能力尚未经过测试。将来它可能会被用作 GH200 的替代品。

2。AMD MI300X 的优势还在于更大的内存，但它可以减少 GPU 的数量以及训练期间数据迁移造成的功率损失。

3。目前，尽管AMD试图在软件方面取得突破，但公众认为其对NVIDIA现有软件服务的影响并不明显。

AMD 已正式推出 Instinct MI300 APU，它结合了 24 个 Zen 4 CPU 内核和 CDNA 3 GPU 内核，以及多达 1530 亿个晶体管和 128 GB 的 HBM3 内存。

由于其 CPU 和 GPU 共享单个缓存内存，因此 MI300A 能够显著减少 CPU 和 GPU 之间的数据移动。这很重要，因为数据移动通常比实际计算消耗更多的能量，这会导致延迟增加，性能和能效降低。通过最大限度地减少数据移动，MI300 能够提供令人印象深刻的性能，同时将功耗保持在最低水平。

Instinct MI300A 也使用芯片来实现这样的 CPU+GPU，但是 NVIDIA 的 GH200 是在模块层面集成的，而 Instinct MI300A 是用更小的芯片实现的，这是一个优势。

寒武纪人工智能研究有限责任公司的创始人兼首席分析师卡尔·弗洛因德表示，MI300X 可能成为英伟达 GH200 Grace Hopper 超级芯片的替代品。像OpenAI和微软这样的公司需要这样的替代方案，尽管他怀疑AMD会向这些公司提供他们无法拒绝的提议，但AMD不会从Nvidia手中夺走太多的市场份额。

有了 AMD Instinct MI300X 的大容量内存，客户现在可以在单个 MI300X 加速器上安装大型语言模型，例如 Falcon-40、40B 参数模型。AMD 还推出了 AMD Instinct™ 平台，该平台将八个 MI300X 加速器组合成一个行业标准设计，为 AI 推理和训练提供终极解决方案。MI300X 在第三季度开始向主要客户交付样品。

AMD Instinct MI300X 拥有 192GB HBM3、5.2TB/s 内存带宽和 896GB/s Infinity Fabric 带宽。这是一款 153B 晶体管单元，直接以 NIVIDIA 的 H100 为基准。

拥有大量板载内存的好处是，AMD 需要更少的 Gpu 才能在内存中运行模型，并且可以在内存中运行更大的模型，而不必通过 NVLink 连接到其他 Gpu 或 CPU 链接。市场上存在运行大型人工智能推理模型和更多 GPU 内存的巨大机会，更大、更精确的模型可以完全在内存中运行，而不会产生跨多个 GPU 的功耗和硬件成本。

尽管 AMD 的新芯片引起了市场各方的极大兴趣，但与英伟达的 H100 芯片相比，MI300X 面临一些挑战，主要集中在以下四个方面：

首先，Nvidia的H100今天开始全面发货；到目前为止，Nvidia仍然拥有人工智能行业最大的软件和研究人员生态系统。

其次，虽然 MI300X 芯片提供 192GB 的 RAM，但 Nvidia 此时将很快迎头赶上，甚至可能在相同的时间范围内，因此这并不是一个很大的优势。而且 MI300X 的价格将非常高，与 Nvidia 的 H100 相比，不会有明显的成本优势。

第三个是真正的关键：MI300 没有像 H100（一个用于在 Nvidia Gpu 上加速变形金刚模型的库）这样的变形金刚引擎，它的性能可以是大型语言模型（LLM）的三倍。如果用几千（Nvidia的）Gpu训练一款新模型需要一年的时间，那么使用AMD硬件进行训练可能需要2-3年，或者需要三倍数量的Gpu才能解决问题。

最后，AMD 尚未透露任何基准。但是训练和运行 LLM 时的性能取决于系统设计和 GPU，因此期待在今年晚些时候看到与业内竞争对手的比较。

在最新的性能比较中，AMD 证明，与 Instinct MI250X 相比，Instinct Mi300 的人工智能性能 (tfLops) 提高了 8 倍，每瓦特的人工智能性能 (tfLops/Watt) 提高了 5 倍。AMD 的 Instinct MI300A APU 加速器现已推出，MI300X 将于 2023 年第三季度上市。预计这两款产品也将在2023年第四季度投入生产。

实际上，Nvidia的领导地位不仅来自其芯片，还来自其十多年来为人工智能研究人员提供的软件工具。Moor Insights & Strategy的分析师安舍尔·萨格表示：“尽管AMD在硬件性能方面具有竞争力，但人们仍然认为其软件解决方案无法与Nvidia竞争。