英伟达发布 AI 芯片 HGX H200 GPU

英伟达昨晚正式发布了 AI 芯片 H100 GPU 的后续产品 HGX H200 GPU，可大幅提高大语言模型的能力。

据悉，HGX H200 GPU 基于英伟达的 “Hopper” 架构，相比前代产品内存带宽增加了 1.4 倍，内存容量增加了 1.8 倍。H200 GPU 使用了 HBM3e 内存的芯片，能够以每秒 4.8 TB 的速度提供 141GB 的内存。

英伟达表示，H200 更大、更快的内存可加快生成式人工智能和大语言模型的速度，与 H100 GPU 相比，H200 在处理 Llama2 等大语言模型时可将推理速度提高 2 倍。

H200 还与已经支持 H100 的系统兼容。英伟达表示，客户在添加 H200 时不需要做任何改动。亚马逊、谷歌、微软和甲骨文的云计算部门将在明年率先使用到新的 GPU。

预计 H200 将于 2024 年第二季度上市，届时将与 AMD 的 MI300X GPU 展开竞争。与 H200 相似，AMD 的新芯片相比前代产品拥有更多内存，这对运行大型语言模型的推理计算有帮助。

据美国金融机构 Raymond James 透露，H100 芯片的成本仅为 3320 美元，但英伟达对其客户的批量价格却高达 2.5 万至 4 万美元。这使得 H100 的利润率可能高达 1000%，成为有史以来最赚钱的芯片之一。

在训练大型语言模型时，通常需要数千个 H100 集群协同工作，因此科技巨头、初创公司和政府机构都在争夺英伟达有限的芯片供应。

由于对其产品的需求看似无穷无尽，英伟达今年的销售额大幅增长，股价上涨了 230%，市值突破了 1.2 万亿美元大关。截至周一收盘，该股收涨 0.59%，报 486.2 美元。