刚刚，老黄深夜再次轰炸现场——发布全球最强AI芯片H200！

与之前的霸主H100相比，H200的性能直接提升了60%到90%。

不仅如此，这两种芯片还相互兼容。 这意味着使用H100训练/推理模型的企业可以无缝切换到最新的H200。

全球AI公司都面临算力短缺的问题，英伟达的GPU更是一票难求。 NVIDIA此前也表示，每两年发布一次的架构节奏将改为每年发布一次。

就在英伟达宣布这一消息时，人工智能公司正在争先恐后地寻找更多的 H100。

英伟达的高端芯片价值极高，以至于成为了贷款的抵押品。

至于H200系统，Nvidia表示预计将于明年第二季度上市。

同样在明年，NVIDIA还将发布基于Blackwell架构的B100，并计划在2024年将H100的产量增加两倍，目标是生产超过200万台H100。

在发布会上，英伟达整个过程甚至没有提及任何竞争对手，只是不断强调“英伟达的AI超级计算平台可以更快地解决世界上一些最重要的挑战”。 '

随着生成式人工智能的爆发，需求只会更大，这还不包括H200。 赢了麻，老黄真的赢了麻！

141GB大显存，性能翻倍！

H200将为全球领先的AI计算平台增添动力。

它基于Hopper架构，配备NVIDIA H200 Tensor Core GPU和先进的图形内存，因此可以处理海量数据，用于生成式AI和高性能计算工作负载。

Nvidia H200是第一款使用HBM3e的GPU，拥有高达141GB的显存。

与A100相比，H200的容量几乎增加了一倍，带宽增加了2.4倍。 与H100相比，H200的带宽从3.35TB/s提升至4.8TB/s。

Nvidia 大规模高性能计算副总裁 Ian Buck 表示：

为了使用生成人工智能和高性能计算应用程序创建智能，必须使用大容量、快速的 GPU 内存来高速、高效地处理大量数据。 借助H200，业界领先的端到端人工智能超级计算平台将变得更快，一些世界上最重要的挑战都可以得到解决。

Llama 2 推理速度提升近 100%

与上一代架构相比，Hopper架构实现了前所未有的性能飞跃，H100的不断升级和TensorRT-LLM强大的开源库正在不断提高性能标准。

H200的发布，让性能飞跃到了另一个层次，直接使得Llama2 70B模型的推理速度是H100的近一倍！

H200 基于与 H100 相同的 Hopper 架构。 这意味着除了新的内存功能外，H200还具有与H100相同的功能，例如Transformer Engine，可以加速LLM和其他基于Transformer架构的深度学习模型。

HGX H200采用NVIDIA NVLink和NVSwitch高速互连技术。 8路HGX H200可提供超过32 Petaflops的FP8深度学习计算能力和1.1TB的超高内存带宽。

当使用H200代替H100并与NVIDIA Grace CPU配合使用时，形成更强大的GH200 Grace Hopper超级芯片——专为大规模HPC和AI应用而设计的计算模块。

我们来仔细看看H200相比H100的性能提升体现在哪里。

首先，H200的性能提升主要体现在大模型的推理性能上。

如上所述，在处理 Llama 2 等大型语言模型时，H200 的推理速度相比 H100 提高了近一倍。

由于计算核心更新幅度不大，如果以175B大小的GPT-3的训练为例，性能提升在10%左右。

视频内存带宽对于高性能计算 (HPC) 应用程序至关重要，因为它可以实现更快的数据传输并减少复杂任务的处理瓶颈。

对于模拟、科学研究和人工智能等内存密集型 HPC 应用，H200 更高的内存带宽可确保数据的高效访问和操作，与 CPU 相比，获得结果的时间最多可快 110 倍。

与H100相比，H200在处理高性能计算应用方面也有20%以上的提升。

至于对于用户来说非常重要的推理能耗，H200相比H100直接减半。

这样，H200就能大幅降低用户的使用成本，持续让用户“买得更多，省得更多”！

上个月，外媒SemiAnaanalysis透露了Nvidia未来几年的硬件路线图，其中包括备受期待的H200、B100和“X100”GPU。

英伟达官方还公布了官方产品路线图，将采用相同的架构设计三款芯片，并在明后年继续推出B100和X100。

B100，性能无止境

此次，NVIDIA在官宣中发布了新款H200和B100，直接将过去每两年一次的数据中心芯片更新速度提高了一倍。

以推断 1750 亿个参数的 GPT-3 为例。 今年刚刚发布的H100，性能是上一代A100的11倍。 明年推出的H200相比H100有60%以上的提升，后续的B100性能更加出色。 没有尽头。

至此，H100已经成为服役时间最短的“旗舰”GPU。

如果说H100现在是科技行业的“黄金”，那么NVIDIA已经成功产出了“白金”和“钻石”。

H200加持，新一代AI超算中心大量来袭

云服务方面，除了NVIDIA投资的CoreWeave、Lambda和Vultr之外，亚马逊云技术、谷歌云、微软Azure和甲骨文云基础设施将成为首批部署基于H200实例的供应商。

此外，在新款H200的支持下，GH200超级芯片还将向全球超级计算中心提供总计约200 Exaflops的AI算力，推动科学创新。

SC23会议上，多家顶级超级计算中心宣布将使用GH200系统打造自己的超级计算机。

德国Jurich超级计算中心将在超级计算机JUPITER中使用GH200超级芯片。

该超级计算机将是欧洲第一台超大型超级计算机，并且是 EuroHPC 联合项目的一部分。

Jupiter超级计算机基于Eviden的BullSequana XH3000，采用全液冷架构。

它共有 24,000 个 Nvidia GH200 Grace Hopper 超级芯片，通过 Quantum-2 Infiniband 互连。

每个Grace CPU包含288个Neoverse核心，Jupiter的CPU拥有近700万个ARM核心。

可提供93 Exaflops的低精度AI算力和1 Exaflops的高精度（FP64）算力。 该超级计算机预计将于 2024 年安装。

由筑波大学和东京大学联合建立的日本先进高性能计算联合中心将在下一代超级计算机中使用 NVIDIA GH200 Grace Hopper 超级芯片。

全球最大的超级计算中心之一的德克萨斯高级计算中心也将使用 NVIDIA 的 GH200 来构建 Vista 超级计算机。

伊利诺伊大学厄巴纳-香槟分校国家超级计算应用中心将使用 NVIDIA GH200 超级芯片构建他们的超级计算机 DeltaAI，将 AI 计算能力提高两倍。

此外，布里斯托大学将在英国政府的资助下负责建造英国最强大的超级计算机Isambard-AI——它将配备超过5000颗NVIDIA GH200超级芯片，提供21 Exaflops的AI计算能力。

NVIDIA、AMD、Intel：三大巨头争夺AI芯片

GPU竞争也进入白热化阶段。

面对H200，老对手AMD的计划是利用即将推出的杀手级器件——Instinct MI300X来提升显存性能。

MI300X将配备192GB HBM3和5.2TB/s内存带宽，这将使其在容量和带宽方面远远超过H200。

英特尔也在摩拳擦掌，计划增加Gaudi AI芯片的HBM容量，称明年推出的第三代Gaudi AI芯片将从上一代的96GB HBM2e增加到144GB。

目前Intel Max系列的HBM2容量高达128GB，并且Intel计划在未来几代产品中增加Max系列芯片的容量。

H200价格未知

那么，H200的售价是多少呢？ 英伟达尚未宣布这一消息。

要知道，一辆H100的价格在25,000美元到40,000美元之间。 训练一个人工智能模型至少需要数千美元。

此前，这张“我们需要多少GPU”的图片在AI社区广为流传。

GPT-4 在大约 10,000-25,000 个 A100 块上进行训练； Meta 需要大约 21,000 个 A100 块； Stability AI 使用大约 5,000 个 A100 块； Falcon-40B 训练使用 384 个 A100 块。

据马斯克称，GPT-5 可能需要 30,000-50,000 个 H100 区块。 摩根士丹利的报价是25,000个GPU。

Sam Altman 否认训练 GPT-5，但提到“OpenAI 的 GPU 严重短缺，使用我们产品的人越少越好”。

我们可以知道的是，当H200在明年第二季度推出时，势必会引发新的风暴。

海量信息、精准解读，尽在新浪财经APP

搜虎网转载此文目的在于传递更多信息，不代表本网的观点和立场。文章内容仅供参考，不构成投资建议。投资者据此操作，风险自担。