对比备受热捧的H100芯片，新的H200芯片经过升级，内存带宽提高了1.4倍，内存容量提高了1.8倍，从而提高了处理密集生成式人工智能负载的能力。据介绍，在处理Meta的大语言模型Llama2（700亿参数）时，H200芯片的推理速度比H100芯片提高了2倍

H200芯片的首批产品计划于2024年第二季度推出

第一批H200芯片将于2024年第二季度上市。

北京时间11月14日凌晨，英伟达在今年的SC23大会上突然宣布，推出新的顶级AI芯片HGX H200。第一批H200芯片将于2024年第二季度上市。

英伟达又一次自己超越自己，H200取代H100成为新的世界最强AI芯片。

对比备受热捧的H100芯片，这款新的GPU（图形处理单元）完成了1.4倍内存带宽和1.8倍内存容量的升级，提高了处理密集生成式人工智能负载的能力。据介绍，在处理Meta的大语言模型Llama2（700亿参数）时，H200的推理速度比H100提高了2倍。

从外观上看，H200似乎与H100基本相同。内存方面，H200芯片是第一款采用HBM3e（新型超高速高带宽内存）的GPU。HBM3e可加速生成式AI和大语言模型工作负载，将GPU的内存带宽提高到每秒4.8TB，而H100为每秒3.35TB，同时将其总内存容量提高到141GB，而其前身为80GB。与再前一代的A100相比，其容量翻倍，带宽增加2.4倍。

对于高性能计算（HPC），显存带宽也至关重要，其可以实现更快的数据传输，减少复杂任务的处理瓶颈。对于模拟、科学研究和人工智能等显存密集型HPC应用，H200更高的显存带宽可确保高效地访问和操作数据。据介绍，相较于H100，H200在处理高性能计算的应用程序上有20%以上的提升。

在演示视频中，英伟达大规模与高性能计算副总裁伊恩·巴克表示：“整合HBM内存有助于提升计算密集任务的性能，包括生成式人工智能模型和高性能计算应用，同时优化GPU的利用率和效率。”他还说：“通过H200，业界领先的端到端人工智能超算平台的速度将会更快，能够解决一些世界上最重要的挑战。”

H200还与支持H100的系统兼容。英伟达表示，云服务提供商在添加H200时无需进行任何更改。亚马逊、谷歌、微软和甲骨文等公司的云服务部门将是明年首批接收新GPU的公司。

除了各种芯片性能升级外，一个重要的关注点在于公司是否能够得到这些新芯片，或者它们是否会像H100一样受到供应限制。对于这个问题，英伟达并没有确切的答案。该公司表示正在与“全球系统制造商和云服务提供商”合作，以使其可用。英伟达发言人克里斯汀·内山（Kristin Uchiyama）拒绝就生产数量发表评论。

此外，价格也是核心焦点。英伟达目前没有列出新芯片的价格，内山表示定价由英伟达的合作伙伴确定。据美国媒体CNBC报道，上一代H100估计每个售价在25000到40000美元之间，要想在最高水平上运行，可能需要数千个H100芯片。

目前全球的人工智能公司还面临着“算力荒”，急切寻找H100芯片成为常态（H100被视为高效训练和运行生成式人工智能和大语言模型的最佳选择）。这些芯片已经成为了“硬通货”，甚至有公司将H100芯片用作贷款的抵押品，在硅谷谁拥有多少H100芯片也是热门的八卦话题。

根据内山在接受科技媒体The Verge的采访中的表述，H200的推出不会对H100的生产造成影响。他表示：“你将会看到我们在整个年度增加总体供应。”根据《金融时报》8月的报道，英伟达计划在2024年将H100的生产量增加到三倍，目标是明年生产200万个（2023年生产约50万个）