英伟达DGX GH200新品公布仅已往半年多，今天，黄仁勋又一次在深夜引爆了全场。
钛媒体App获悉，北京时间11月13日晚上，美国芯片巨头英伟达（NVIDIA）公布天下上最壮大的 AI 芯片——NVIDIA H200 Tensor Core GPU（图形处置器）。
新的英伟达 H200 是当前 H100 的升级产物，基于 NVIDIA Hopper 超级芯片架构，具有最高的性能和先进内存手艺功效，针对于超大规模的大模子训练和推理，可增强天生式 AI 和高性能盘算 (HPC) 事情负载。
H200 是*提供每秒 4.8 TB速率、141GB HBM3e内存的 GPU 产物。与 H100 相比，H200 容量险些翻倍、带宽增添 2.4 倍。在用于 Llama2、GPT-3等大模子推理或天生问题谜底时，H200 性能较 H100 提高 60% 至90%（1.6-1.9倍）。因此，H200可部署在内陆、云、夹杂云和边缘侧等种种类型的数据中央内部。
同时，与CPU（中央处置器）相比，H200在HPC下获得的效果速率到达一个“恐怖”的数据：提高110倍。
对于中国市场，11月14日上午，英伟达公司在邮件中向钛媒体App确认：若是没有获得出口允许证，H200将无法在中国市场销售。
据领会，英伟达NVIDIA H200将于2024年第二季度最先向全球客户和云服务厂商供货，预计将与AMD的MI300X AI芯片睁开竞争。
详细来看，由于NVIDIA Hopper架构、TensorRT-LLM专用软件等软硬件手艺加持，新的H200在超大模子训练和推理性能显示优异。与H100相比，H200在Llama 2（700亿参数）开源大模子的推理速率险些翻倍，而未来的软件更新预计会带来H200的分外性能*优势和改善。
据英伟达数据，在TF32 Tensor Core（张量焦点）中，H200可到达989万亿次浮点运算；INT8张量焦点下提供3,958 TFLOPS（每秒3958万亿次的浮点运算）。
不仅云云，基于H200芯片构建的HGX H200加速服务器平台，拥有 NVLink 和 NVSwitch 的高速互连支持。8个HGX H200则提供跨越32 petaflops（每秒1000万亿次的浮点运算）的FP8深度学习盘算和 1.1TB 聚合高带宽内存，从而为科学研究和 AI 等应用的事情负载提供更高的性能支持，包罗超1750亿参数的大模子训练和推理。
安徽省绿色食品产业母基金备案，规模超80亿
据Anandtech剖析，凭证现在规格来看，H200的加速盘算性能可以明晰为半年前公布GH200 Hopper超级芯片的一半，而区别在于HBM3 替换为HBM3e、内存带宽从80GB提升至141GB、速率提升到4.8TB/秒，这使得英伟达能够提高内容的处置速率和带宽容量。而凭证总带宽和内存总线宽度推算，与H100相比，H200的内存频率增添约莫25%。
钛媒体App从英伟达处确认，若是没有出口允许，新的H200将不会销往中国，缘故原由是H200参数高于美国商务部10月17日宣布的性能红线：多个数字处置单元的集成电路（用于数据中央）总处置性能为2400-4800，“性能密度”大于1.6且小于5.92。
11月初，英伟达已向经销商宣布“中国*版”HGX H20、L20 PCle、L2 PCle产物信息，划分针对的是训练、推理和边缘场景，最快将于11月16日宣布，量产时间为2023年12月至2024年1月。其中，HGX H20在带宽、盘算速率等方面均有所限制，理论综合算力要比英伟达H100降80%左右，固然也会比H200更为“缩水”。
值得一提的是，除了H200之外，基于英伟达现在发售的基于Grace、Hopper以及Grace Hopper架构的 AI 芯片，该公司今天推出一种搭载4个Grace Hopper GH200 AI 芯片的新平台，称为NVIDIA Quad GH200。
Quad GH200提供288个ArmCPU内核和总计2.3TB的高速内存，将四个GH200叠加，以8 chips、4路NVLink拓扑相互毗邻，形成CPU GPU配合加持的壮大算力平台，从而安装在基础设施系统中，提供更易用、性能更强的算力支持。
据美国金融机构Raymond James透露，H100芯片成本仅3320美元，但英伟达对其客户的批量价钱仍然高达2.5万至4万美元。这导致H100利润率或高达1000%，成为了有史以来*钱的一种芯片。
英伟达官网显示，NVIDIA H200将为40多台AI超级盘算机提供支持。包罗CoreWeave、亚马逊AWS、谷歌云、微软Azure、甲骨文云等公司将成为首批部署基于H200实例的云服务商。同时，华硕、戴尔科技、惠普、遐想、Supermicro、纬创资通等系统集成商也会使用H200更新其现有系统。
同时，英伟达还宣布与Jupiter公司相助，将提供基于2.4万（23762）个GH200的新型超级盘算机，功耗低到18.2兆瓦，将安装在德国于利希研究中央设施中，用于质料科学、药物发现、工业工程和量子盘算领域的基础研究。该超算系统将于明年交付安装。
此外，英伟达还在官网示意，明年宣布的英伟达 B100 AI 芯片将有更大的性能升级。“NVIDIA Hopper 架构比之前实现了亘古未有的性能飞跃。”