人为智能进入天生式AI阶段，大模子正在给企业带来更高职责结果的同时，也对算力提出了更高的央求。为明白决算力带来的挑拨，正在本年的GTC2024上，英伟达重磅公布了全新的

　　与此同时，基于NVIDIA GB200 Grace Blackwell 超等芯片和诸多更始本事与产物，NVIDIA还公布了更健旺的新一代AI超等揣度机——NVIDIA DGX SuperPOD，不妨用于惩罚万亿参数模子，并拥有连续的平常运转年光，以竣工超大领域天生式AI熬炼和推理职责负载江南电竞。

　　那么，被英伟达黄仁勋称之为更大GPU的NVIDIA GB200 Grace Blackwell 超等芯片，以及基于此打造的超等揣度机，都有哪些亮眼的本事？让咱们一块来看一下。

　　一目懂得江南电竞，大模子之于是“大”，是由于它有着雄伟的参数。以谷歌LaMDA模子为例，其参数高达1370亿。此表，GPT-3模子参数高达1750亿，GPT-4更是被曝蕴涵了1.8万亿参数，而领域越大，对算力的需求便越多，如熬炼GPT3.5须要用到约3万颗英伟达A100芯片。

　　GTC 2024上，黄仁勋以OpenAI最前辈的1.8万亿参数大模子为例，先容了其须要的算力情景。据先容，该模子须要几万亿的Token举行熬炼，万亿参数与数万亿的Token相乘，便是熬炼OpenAI最前辈大模子所需的揣度领域。黄仁勋现场估算其揣度领域为3×1025，假若运用一颗petaflop（每秒钟举行1000万亿次运算）量级的GPU举行运算硬件产品，须要1000年的年光才力实行。

　　为明白决算力题目江南电竞，NVIDIA正式推出了GB200 Grace Blackwell大芯片。之于是称之为“大”硬件产品，不只发扬正在其具有而今GPU中最大的晶体管数目，供给了目前最高的揣度机能，况且其具有目前最大的GPU物理面积江南电竞。

　　跟往年一律，正在GTC2024上黄仁勋同样对GB200 Grace Blackwell芯片举行了展现。他从口袋里掏出一块Blackwell芯片江南电竞，将它与Hopper芯片并排举起。可能看到，后者清楚要幼少少。黄仁勋暗示，咱们须要更大的GPU，Blackwell平台便是为了应对这一挑拨而修建的。

　　除了具有健旺的揣度机能以表，NVIDIA GB200 Grace Blackwell超等芯片还采用了以下五大主旨本事：

　　1）第二代Transformer引擎：得益于全新微张量缩放扶帮，以及集成于NVIDIA TensorRT™-LLM和NeMo Megatron框架中的NVIDIA前辈动态领域料理算法，Blackwell将正在新型4位浮点AI推理才华下竣工算力和模子巨细翻倍。

　　2）第五代NVLink：为了提拔万亿级参数模子和混淆专家AI模子的机能，最新一代NVIDIA NVLink®为每块GPU供给冲破性的1.8TB/s双向模糊量，确保多达576块GPU之间的无缝高速通讯，餍足了当今最繁杂LLM的需求。

　　3）RAS引擎：采用Blackwell架构的GPU蕴涵一个用于保证牢靠性、可用性和可爱护性的专用引擎。另表，Blackwell架构还增多了多项芯片级功用，不妨运用AI防备护来运转诊断并预测牢靠性闭连的题目。这将最大水准地延伸体例平常运转年光，提升大领域AI安放的弹性，使其不妨连结不间断运转数周以至数月，同时低落运营本钱。

　　4）太平AI：前辈的秘密揣度功用可能正在不影响机能的情景下爱戴AI模子和客户数据，而且扶帮全新当地接口加密订定，这看待医疗、金融任事等高度珍视隐私题方针行业至闭紧张。

　　5）解压缩引擎：专用的解压缩引擎扶帮最新式子，通过加快数据库盘问供给极其健旺的数据阐述和数据科学机能。

　　数据显示，Blackwell不妨正在具有高达10万亿参数的模子上竣工AI熬炼和及时LLM推理。

　　除了高机能的揣度芯片以表，跟着数据量的爆炸式增进江南电竞，收集联贯正在天生式AI期间也变得至闭紧张。

　　正在GTC 2024上，NVIDIA公布了Quantum-X800 InfiniBand收集和NVIDIA Spectrum™-X800 以太收集，以及配套的开荒软件。据明白，这是环球首批高达 800Gb/s 端到端模糊量的收集平台，进一步加快了各样数据中央中的AI、云、数据惩罚和高机能揣度（HPC）利用。

　　Spectrum-X800平台蕴涵Spectrum SN5600相易机和NVIDIA BlueField-3 SuperNIC，专为多租户处境打造，不妨为多租户天生式AI云和大型企业级用户供给各样至闭紧张的前辈功用，进而缩短AI办理计划的开荒、安放和上市年光。

　　正在软件方面硬件产品，NVIDIA供给面向万亿参数级AI模子机能优化的收集加快通讯库、软件开荒套件和料理软件等全套软件计划。此中的NVIDIA集结通讯库（NCCL）可将GPU的并行揣度职责扩展到Quantum-X800收集，运用其基于SHARPv4的健旺收集揣度才华和对FP8的扶帮，为大模子熬炼和天生式AI供给超强的机能。

　　数据显示，正在FP4精度下可供给11.5 exaflops的AI超等揣度机能和240 TB的敏捷显存，且可通过增多机架来扩展机能。与NVIDIA H100 Tensor Core GPU比拟，GB200超等芯片正在大说话模子推理职责负载方面的机能提拔了高达30倍。

　　研商到功耗和散热题目，全新的DGX SuperPOD采用新型高效液冷机架级扩展架构，不妨更好地提升散热结果，确保运转太平性的同时，低落集体具有本钱。

　　叙到超等揣度机，黄仁勋暗示，NVIDIA DGX AI超等揣度机是促进AI工业改良的工场。新一 DGX SuperPOD集NVIDIA加快揣度、收集和软件方面的最新进步于一体，不妨帮帮分歧的行业和企业完满并天生本人的AI。

　　写正在终末：无论是史上最大的GPU芯片，依然不妨惩罚万亿参数的最强揣度机，以及具有800Gb/s端到端模糊量的收集平台，每一款产物都有着极度亮眼的参数。可能说，本届GTC上公布的每一款硬件产物，都吸引了多人的眼球。当然，这些产物正在天生式AI利用场景下的发扬怎样，让咱们拭目以待吧！英伟达宣告史上最大的GPU芯片清点江南电竞GTC2024上的重磅硬件产物