花最少的錢辦最大的事！英偉達超級芯片要“以量博市”

作為生成式AI、圖形顯示和元宇宙基礎設施領域的“狠角色”，全球圖顯兼AI計算霸主NVIDIA（英偉達）接下來會放出哪些重磅“核彈”，已經預定了科技圈的焦點。

北京時間昨夜，在計算機圖形年會SIGGRAPH上，NVIDIA創始人兼CEO黃仁勛一如既往穿著經典的皮衣登場，并一連亮出多款硬件。

在黃仁勛眼中，生成式AI是AI的“iPhone時刻”。他談道，人類語言是新的編程語言，我們已經使計算機科學民主化，現在每個人都可以成為程序員。

在隨后大約1小時20分鐘的演講中，黃仁勛宣布全球首發HBM3e內存——推出下一代GH200 Grace Hopper超級芯片。黃仁勛將它稱作“加速計算和生成式AI時代的處理器”。

還有5款硬件新品同期重磅發布，分別是搭載全新L40S Ada GPU的新款OVX服務器、搭載RTX 6000 Ada GPU的全新RTX工作站，以及3款高端桌面工作站GPU。


配備全球最快內存的超級芯片來了！

黃仁勛宣布推出面向加速計算和生成式AI的新一代NVIDIA GH200 Grace Hopper超級芯片。

GH200由72核Grace CPU和4PFLOPS Hopper GPU組成，在全球最快內存HBM3e的“助攻”下，內存容量高達141GB，提供每秒5TB的帶寬。其每個GPU的容量達到NVIDIA H100 GPU的1.7倍，帶寬達到H100的1.55倍。

該超級芯片可以用于任何大型語言模型，降低推理成本。

與當前一代產品相比，新的雙GH200系統共有144個Grace CPU核心、8PFLOPS計算性能的GPU、282GB HBM3e內存，內存容量達3.5倍，帶寬達3倍。如果將連接到CPU的LPDDR內存包括在內，那么總共集成了1.2TB超快內存。

GH200將在新的服務器設計中提供，黃仁勛還放出了一段動畫視頻，展示組裝面向生成式AI時代的Grace Hopper AI超級計算機的完整過程。

首先是一塊Grace Hopper，用高速互連的CPU-GPU Link將CPU和GPU“粘”在一起，通信速率比PCIe Gen5快7倍。

一個Grace Hopper機架裝上NVIDIA BlueField-3和ConnectX-7網卡、8通道4.6TB高速內存，用NVLink Switch實現GPU之間的高速通信，再加上NVLink Cable Cartridge，組成了NVIDA DGX GH200構建塊。

NVIDA DGX GH200由16個Grace Hopper機架，通過NVLink Switch系統連成集群，能讓256塊GPU組成的系統像一塊巨型GPU一樣工作。由256塊GH200組成的NVIDIA DGX GH200 SuperPod，擁有高達1EFLOPS的算力和144TB高速內存。

NVIDIA Quantum-2 InfiniBand Switch可用高速、低延時的網絡連接多個DGX SuperPod，進而搭建出面向生成式AI時代的Grace Hopper AI超級計算機。

這帶來的主要優勢是，實現同等算力的情況下，用更少卡、省更多電、花更少錢。

黃仁勛拋出一個問題：花1億美元能買什么？

過去，1億美元能買8800塊x86 CPU組成的數據中心，功耗是5MW。

如今，1億美元能買2500塊GH200組成的Iso-Budget數據中心，功耗是3MW，AI推理性能達到上述CPU系統的12倍，能效達20倍。

如果達到跟x86 CPU數據中心相同的AI推理性能，Iso-Troughput數據中心只需用到210塊GH200，功耗是0.26MW，成本只有CPU數據中心的1/12，僅800萬美元。

“買得越多，省得越多。”黃仁勛再度用這句講過很多遍的“導購金句”總結。

為方便GH200應用，GH200與今年早些時候在COMPUTEX上推出的NVIDIA MGX服務器規范完全兼容。因此系統制造商可以快速且經濟高效地將GH200添加到其服務器版本中。

新GH200預計將于明年第二季度投產。


數據中心迎來新變革

大模型浪潮來襲，催生各種AI原生應用，帶動算力需求激增，專為應對數據密集型人工智能應用的數據中心市場正迅速崛起。

分析師們指出，隨著老牌云計算供應商競相為數據中心改裝先進芯片和進行其他升級，以滿足人工智能軟件的需求，一些新興的建設者看到了從零開發新設施的機會。

數據中心類似于一個大型倉庫，配備了多架服務器、網絡和存儲設備，用于存儲和處理數據。與傳統數據中心相比，AI數據中心擁有更多使用高性能芯片的服務器，因此AI數據中心服務器每個機架的平均耗電量可達50千瓦或更多，而傳統數據中心每個機架的耗電量大約為7千瓦。

這意味著AI數據中心需要增建能夠提供更高功率的基礎設施，由于額外的用電量會產生更多的熱量，AI數據中心還需要其他冷卻方法，如液體冷卻系統，以防止設備過熱。

服務和咨詢公司Unisys高級副總裁Manju Naglapur指出：專門建造的人工智能數據中心可容納利用人工智能芯片（如英偉達的GPU）的服務器，在人工智能應用篩選龐大的數據存儲時，可同時運行多個計算。這些數據中心還配備了光纖網絡和更高效的存儲設備，以支持大規模的人工智能模型。

AI數據中心是高度專業化的建筑，需要投入大量的資金和時間。研究公司Data Bridge Market Research數據顯示，到2029年，全球人工智能基礎設施市場的支出預計將達到4225.5 億美元，未來六年的復合年增長率將達到44%。

DataBank首席執行官Raul Martynek表示，人工智能的部署速度很可能會導致數據中心容量在未來12到24個月內出現短缺。


AMD也有應對之法

在人工智能領域，英偉達一直是無可爭議的領導者，其 GPU 在深度學習、機器學習、計算機視覺等領域都有廣泛的應用。然而，在 2023 年，AMD 用一款超級 AI 芯片向英偉達發起了挑戰。

這款超級 AI 芯片就是 AMD 在 6 月 14 日發布的最先進的人工智能圖形處理器（GPU）MI300X，它采用了 AMD RDNA 3 架構和小芯片設計，可以用于生成式對抗網絡（GAN）等復雜的 AI 應用。AMD 稱之為「生成式 AI 加速器」，它可以實現高效的圖像、視頻、音頻、文本等多模態數據的生成、編輯、轉換、增強等功能。

AMD MI300X 的性能非常驚人，它擁有 256 個計算單元（CU），每個 CU 包含 64 個流處理器（SP），共計 16384 個 SP。它的峰值單精度浮點運算性能達到了 66.56 TFLOPS，而英偉達最新的 Ampere A100 GPU 的峰值單精度浮點運算性能只有 19.5 TFLOPS。它還支持 PCIe 5.0 和 CXL 2.0 協議，可以實現高速的數據傳輸和內存共享。

AMD MI300X 的目標市場是數據中心和云計算領域，它可以為各種行業和領域提供強大的 AI 解決方案，比如醫療、教育、娛樂、金融、安全等。AMD 已經與多家合作伙伴和客戶建立了關系，比如谷歌、亞馬遜、微軟、Facebook、騰訊、阿里巴巴等。


最后

AI風潮絲毫沒有減緩之勢，未來對算力的需求只會越來越多，AI芯片這片蛋糕將不再是英偉達一家獨有，國產企業也將加入搶蛋糕的行列，讓我們拭目以待吧！