輝達今天發表升級版人工智慧(AI)超級晶片,巨幅拉升晶片效能與速度,希望藉此進一步甩開追兵,如超微AMD、Google與Amazon。
輝達在洛杉磯舉辦的SIGGRAPH 大會表示,新種記憶體將進一步提升Grace Hopper超級晶片GH200。
GH200是首款結合CPU 與GPU 的超級晶片,而今也將成為第一個採用HBM3e先進記憶體技術的晶片,實現每秒5TB的資料傳輸速度,比起H100容量增加1.7倍,傳輸頻寬增加1.5倍。
輝達宣布,新一代GH200將於2024年第二季進入量產,今年年底就會給客戶體驗。
超級晶片將成為處理巨量資料電腦的心臟,高速運算也會成為AI模型的關鍵優勢。如果晶片具備一次性載入模型能力,且不須將部分資料轉移到較慢的記憶體就能進行更新,就可以做到節能又加速訓練和推理的過程。
一般來說,打造AI模型至少分兩個階段,一是訓練,二是推理。
第一步就是用大量的數據訓練模型,這個過程大概需要好幾個月,有時候需要數千個GPU,在輝達的例子,就是H100和A100晶片發揮作用的時候。
第二步是「推理」,就是根據訓練,推測出行為模式,做出預測,或是生產內容。等和訓練過程一樣,推理也往往耗費高成本的運算資源。
GH200就是主攻推理的,由於有著更多的記憶體容量,黃仁勳解釋,「你基本上可以把任何大型語言模型丟進去,然後它就會瘋狂地推理。單一一個系統就完成推理,會大幅降低成本。」

輝達副總裁巴克(Ian Buck)接受訪問表示,GH200擁有141 GB記憶體,可以處理更大的語言模型。兩枚GH200也可以部署在同一伺服器中,將現有模型效能提升逾3.5倍。換句話說,客戶可以減少機器設置,或是更快完成任務。
黃仁勳在主題演講告訴觀眾,「這就是為什麼全球數據中心,快速的轉型成加速電腦」。
AI的發展還看不到極限,限制它的僅有運算能力。在浪頭上的輝達,幾乎售罄了其產能所能達到的伺服器和專業工作站。AI熱潮使輝達股價今年漲了超過兩倍,市值衝到約1.1兆美元。不過,今天收跌1.6%。
黃仁勳的大膽預測
輝達同日也發表搭載新款L40S GPU的OVX伺服器,將加速AI訓練和推理、3D設計和視覺、影像處理和工業數位化等最複雜應用。
L40S將於今年秋季開始提供。華碩、技嘉、廣達,以及惠普、戴爾和美超微(Supermicro)都是合作廠商。
進一步更新處理器,凸顯輝達進一步提高障礙,讓加入自研晶片行列的科技巨頭Google與Amazon等對手難以趕上。
但黃仁勳堅稱,一切才剛剛開始。
他大膽提出,「大規模語言模型將成為所有事物的前端:『人類』就是新的程式語言。從視覺特效,以至快速數位化的製造市場、工廠設計和重工業,某種程度上都會採用自然語言介面」。
「整個工廠將由軟體、機器人定義,而機器人所製造的車,本身也是機器人。因此,那是一個機器人所設計出機器人去打造機器人的世界」。
對應黃仁勳「萬物前端都是語言模型」的世界觀,輝達也宣布更新了企業AI 軟件套件,目標簡化技術門檻,讓更多產業運用生成式AI以及輝達的硬體。更新後,簡化訓練模型的程序,未來就可以透過簡單的指令,生成文字、圖像,甚至影片。
輝達也宣布,在輝達的元宇宙平台也可以用生成式AI了。為了推動這項技術,輝達日前宣布支持最先由迪士尼旗下皮克斯研議的通用場景描述(Universal Scene Description, USD)技術,有助電影製作人把他們最愛的工具結合起來。
在AI時代,執行長黃仁勳認為輝達技術已經可以取代傳統的數據中心設備。他說,過去要用1億美元打造的數據中心設施,如果改用他們家的技術,800萬美元就做得到,而且耗能還減少20倍。
黃仁勳表示,自己說了那麼多,但「我希望你聽完演講還記得的一件事,那就是,總之『你買愈多,省愈多』。」
(資料來源:Bloomberg, CNBC, TechCrunch)
天下總主筆陳良榕專欄。半導體狂熱、科技巨頭謀略的最犀利解讀
看懂科技大勢,獨家解讀
請查看您的信箱,我們將寄送驗證信給您,確保未來信件會送到您的信箱