專訪季辛格：我要一萬倍的AI！20年超級週期，「醜陋記憶體」後還有3道牆

思考的單位也變了。過去開口閉口是一顆晶片，現在看的是一整個系統，單位變成一座「機櫃」（rack）。

其實過去也有人談系統思維。季辛格參與過許多系統級封裝（SoIC）的討論，但從晶片出發，每次只多看一層，先看到封裝，再看到上一層的系統。站在晶片的角度，一項新技術只要會增加晶片的成本與複雜度，往往就被判定「不划算」。

PicoJool主要研發以光訊號取代傳統銅線的技術，宣布與台灣砷化鎵代工龍頭穩懋合作。（謝寬攝）

不過AI把順序倒了過來。業者一開口就是投資500億美元、蓋一座1GW的資料中心，再由上往下拆解。在這個規模下，整體效率只要改善5%，就是數十億美元。從這個角度，一項在晶片層級看來太貴、太複雜的技術，只要能替整座資料中心省下這5%，就值得做。

廣告

他舉AI資料中心用的800伏特直流電（800VDC）為例，這是他和黃仁勳少數完全同意的事。過去不會有任何一顆元件願意為了它改設計，但當單位變成整個機櫃，配電方式一改，機櫃裡每個元件都得跟著改。同樣地，資料中心走向全光交換，也會倒逼晶片層級導入共同封裝光學。

「黃仁勳造的已經不是GPU，他的單位是機櫃，」季辛格說，「未來，他的單位會是整座資料中心。」

「醜陋記憶體」三大罪狀，有如吸管和熱三明治

「AI是記憶體的工作負載，」但撐起AI熱潮的高頻寬記憶體（HBM），在季辛格口中卻成了「醜陋的記憶體」。

他細數三大罪狀，生產1GB的HBM要耗掉4GB的矽，排擠手機與PC晶片，「你的iPhone就變貴了」；資料只能從晶片邊緣進出，像用吸管喝水；DRAM怕熱，堆疊後成了「熱三明治」（Thermal Sandwich）。

季辛格帶矽谷新創落腳新竹搶產能。（邱劍英攝）

更根本的是，「過去30年出現過幾種重大的新記憶體變革？」季辛格大聲表示，「零！」

這道牆有兩種拆法。一種回歸到根本，既然DRAM又吃矽、又怕熱，那就發明一種新的記憶體。另一種不換記憶體，而是換位置，既然HBM只能從邊緣餵資料，那就把記憶體搬到運算晶片正上方，拔掉那根「吸管」。季辛格兩條路都押了，一家才剛誕生，一家要出貨。

廣告

第一條路，是10月底Playground台北媒體會上首度亮相的Nagare Labs。「我原本以為訓練才是難的，推論是簡單的部份，結果完全不是這樣，」Nagare共同創辦人達塔（Suman Datta）在發表會上說。

代理型AI讓上下文愈拉愈長，資料搬運成了瓶頸。他們以氧化物半導體做出兩個電晶體、沒有電容的記憶體，兼具SRAM的速度與DRAM的密度。更關鍵的是耐熱，DRAM怕熱，HBM才成了熱三明治。但Nagare的材料不怕熱，「可以直接疊在邏輯晶片上方，」達塔表示，這等於同時拿掉吸管和熱三明治。

Ayar Labs致力於共同封裝光學CPO技術。（謝寬攝）

這也是季辛格最有感情的一筆投資。達塔的職涯從英特爾起步，當年在季辛格任內參與了好幾代邏輯電晶體技術的開發。季辛格說，這是「英特爾最好的電晶體團隊」，曾把high-k金屬閘極帶進量產。團隊已打磨這項技術7、8年，目前已經在找晶圓代工廠合作，因此來到台灣。

廣告

第二條路則是D-Matrix，且已走到量產。它的第一代產品在台積電6奈米晶片的SRAM中直接運算，已整櫃出貨給雲端業者。第二代則直攻「吸管」問題，把客製DRAM疊在台積電4奈米邏輯晶片正上方。

「HBM放在旁邊，資料只能從側邊送出來；我們把DRAM直接疊在上面，整個陣列都能存取，」D-Matrix副總庫許納對記者解釋。對推論來說，這直接決定速度，讓每個字元的生成時間變得關鍵，「那就是記憶體頻寬。」

季辛格稱之為「近記憶體運算」，頻寬來自整個平面。D Matrix第二代新品剛完成設計定案，約三季後展示，並將進入輝達MGX機櫃。

兩條路徑，背後的邏輯都是要讓記憶體緊貼運算，拆掉記憶體這道牆。兩家也都來到台灣，D-Matrix在台積電投片，Nagare明年要把技術帶進12吋產線。

「台灣，顯然是最好的地方，」達塔直言。

矽谷創投Playground Global共同合夥人季辛格帶領所投資的新創來台，和台灣製造伙伴深度合作。（謝寬攝）

記憶體之後，還有三道牆

記憶體之後，季辛格的排行榜上還有三道瓶頸牆，他的判斷也都很直接大膽。

廣告

先進封裝，他認為就是「明天的瓶頸」。 AI晶片早已不是一顆晶片，運算、記憶體、供電元件都得整合進同一個封裝。封測過去只佔物料成本一成，他坦言，像他這樣的晶片架構設計工程師，「以前根本不在乎，」如今卻決定效能與良率，未來幾年會比最先進的晶圓更吃緊。

電力，則會演變為最根本的限制。 全球電網每年只成長4%至5%，新增電力已有一半被AI用掉，電從電網送到晶片還要層層降壓，一顆2500瓦的晶片，系統得送進6000瓦。他更大膽押注電壓調節器小晶片PowerLattice，把最後一段降壓元件直接塞進GPU封裝，運算功耗可以降低五成，讓資料中心在既有電力供應條件下，提升運算效能，少浪費一點電。這可說是卡入當前資料中心最火熱的電源痛點。

最後一道瓶頸，是季辛格關注25年的「光」，因為銅線已經撞上物理極限。 銅線傳高速訊號只能走幾公尺，GPU只好擠在同一座機櫃，又密又熱。「輝達NVL72幾乎是全台灣工程師熬夜的『製造惡夢』，」季辛格打趣地形容，這是在跟物理對抗。但換成光，訊號能傳幾十公尺，機櫃可以拉開、散熱變容易，GPU還能跨機櫃連成上千顆的大叢集。他預估2028、2029年是轉換點，但光要靠雷射，他觀察下一道牆已經浮現，「全世界的磷化銦晶圓廠不夠。」

台灣速度驚人：午餐原型，晚餐量產

40多年前，季辛格跟著當時的英特爾執行長葛洛夫第一次來台灣。在他眼中，台灣是「午餐做出原型、晚餐就能量產」的地方，這在美國不會發生。這趟來台，他照例拜訪台積電、鴻海、聯發科這些老朋友。

NextSilicon晶片新創的Arbel CPU晶片組。（謝寬攝）

出乎記者驚訝的，他直言，他已經要求他投資的這些公司「都應該在台灣設點」，「原因很簡單，他們需要的供應鏈都在這裡。」

如今，攤開他Playground的投資公司，包括Ayar Labs、PowerLattice、D-Matrix等都在新竹組建團隊。他說，有了據點，既能「更受台灣影響」，也能「對台灣更有影響力」。

「這兩年，我幾乎每週都在台灣，」Ayar Labs共同創辦人暨執行長韋德（Mark Wade）表示。去年他宣布來台設點，如今竹北辦公室已經完工，預計明年初開幕，台灣團隊目前約10人，未來一到兩年還要擴編，和台灣的製造伙伴深度合作。原因很直接：要把新技術帶進大量生產，「台灣就是宇宙的中心，」他認為。

D-Matrix在2019年創立時，第一個台灣伙伴就是台積電，之後陸續與世芯、緯創等合作。主管賽斯告訴記者，自己每兩個月來台一次，同事在旁補了一句，「很快就是每週了。」

D-Matrix在竹北設據點，9月第一位台灣員工報到，「下個月還有更多人，」賽斯表示。他也不諱言，和台灣供應鏈關係深厚的季辛格，角色關鍵，在全球產能吃緊的時候，新創最大的挑戰是「怎麼得到正確層級的注意力」、卡到晶圓代工廠的產能，而「季辛格可以幫台灣的公司理解，為什麼像D-Matrix這樣的公司重要。」

AI不是泡沫，是20年的超級週期

近期，華盛頓已經掀起因為規則和管制的「AI放緩」聲浪。問季辛格，擔不擔心AI退潮？

矽谷創投Playground Global昨日（27日）在台北召開「共創次世代運算新紀元」記者會，共同合夥人季辛格認為AI還未退潮。（謝寬攝）

季辛格搖頭，強調這是「至少兩個十年的創新超級週期」。從大型語言模型走到推理模型，運算需求就跳了10倍，「模型創新結束了嗎？絕對沒有，」途中當然會有修正，「小地震是好事，大地震才是壞事，」他表示。

他認為，模型品質有問題，有漏洞，當然需要規範和修正，這是當前美國政府和部份科技大廠在意的。他用半導體經驗類比，英特爾開發一顆處理器，約六成成本花在設計，四成花在測試驗證，模型若未經嚴格測試就上線，哪天癱瘓的可能是電網或醫院，就會引發嚴重的後果。他對模型業者的觀察很直接，「就是做好你的工作，否則政府必然介入。」

問季辛格為何總是大膽勇敢地押注十分前緣且前景未定的新科技，季辛格笑著表示，「勇敢的是我的公司，我只是很高興加入他們。」

把瓶頸排好順序，更大膽押注科技未來，說話向來直接不閃躲的季辛格跟記者約定，「明年我們坐下來，檢查我說的排序對不對。」

（責任編輯：曹凱婷）