重磅出刊

獨家專訪「小輝達」Astera Labs執行長 新生意搶博通地盤,台灣ODM也受惠

AI競賽的瓶頸,正從「算得快」移向「傳得動」。卡位傳輸8年的「小輝達」Astera Labs,在輝達與博通之間走出第三條路,如今更要聯手台灣ODM,打造輝達之外的開放機櫃新生意。《天下》獨家專訪旋風訪台36小時的Astera Labs執行長莫罕,暢談與台灣ODM大廠合作的新佈局。

Astera Labs-甘博隆-輝達-博通-AI-資料中心-AI伺服器 圖片來源:謝寬攝
其他
  • 天下Web only
加入Google偏好來源 在Google搜尋優先看到天下

全世界最貴的晶片,有一半時間在發呆。

「GPU利用率通常只有四到五成,它在等資料,」6月Computex開跑、全城科技人湧向南港之際,Astera Labs共同創辦人暨執行長莫罕(Jitendra Mohan)旋風訪台36小時,在內湖的台灣辦公室獨家接受《天下》專訪,一開口就狂電AI資料中心最昂貴的浪費。

解決塞車,就是這家公司的生意。2017年成立、2024年3月掛牌,Astera Labs去年營收已突破8.4億美元,最新一季單季營收更衝上3.1億、年增逾九成。股價自IPO發行價至今翻了近10倍,華爾街稱它「小輝達」,被視為輝達之外,AI基礎設施最純的受惠股之一。

但它不做CPU、不做GPU,只做一件事——讓AI資料中心裡的晶片彼此「說得上話」。

會議室內,莫罕從隨身背包內掏出一個方盒子,裡頭一排晶片由小到大排開。「你可以用重量感受我們的成長,」他打趣形容。從左到右的3顆晶片,代表過去8年的進化史,也是AI瓶頸移動的路線圖。

AI-晶片-莫罕-Astera Labs-Jitendra Mohan莫罕展示隨身攜帶的3顆晶片,說明Astera Labs的成長路徑。(謝寬攝)

追著瓶頸跑,H100一戰成名

2017年,莫罕與另兩位德州儀器出身的伙伴一起創業。當時滿街都是做運算晶片的公司,「沒有人在看傳輸。但我們判斷,瓶頸會移到這裡,」莫罕說。

廣告

第一顆晶片,選了他們最有把握的訊號重整晶片(retimer)。三位創辦人在德儀負責的,正是這條產品線。訊號重整晶片像高速公路上的中繼站,伺服器裡的晶片,靠一條名為PCIe的標準通道互傳資料,它是晶片之間的「共同語言」,傳輸速度每一代翻倍。但訊號跑得愈快、衰減得愈快,訊號重整晶片負責把衰減的訊號接住、重整,再全速送出,讓資料跑得又快、又遠。

在AI資料中心裡CPU與GPU、網卡、儲存裝置的距離愈拉愈遠,這讓訊號重整晶片變成剛需。

命運的轉折點,是輝達推出H100。「A100還不需要retimer,到了H100,速度翻倍,訊號跑一段距離就會掉下來,」Astera Labs台灣區總經理甘博隆回憶。

打開H100的板子,第1顆是輝達,第2顆就是Astera。「8顆GPU,配8顆retimer,一對一,」甘博隆說。ChatGPT引爆算力狂潮,Astera在PCIe Gen 5世代的訊號重整晶片拿下「接近100%」的市佔,最新的Gen 6世代,也已佔營收三分之一。

廣告

速度之後,他們追著下一個瓶頸跑。第二個瓶頸是記憶體,AI吃記憶體的胃口暴增,但CPU旁的插槽有限,高容量記憶體太貴。Astera Labs在2022年問世的第二顆晶片Leo,就讓記憶體透過PCIe通道往外接、往外長,插槽不夠也不怕。

第三顆晶片Scorpio,則跨入技術難度最高的PCIe交換器(switch),它像資料中心裡的圓環。CPU、GPU、網卡、儲存之間的資料,全要經過它轉送。「它是CPU、GPU之外,第三重要的晶片,」甘博隆形容。

駛入博通地盤的航空母艦

跨入交換器,Astera Labs等於一頭撞進博通市佔逾八成的地盤。為什麼非做不可?

第一個理由,是生存。「很多客戶都提醒我們,只有一、兩條產品線的公司,很快就會像小螞蟻一樣被揉死,」甘博隆不諱言。這也是為什麼許多包括台灣的IC設計公司,是「一代拳王」。

就像買愛馬仕需要配貨,晶片業盛行「搭售」。大廠常要求客戶買關鍵晶片,就得連其他晶片一起買、一次簽下長約。手上沒有一顆別人非買不可的關鍵晶片,就沒有談判籌碼。

廣告

「我們很清楚,我們需要一艘航空母艦,」交換器,就是甘博隆形容的那艘航母。

第二個理由,是他們看見博通的罩門。博通的交換器是「通用型」,為了相容市面上十多年來的老舊設備,背著沉重的包袱。Astera的交換器只為AI打造,把AI用不到的老介面全數砍掉,晶片設計更簡單、功耗更低、上市更快。

「AI用的都是最新的CPU、GPU、記憶體,根本不需要10年前的東西,」甘博隆說。莫罕的目標毫不客氣,「我們要拿的是80%,不是20%,要競爭就是要贏。」

被「設計掉」的危機,加倍奉還的轉機

風光背後,Astera Labs其實剛打贏一場生死戰。

在H100世代,CPU與GPU分屬不同板子,長距離的高速訊號,養活了一顆顆retimer。但輝達的GB200,把一顆Grace CPU與兩顆Blackwell GPU放上同一塊運算板,以NVLink-C2C技術直接互連,晶片間的距離從跨板縮短到近在咫尺,參考設計裡,retimer消失了。

消息一出,市場一度斷言Astera Labs要被輝達「設計掉」了。

廣告

結果卻恰恰相反。運算板內不需要,但整座機架卻更需要。GB200巨量的資料吞吐,得連回雲端巨頭原有的資料中心網路。Astera Labs在輝達GTC大會上展示,將自家retimer與交換器兩顆晶片,把第三方網卡與GB200對接,榨出Blackwell最大的外部頻寬。

在輝達為伺服器廠打造的MGX模組化平台上,它更是第一家展示端到端PCIe 6.0全速運行的晶片商。一來一往,每座機架裡屬於Astera的價值,不減反增。

與輝達的關係,仍然緊密。雲端巨頭想用輝達機櫃、卻搭配自研AI晶片,但自研晶片不會說輝達的專屬語言NVLink。去年Computex,黃仁勳親自宣布NVLink Fusion生態系,Astera Labs就是首批伙伴,打造讓兩種專屬協定互通的橋接晶片。

「輝達和雲端巨頭彼此競爭,卻都願意把自己的祕密交給我們,正因我們不跟任何客戶競爭,」莫罕比喻,自己像「瑞士」。

開放機櫃新生意,聯手台灣ODM

Astera Labs與台灣的緣份,始於一場沒人料到的疫情。

廣告

2020年1月,曾任宏碁全球運籌中心總經理、新普科技,熟悉系統廠的甘博隆赴美面試Astera,回台兩週後全球疫情封鎖。「接下來3年,零出差,」他形容總部進不來台灣,但客戶卻都在台灣,台灣團隊在他帶領下被迫獨立長大。3年間,Astera的retimer打進台灣所有資料中心供應鏈、美國四大雲端巨頭與中國業者。

「聘Campbell(甘博隆),是我在台灣做過最好的決定,」莫罕笑說。

如今台灣團隊近40人、設有實驗室,年底前人數將翻倍,從應用工程師一路擴編到品質、硬體、封裝工程師。「台灣會成為我們完整的工程中心,」莫罕說。

AI-晶片-莫罕-Astera Labs-Jitendra Mohan莫罕說明,Astera不只要擴編台灣團隊,更準備積極與台灣ODM大廠合作,推動開放機櫃。(謝寬攝)

台灣ODM對Astera並不陌生。廣達、緯穎等ODM曾與它共同宣布開發PCIe Gen 6互連方案。「那是GPU擴增(scale up)時的必要裝置,」一位與其合作的ODM主管觀察,每家雲端業者的架構不同、難題也不同,Astera得貼著客戶的架構走,這也是它業績水漲船高的原因。

更大的野心,藏在機櫃裡。輝達只賣整櫃系統,Astera Labs則反其道而行,要推「開放機櫃」。

2026年推PCIe標準機櫃、2027年推UALink機櫃。特別在博通退出UALink聯盟後,正是由Astera補位,與超微、亞馬遜等共同制定交換器規格。Astera將制定交換器托盤(switch tray)標準,「賣給台灣ODM,由他們設計其餘部份、組成整櫃去賣,」甘博隆透露。

對台灣代工廠而言,這是輝達訂單之外的一門新生意。「畢竟台灣是硬體的樞紐,」莫罕說。

AI大浪中,為Astera掌舵的冷靜船長

但風平浪靜前行中,風險無處不在。輝達下一代新架構的機櫃,擬以高密度電路板取代線纜,也代表retimer可能會退場。新架構十分燒錢,也帶給Astera風險。

但莫罕顯然並不擔心,就像過去他和團隊在傳輸的瓶頸上早一步佈局。員工亦曾頒給他一張「Cool as a Cucumber」(遇事不慌)獎狀。

被問到AI是否泡沫,這位冷靜的船長答得一如其人,「5年後回頭看,AI一定比今天大得多。但會不會一路直線向上?沒人知道。」但他確定的是,只要資料還在流動,塞車的地方,就是Astera Labs的生意。

相關熱門主題
延伸閱讀
你可能有興趣
最新訊息
AI x 天下協作每日精選8則,省時省力輕鬆看懂天下事
訂閱天下雜誌電子報

天下雜誌當期內容的精華與延伸,每周三發送最具時效性的深度內容