台積董事長劉德音：半導體走出隧道，未來技術將超越CoWoS和SoIC

譬如，深藍超級電腦就是用0.13微米技術所實現；通過神經網路進行初始的圖像識別技術，是用45奈米技術實現的；著名的AlphaGo，使用28奈米技術。而最初ChatGPT伺服器訓練，是使用5奈米技術。最近驅動ChatGPT的伺服器，使用的是我們的4奈米技術。我認為我們都應該為此感到自豪。

在日常生活中，ChatGPT發揮各種應用，是AI如何為社會中每個人帶來益處的好例子。

這樣的AI訓練所需的算力和記憶體存取，在過去5年中增加了一個量級。例如，訓練一個GPT-3，需要8000個pflop-days，或是5乘以10的18次方flop-days，以及3TB的記憶體容量。

半導體技術如何跟上？

生成式AI應用所需的算力和記憶體存取仍在快速成長。而我們現在需要面對一個緊迫的問題，半導體技術要如何才能進步地如此快速？

自從積體電路發明之後，半導體技術一直致力於縮小尺寸，如此，我們就可以將更多的元件或電晶體塞進拇指大小的晶片中。如今，整合技術（integration）已經提高了一個層次。我們現在正在將許多晶片緊密整合到一個龐大的互連系統中。

廣告

這是半導體整合技術的典範轉移，十多年來我們一直在見證這樣的轉變。我們現在正在超越2D微縮，進入3D系統整合。

在AI的時代，系統的能力幾乎與整合到該系統中的元件或電晶體的數量成正比。

我們可以在單一晶片上整合一個包含更多元件的系統。例如，台積電使用先進封裝CoWoS技術。

（邱劍英攝）

對AI而言，另一項愈來愈重要的關鍵技術是3D SoIC。如今，傳統的高頻寬記憶體（HBM）仰賴於矽通孔和焊料鍵合（through-silicon vias and solder bonds）。台積電的3D SoIC技術可以為當今傳統的HBM技術提供豐富的替代方案。

在這樣的HBM測試結構中，共有12層面對背（face to back）堆疊，在低溫下綁定在大型基礎邏輯晶片上，總厚度只有600微米。通過CoWoS或SoIC多晶片堆疊技術，使系統上的總元件或電晶體數量比單個晶片所能容納的數量要大得多。

3D整合互連，千億邁向兆個電晶體

用於AI訓練的傳統GPU晶片已經達到了極限，數量約為1000億個電晶體。延續此趨勢，電晶體數量的增加，將需要通過2.5D或3D整合互連的多個晶片來執行計算。

廣告

我們預測在十年內，多個GPU將組成超過1兆個電晶體。通過互連間距微縮（interconnect pitch scaling）以及許多設備供應商的幫助， 我們今天使用的大型SoIC互連數量有足夠的空間。

那麼這些創新的硬體技術如何提高系統的性能？

過去15年來，半導體行業的能源效率每兩年提高約3倍，這種趨勢肯定會持續下去。動力來自於多項創新，包括新材料、元件和整合技術、EUV（極紫外光）進步、設計技術協同優化（DTOC）的進步、電路設計和系統架構設計的進步等。

特別是，CoWoS和SoIC的進步，將提高能源效率。此外，系統技術協同優化等概念將變得愈來愈重要。例如輝達的Ampere和Hopper GPU，都是由一個GPU晶片組成，矽中介層上有6個HBM。Ampere的電晶體數量是540億個，Hopper是800億。

從台積電的7奈米技術到4奈米，我們在同一面積上增加了約50%的電晶體。 輝達Ampere和Hopper是當今大型語言模型訓練的主力。我們需要在伺服器中使用數萬個這樣的處理器，來訓練ChatGPT。

廣告

矽光子技術將成關鍵

另一個例子，可以說是當今最大的晶片，客戶來自美國AI公司Cerebras 。晶片尺寸本質上是300毫米晶圓的尺寸，包含2.6兆個台積電7奈米電晶體。創新想法是在晶圓上增加互連，以連接許多計算核心。未來將會有超越CoWoS和SoIC的技術，我們非常興奮地能客戶密切合作以達到這個創新。

（邱劍英攝）

透過擁有大量晶片組成的高速運算系統，運行大型AI模型，高速有線通訊可能會很快地限制計算速度。

如今，光互連已經被用來連接數據中心中的伺服器機架。

我們很快就會需要將光學接口與GPU和CPU封裝在一起。 這能有效擴展GPU間通訊的頻寬，同時節省能源和面積，這樣數百台伺服器能成為一個巨型GPU。

在這個領域，台積電的緊湊型通用光子引擎技術將發揮重要作用，該技術使用SoIC，將電子和光子塊黏合在GPU和路由器交換器旁邊。因此，在AI演算法的推動下，矽光子技術將成為這個行業的關鍵技術。

廣告

總結一下，在AI時代，半導體技術是推動AI能力的賦能者。新的半導體產品不再受到標準外形的晶片尺寸的限制，也不再受到下一代微縮技術的限制。

一個整合型的AI系統，將由大量節能電晶體、針對特定計算工作負載的高效系統架構，以及不斷優化的軟硬體組合而成。

所以在過去的50年裡，半導體技術的發展一直像在隧道中行走，前方的道路清晰可見，每個人都知道我們需要做什麼——縮小電晶體。

現在我們即將走出這個隧道，半導體技術的發展變得更加困難。然而，在隧道之外，未來還有更多可能性等待著我們，我們將不再受限於隧道。

（責任編輯：曹凱婷）