外資出逃

寫程式、算數學、陪聊天都沒問題 AI模型GPT-3為什麼這麼強?

【林之晨專欄】在人工智慧圈火紅的GPT-3,不僅能寫文章、算數學,甚至學會寫程式,她是如何辦到的?

人工智慧-GPT-3-OpenAI-深度學習-林之晨 圖片來源:Shutterstock
其他
加入Google偏好來源 在Google搜尋優先看到天下

人工智慧模型GPT-3自從5月問世以來,關於她學會新技能的新聞,幾乎每一、兩週就會冒出來,一下子會寫論文,一下子可以發推特、陪顧客聊天、解數學,最近甚至開始寫程式、設計使用者介面。

你一定會好奇,為何GPT-3什麼都能學得會?

首先,GPT-3並非獨生子,她之前有兩個哥哥姊姊GPT與GPT-2,而後有Image GPT,並且,未來勢必還會有許多的弟弟妹妹誕生。

創造出GPT家族的OpenAI實驗室,之所以會做這系列的研發,從一開始就是要訓練出一個泛用的人工智慧。所以GPT什麼都能做,這是設計者的原意。

GPT是Generative Pre-trained Transformer的簡稱,翻成白話文,就是預先訓練好,可以用來產生資料的一種Transformer模型。

所謂Transformer模型,並不是指模型本身會變化,而是指模型會對資料進行轉換,來產生所謂「關注度」,進而用關注度來產生預測的結果。

這的確很難懂。沒關係,人類也不太了解大腦的實際運作方式,但這不影響你去了解它的功能、特性與限制。

GPT-3所做的預先訓練,有點像我們考試前的準備一樣,先閱讀包括維基百科、書籍等在內,共45TB的海量人類文字資料,把其中所有上下文間的相關性,分析記錄成1750億個參數,正如同我們做重點筆記一樣。

因此,當你給她一段文字,GPT-3可以查找她的筆記,寫出後面「應該」出現的文字。

廣告

換言之,GPT-3從頭到尾沒有「學會」任何知識,她只是把人類文字當作一個個的點,在一個極大維度的空間中,去標註它們的相對座標。

因此,當你告訴她要從哪幾個維度去查找時,她可以很快告訴你陸續找到的文字。

因為她讀過的文字量太大了,即使是非常冷門的維度,也都難不倒她。因此她所表現出的樣子,就像個什麼領域都可以舉一反三的聰明學生。

值得我們思考的是,2020年的GPT-3就已經擁有這種程度,那麼,2030年的GPT-13,又將會到達什麼樣的新境界? 

(責任編輯:劉佳俐)

延伸閱讀
你可能有興趣
廣告
最新訊息
免費下載為您量身打造無廣告的閱讀環境
訂閱天下雜誌電子報

天下雜誌當期內容的精華與延伸,每周三發送最具時效性的深度內容