人工智慧模型GPT-3自從5月問世以來,關於她學會新技能的新聞,幾乎每一、兩週就會冒出來,一下子會寫論文,一下子可以發推特、陪顧客聊天、解數學,最近甚至開始寫程式、設計使用者介面。
你一定會好奇,為何GPT-3什麼都能學得會?
首先,GPT-3並非獨生子,她之前有兩個哥哥姊姊GPT與GPT-2,而後有Image GPT,並且,未來勢必還會有許多的弟弟妹妹誕生。
創造出GPT家族的OpenAI實驗室,之所以會做這系列的研發,從一開始就是要訓練出一個泛用的人工智慧。所以GPT什麼都能做,這是設計者的原意。
GPT是Generative Pre-trained Transformer的簡稱,翻成白話文,就是預先訓練好,可以用來產生資料的一種Transformer模型。
所謂Transformer模型,並不是指模型本身會變化,而是指模型會對資料進行轉換,來產生所謂「關注度」,進而用關注度來產生預測的結果。
這的確很難懂。沒關係,人類也不太了解大腦的實際運作方式,但這不影響你去了解它的功能、特性與限制。
GPT-3所做的預先訓練,有點像我們考試前的準備一樣,先閱讀包括維基百科、書籍等在內,共45TB的海量人類文字資料,把其中所有上下文間的相關性,分析記錄成1750億個參數,正如同我們做重點筆記一樣。
因此,當你給她一段文字,GPT-3可以查找她的筆記,寫出後面「應該」出現的文字。
換言之,GPT-3從頭到尾沒有「學會」任何知識,她只是把人類文字當作一個個的點,在一個極大維度的空間中,去標註它們的相對座標。
因此,當你告訴她要從哪幾個維度去查找時,她可以很快告訴你陸續找到的文字。
因為她讀過的文字量太大了,即使是非常冷門的維度,也都難不倒她。因此她所表現出的樣子,就像個什麼領域都可以舉一反三的聰明學生。
值得我們思考的是,2020年的GPT-3就已經擁有這種程度,那麼,2030年的GPT-13,又將會到達什麼樣的新境界?
(責任編輯:劉佳俐)
天下總主筆陳良榕專欄。半導體狂熱、科技巨頭謀略的最犀利解讀
看懂科技大勢,獨家解讀
請查看您的信箱,我們將寄送驗證信給您,確保未來信件會送到您的信箱