cwlogo

切換側邊選單 天下全閱讀 切換搜尋選單
切換會員選單

世界公認的「深度學習之父」,為什麼也跑來加拿大?

精華簡文

世界公認的「深度學習之父」,為什麼也跑來加拿大?

加拿大擁抱世界人才,AI「深度學習之父」辛頓雖為英國人,也在多倫多發展其研究。 圖片來源:邱劍英

瀏覽數

5579

世界公認的「深度學習之父」,為什麼也跑來加拿大?

天下雜誌636期

加拿大如何成為媲美美國「矽谷」的AI科技重鎮「楓谷」,讓讚譽全球的AI「深度學習之父」辛頓遠離家鄉英國,落腳多倫多;甚至Google、臉書、微軟、輝達等科技龍頭也不惜砸重金來投資?

國土面積廣大,物產富饒的加拿大,是已開發國家中,少數經濟仰賴天然資源的國家。但近十年,它卻以人工智慧抓住了全球目光。

從加拿大國家級AI研究中心,到全球科技大廠Google的AI研發,有一個交集的核心——辛頓(Geoffrey Hinton)。

提到這個名字,許多AI圈高手立刻豎起大拇指。這位現任多倫多大學榮譽教授、Google Brain 研發副總裁的論文引用率最高,超過排在他後面三位AI研究人員的總和。

1986年辛頓和同事聯合發表了一篇論文介紹「反向傳播」(backpropagation)技術,被定義為現今所有深度學習技術的基礎。辛頓發現,反向傳播技術可用來訓練兩到三層以上的深度神經網絡。

之後經過26年,到2012年他和多倫多大學的學生發表一篇論文,將反向傳播訓練的深度神經網絡,用在視覺識別領域。在視覺辨識競賽中打敗當時最先進的系統,「深度學習」終於正式浮上檯面。

走進Google位在多倫多市中心的辦公室,一件格子衫、一雙大布鞋,69歲的辛頓正「站」在一間小小的實驗室桌前,凝神盯著電腦。背後白板寫滿一般人看不懂的數學程式。

這間一年前還不存在的實驗室,專為辛頓成立,裡頭只有高腳桌卻沒有一張椅子。

曾是學術界的邊緣人

「我從2005年起就沒坐下來工作過,」這位世界公認的「深度學習之父」,邊吃著記者帶給他的台灣鳳梨酥,邊消遣自己的背疾。

他2005年後就再也沒搭過飛機,離不開加拿大。他說,如果要到亞洲,他說可能要搭船才行,先前他的確搭船回倫敦領獎。

辛頓是英國溫布頓人,在劍橋和愛丁堡大學念書,研究領域就是神經網絡。「我對大腦如何運作有高度的興趣,」辛頓說。當時,他打定主意想好好理解,這些傳遞訊息的神經如何學習或運作來產生智慧。當時傳統人工智慧學者都無法解答這個問題。

他在AI領域地位崇高,為何沒有留在家鄉英國,或到科技研發重鎮美國矽谷,而選擇落腳加拿大?(延伸閱讀:幫瑪丹娜作秀、為好萊塢做電影,人才都想來這裡

「我研究神經網絡,當時的英國學界沒人要雇用我,」辛頓語出驚人。

整整60年代到90年代,神經網絡理論都只是AI研究的邊緣。辛頓的論文曾被深度學習研討會拒收,主流人工智慧圈根本不把神經網絡的研究放在眼裡。

但辛頓不放棄。他來到美國繼續做博士後研究,進入卡內基美隆大學研究中心。

「我卻發現,當時AI研究經費多來自軍事機構,我很不喜歡,」辛頓說,他毅然北漂到加拿大。

辛頓在Google的多倫多辦公室很小,沒有椅子只有桌子,他身後的白板寫滿運算程式。

加拿大注資,度過研究寒冬

90年代到2004年初,即便辛頓已提出反向傳播技術進行深度學習二十多年了,但因運算能力仍不足,無法處理神經網路所需的大數據量。

「老實說當時連我自己都非常失望,」辛頓坦言。

熟悉AI進程的人都知道,AI曾歷經兩次寒冬,直到近期AlphaGo的出現,大大推進AI研究及世界的關注。

歷經過兩次寒冬的辛頓,守的是冷門中的冷門研究。但這位頭髮花白的AI教父最大的優點就是固執。

2004年,從學生時代一路堅守神經網絡研究的辛頓,獲得一個契機。那年,加拿大先進研究所(CIFAR)提供資金,供辛頓做神經網路研究,且不限制研究員一定要在CIFAR裡做研究。

辛頓獲得了另外兩名AI教父級高手的支持,一位是在紐約大學的路肯(Yann LeCun),以及蒙特婁大學的本吉奧(Yoshua Bengio)。

有了高手相助,他組成了深度學習專案團隊,親自挑選研究員,著手創造一套系統,能像大腦一樣在大量的影像、聲音及文字間轉換、理解分析並回應。重點是他們強化了深度學習演算法,能處理更多資料。

 加拿大有優良的大學教育系統,校風自由開放,吸引不少國際人才。

2011年辛頓的團隊和史丹佛教授、Google Brain創辦人之一吳恩達,一起在Google成立了深度學習專案。辛頓這個超級團隊做出來的深度學習技術,贏遍了AI競賽,技術辨識能力達3%,精準度高於人眼辨識的五%。Google更大量用神經網絡的技術來做語音辨識和圖片辨識。

這個以多倫多為中心的加拿大深度學習專案團隊,引起矽谷科技大咖注意。

辛頓2006年一篇論文的共同作者瑟拉庫吉那(Ruslan Salakhutdinov)後來領導蘋果的AI團隊;辛頓多倫多大學數名研究生和他一起加入Google;法國人路肯加入臉書。另一位法國人本吉奧擔任顧問的AI新創公司Maluuba則被微軟買了,本吉奧也成了微軟的顧問。

「開放」軟實力換高投資報酬

「CIFAR一年只有50萬美元,辛頓的團隊卻回饋了難以計算的財富給經濟體系,加拿大和整個世界的投資報酬率很巨大,」CIFAR副總裁賽倫在《Wired》上說。

拉到國家層次來看,加拿大這種開放資源與平台,網羅各國好手的策略,看似鬆散且不容易評估投資對本國的回報率,「但充分展現加拿大的軟實力,」《經濟學人》分析。

至今,包括Google、臉書、三星、微軟等,陸續到加拿大多倫多、蒙特婁等地設AI實驗室。今年9月連亞馬遜也傳出要到加拿大設第二總部。讓加拿大成為美國矽谷往北,名副其實的「楓谷」(Maple Valley)。(見下表)

AI再推進,幫醫生看病

加拿大政府也借重辛頓的研發能量和人脈,在今年秋天成立了向量研究中心(Vector Institute)。將AI應用到醫療領域更是重中之重。

辛頓近期不斷跑多倫多附近的醫療機構,對醫療人員、新創公司演說,積極把深度學習結合到醫療應用上。

「醫療領域是重點,五年之後,深度學習、視覺辨識技術的進展,可以預測腫瘤、可以知道如何預測病人未來病況,」辛頓很興奮地表示,醫生們都十分感興趣,因為對醫療診斷將是助力。

「很多的數據,人們不知道怎麼使用,但深度學習可以預測結果,」辛頓說。

從邊緣到核心,昔日排斥美國國防部經費的固執學者,怎麼樣也想不到,他會成為加拿大對全球「致命的吸引力」,在高速飛行中的AI研究裡,扮演推進器。(責任編輯:賴品潔)

辛頓
出生:
1947年
現職:Google Brain 研發副總裁、多倫多大學榮譽教授、加拿大向量研究中心首席科學家
學歷:劍橋大學學士、愛丁堡大學博士

【延伸閱讀】

「加拿大夢」為何能取代「美國夢」?
不要純白人政府 加拿大為何能把移民當自己人?
台灣同志:我和我的伴,在這裡有保障
史上第一批台裔省議員:加拿大政府,需要我們當橋梁
外交官:我是韓裔,我信猶太教,我是加拿大人

● 更多內容,請見天下雜誌 636期《【加拿大 包容的競爭力》>>

photo

關鍵字:

好友人數

文章下載

PDF下載 付費閱讀
 
登入會員看更多

全站通行 83折優惠中