從《阿凡達》到《玩命關頭7》特效　全出自台灣博士生的一篇論文

馬萬鈞師從台大資工大老歐陽明，也是赫赫有名的通訊及多媒體實驗室成員。桃李滿天下的歐陽明，是著名的電腦圖學教授、也是訊連科技共同創人之一。

台大資工系已經有團隊在2000年前後作出一套虛擬人臉演講系統，藉由發音特徵來驅動虛擬人臉作出相對應的嘴形跟表情，但仍不夠逼真，需要進一步技術突破。

歐陽明十分鼓勵馬萬鈞出國見識，馬萬鈞於是申請當時國科會的「千里馬計畫」，獲得到南加大的研究機構Institute for Creative Technologies 一年的機會，他的指導老師正是戴貝克。

「我看過戴貝克的論文，他做數位演員的研究發展，我很欣賞，出發前和他做電話Interview，等於出發前就只和Paul講過一句話就去了，」馬萬鈞打趣地回憶。

就這樣，2005年9月馬萬鈞飛去了鄰近好萊塢的南加州大學。跟著戴貝克的團隊做數位演員技術。幫演員的數位影像去背，好讓演員可被「放入」任何環境。

廣告

千里馬計畫只負擔一年的費用，但一年後馬萬鈞幸運地獲得一個機會。2006年戴貝克的實驗室改朝換代，願意雇用馬萬鈞擔任助理，沒想到一留就是兩年。這兩年馬萬鈞開始著手做「臉部捕捉計畫」，就是奧斯卡得獎的技術源頭，也是馬萬鈞的博士論文。

運用燈光和照相技術　革新臉部捕捉技術

然而臉部捕捉技術並非全新技術，早在20年前，電影《駭客任務》的年代就有數位演員的技術，只是效果不好。早年都要用石膏模，像做牙齒模一樣取真人的臉模。

「非常不舒服，還要插兩根吸管到鼻子才能呼吸，要笑、要哭，表情也很難做出來，」馬萬鈞坦言。

他和實驗室的同僚研究出，利用特殊燈光和照相技術，捕捉人臉細節的技術。

利用光源不同，人臉陰影不同，分析人臉上點的陰影變化，可以知道臉的深度，甚至可以知道臉的毛孔有多深，皺紋有多深。

馬萬鈞和實驗室的同僚共同研究出，利用特殊燈光和照相技術，捕捉人臉細節的技術，影響了10年來好萊塢電影產業。（USC Institute for Creative Technologies）

「我們做過0.001公釐（的精細度），就可以把很多細節抓出來，等於把相機變成像在顯微鏡下看臉的細節，」馬萬鈞比喻，這樣連皮膚細微的毛孔都可以做出和真人無異的狀態。

廣告

之後如何把擬真的表情從人臉模擬到3D模型上？

就是讓演員身上穿上布滿感應球的服裝，並且在臉部依照肌肉及五官位置標記感應點，再用攝影機拍攝圖片，去推估每個感應元件的3D座標，再把這些3D座標對應至3D數位演員模型上，驅動演員臉部表情與動作。

「大腦知覺對人臉很敏感，一看就知道真假，所以精密度很重要，」他說。

一篇「橘子」研究論文　被好萊塢大導演看上

2007年，馬萬鈞發表一篇論文，用橘子作為測試體，因為橘子表面的孔，類似人臉的毛細孔，於是就用來代替人臉做捕捉與顯示的測試。

「當時沒有人能夠用電腦以假亂真的用3D顯示出來，他（馬萬鈞）用橘子為例子，達到分不清真假的地步，」台大資工系教授歐陽明解釋，這是馬萬鈞技術獨特之處。這項突破出現前，也就是2007年以前，電影中的數位演員人臉都無法突破達到真人、假人難辨的程度。

廣告

這份如今在數位媒體、電腦特效圈被稱為「Orange Paper」的著名論文，2007年發表後，此技術就被應用到大導演卡麥隆拍攝、2009年上映的史上最賣座電影《阿凡達》。

《阿凡達》的一大技術挑戰，是要將包括雪歌琳薇佛等著名演員的表情，投射在電影中他們的納美人化身一樣。

馬萬鈞創新的人臉捕捉技術，集結了數位特效，在虛擬空間中建構了擬真的人臉。無論是電影中納美人臉部喜怒哀樂的表情，各種人類才有的細膩表情，都生動地呈現出來。

軟體工程師出身　一腳踏進全球電影工業王國

回憶當時和大導演的團隊合作，馬萬鈞能記得當時的緊張。《阿凡達》是在夏威夷取景，所以眾演員要飛來洛杉磯做臉部掃描，對緊湊的電影業來說：時間就是金錢。

「第一次飛來測試，效果沒有很理想，沒有達到卡麥隆的要求。最初儀器校正需要的時間很久，還沒校正好，演員就必須上場掃描，」馬萬鈞回憶，當時實驗室的儀器電線外露，電路板插得凌亂，不斷出問題，就像在車庫拼湊起來的一樣。

廣告

好在卡麥隆給了馬萬鈞第二次機會嘗試，拍了很多表情，效果非常好。

阿凡達之後，馬萬鈞這個突破性技術至今已經運用在將近30部電影，包括《班傑明的奇幻旅程》、《玩命關頭7》、《鋼鐵人》，到今年大片《艾莉塔》。

就這樣馬萬鈞一腳踏入全球最頂尖的電影工業王國，推進了電影產業的進程。

從大學就讀台大資工系、資工所、博士班，如今馬萬鈞的成就也證明了台灣培養出的軟體人才，足以站上世界舞台。（馬萬鈞提供）

馬萬鈞和電影工業的緣分並沒有隨著畢業而斷掉，2008年回到台灣完成博士論文畢業後，原本要回美國南加大繼續跟戴貝克作研究，這時紐西蘭的Weta Digital找上馬萬鈞。

當時Weta Digital 要拍魔戒前傳《哈比人》，需要做許多臉部表情技術，就找馬萬鈞去當研究員。在風景優美的紐西蘭，馬萬鈞4年內做了8部電影。

廣告

Weta Digital 專長做數位演員和動態捕捉，當時馬萬鈞參與《猩球崛起》的製作，那些猿猴都是人類演員先演好，再置換成猿猴。最特殊的一次經驗就是在拍攝電影《玩命關頭7》，拍攝到一半主角保羅沃克車禍死亡，當時他還剩下幾百個鏡頭沒拍。

「我們是用驅動數位演員的技術重建回來，用人的動態捕捉技術來做，」馬萬鈞透露。

從實驗室、電影特效公司到Google　電腦繪圖是永遠的最愛

之後，馬萬鈞在南加大的「伯樂」戴貝克加盟Google，進行VR及AR相關的研究，又把默契十足的馬萬鈞找進團隊。馬萬鈞和戴貝克便以Google員工之姿，拿下了今年的奧斯卡科學技術成就獎。

「電腦圖學就是一個視覺化的技術，是一種應用，我們實驗室有很多產學合作,，就是希望要有對產業的direct impact（直接影響），」創辦過京辰科技的慧景科技共同創辦人黃建峰說。大馬萬鈞兩屆的黃建峰，也是出身歐陽明所在的通訊及多媒體實驗室。

對馬萬鈞來說，無論在學校實驗室、電影特效公司，還是現在在Google擔任軟體工程師，他都是當年那個熱愛電腦繪圖的研究人員。

「我真的很喜歡電腦繪圖，是因為可以用電腦畫出任何想畫的東西，」馬萬鈞說。

他最記得當年在歐陽明的課堂上，歐陽明要學生用三D模型化系館，「我覺得很有啟發性，有模型，無論什麼角度我，就可以畫出東西，而且畫得很真實，」他說。

拿下奧斯卡獎，馬萬鈞也證明了台灣培養出的軟體人才，足以站上世界舞台，帶給世界美好的影響與改變。（責任編輯：吳凱琳）

【延伸閱讀】
蘋果公司視覺指導是台灣人！徐想想：「好」是「最好」的敵人
不只是奪下首面獎牌，她用數位漫畫替失語的台灣發聲
柏克萊史上第一位在畢業典禮致詞的台灣人　獨家專訪葉采衢