當救世理想走向權力傲慢，本世紀最重要思想：有效利他主義

某種程度上，如今他們確實做到了。但諷刺的是，他們成立更多實驗室，因而加劇競爭，很可能反倒加快了AI的進展。

這一切如今也讓有效利他主義成為重要的政治力量。川普政府擔心，這場運動可能成功扼殺AI的發展。政府已因Anthropic拒絕讓旗下模型用於某些軍事用途，而與該公司爆發衝突。有效利他主義的重要人物承認，AI或許最終會帶來極大的福祉，但仍希望放慢其發展速度，以降低某個無法阻止的機器大腦失控的風險。AI可能為了追求與人類「不一致」（misaligned）的目標而暴衝。

美國內部有些批評者比較希望加快AI發展，以免中國在這場競賽中勝出。但他們抨擊「AI末日論」時，往往不是就事論事，而是把這群科技宅當成箭靶。他們聲稱，有效利他主義是一場狂熱分子的運動，既不民主、危險，又帶有邪教色彩。

廣告

這樣的批評未免過於粗糙。這場運動源於慈善，其初衷顯然值得肯定。有效利他主義者和《經濟學人》一樣信奉實證主義；尤其自從他們與網路上的「理性主義者」（rationalist）社群合流後，更加重視邏輯思考的運用。他們推崇理性甚於傳統或社會規範，為了追求真相，無論議題多麼具爭議性，都樂於熱烈辯論。

有效利他主義者一再成功預見AI的快速進展，同樣令人印象深刻。他們對這項技術可能危及人類的擔憂，也確有道理。9月28日，OpenAI在測試中發現最新模型似乎過於危險，因此取消了發布計劃。近來發生的許多安全事件，都與有效利他主義部落格多年前描繪的可怕情境頗為相似。

善意的計算，愈算愈離奇

然而，批評者警告有效利他主義者會得出一些古怪結論，這點並沒有錯。如同他們之前的功利主義哲學家，有效利他主義者將道德行為化約成一道最佳化（optimization）的問題：人們該如何為全體人類創造最好的結果？這套計算法淡化了「信守承諾」或「照顧家人」等身邊的道德義務。真正重要的，是不偏不倚地減少世上每一處的苦難。

廣告

因此，他們的道德計算會納入範圍極其廣泛的考量。人們很容易理解，合乎道德意味著幫助自己的鄰人。但有效利他主義者會追問：既然如此，為什麼不同樣努力幫助遠方的人？運動早期，他們鼓勵旗下那群成就非凡的年輕人投身金融和顧問業等高薪工作，並把賺得的財富用來行善，所創造的效益甚至可能高於自己投身慈善工作。

然而，隨著有效利他主義的力量增強，它也變得愈加奇特。有些有效利他主義者認為，人類與其他動物之間的道德界線並不明確，因為動物同樣會感受痛苦。因此，終結工廠化養殖，甚至幫助蝦類，都成為重要議題。他們看待時間的方式同樣違反直覺。尚未出生的人也應納入道德衡量——而這些人未來可能多達數兆。許多有效利他主義者都是「長期主義者」（longtermists），認為自己有義務防範遙遠未來的風險，即使這意味著排擠當下值得投入的公益事業，例如救助極端貧困人口。

廣告

一旦將這套計算法推向極端，得出的道德觀就不只是違反直覺，甚至可能令人反感。有些有效利他主義者認為，昆蟲數量如此龐大，因此從總體來看，昆蟲生命的價值甚至高於人類生命。有人主張，與其只讓數十億人真正過好日子，不如讓數兆個僅僅「勉強值得活下去」的人存在。甚至有人認為，AI本身的福祉終有一天也將至關重要。他們會把資源從今天正在受苦的人身上移開，轉而投入未來的人類或非人類生命。

尊崇理性並沒有錯。然而，從亞里斯多德到羅爾斯的道德哲學家都明白，如果一套論證把人帶到令人無法接受的境地，其中必定藏著某個錯誤環節。

廣告

有效利他主義者的本能，卻是樂於擁抱違反直覺的結論，即使那些結論看似荒謬乖張。問題之一，在於有效利他主義的論證無可避免地存在誤差。沒有人真正有能力權衡涉及當今數十億人的道德難題，更遑論計算延伸至遙遠未來的天文數字，其中還牽涉人數的不確定性、折現率、科技進展，以及無數其他變數。另一個問題則是，人類滅絕的後果實在太過嚴重，以至於在粗略的道德算術中，即使滅絕機率極低，也足以壓倒今天有血有肉的人所面臨的現實問題。

當救世理想走向權力傲慢

第三個問題是，當你試圖權衡數十億人的利益時，很容易忽略每一個人與生俱來的尊嚴。任何人只要手握試算表，再加上一套關於人類未來的宏大論述，距離自封為中央規劃者便只有一步之遙。

一旦自認掌握了道德權威，身邊一個普通人的權利、福祉與意見，似乎就不再那麼重要。

法國大革命據稱以理性為根基，最後卻把修女送上斷頭台。列寧也曾認為，掌握馬克思主義的知識份子，比工人自己更了解工人的利益。如果你真心相信自己代表所有人行事——更別提代表未來數兆人——最後可能會為形形色色的暴行找到正當理由。

所幸，有效利他主義者還遠不到要讓斷頭台重現江湖的地步。

真正值得擔心的是，掌控AI終有一天可能賦予他們巨大的權力，而矽谷有不少有效利他主義者認為，只有他們才值得被託付這項技術。這種想法令人不安。

有效利他主義者之所以主張人們應擔憂極其強大的AI，是因為這些機器可能會一味追求某個單一、卻致命錯誤的目標。人們同樣應該擔心的是：當一小群人掉進完全相同的陷阱時，會發生什麼事？

（本文由「經濟學人」獨家授權轉載）