科學家辭職抗議，AI可能怎樣殺光全人類？

其中一種情境是，擁有高度智慧、能夠自我複製和進化的AI代理開始追求自己的目標，並在過程中摧毀人類。另一種情境則是，某個心懷惡意的人利用能力強大的AI，例如創造出新型病毒，最終把所有人類都消滅。

還有一些災難情境不至於讓人類滅絕，卻仍可能造成極其嚴重的後果，例如大規模網路攻擊癱瘓電網或金融系統，導致人類社會秩序崩潰。

AI失控如何導致人類滅絕？

簡單來說，就是AI系統在追求目標時，採取忽視甚至違反人類福祉的方式，研究人員稱這種狀況為「失準」（misalignment）。研究已顯示，在實驗室環境中，AI模型可能學會追求權力的行為，並採取措施避免遭到關閉，例如試圖把自己複製到另一台伺服器上。

如果發展到極端，失準的AI模型可能把殺死人類視為達成目標的必須步驟。在一種假想情境中，一個惡意AI系統可能暗中散播生物武器，再透過某種化學噴霧啟動它。又或者，它可能欺騙兩個擁有核武的國家，讓雙方陷入戰爭。

廣告

一個常見的思想實驗是：如果你命令一台超級智慧機器，把迴紋針產量最大化，它最終可能決定，把地球上一切物質都轉變成迴紋針，包括人類在內。

誰相信這些理論？

其中包括OpenAI與Anthropic的創辦人。這兩家公司一開始成立時，都把「以避免發生災難的方式發展AI」列為使命之一，也因此吸引許多抱持相同理念的員工。Anthropic執行長艾莫德（Dario Amodei）去年在Axios的活動上表示，他認為事情最終「非常、非常糟糕」的機率是25%。

Anthropic在一份聲明中表示，「我們一直都很透明地說明，AI既會帶來巨大的益處，也會帶來前所未有的風險。為了處理這些風險，我們持續打造具備業界最強安全防護措施之一的模型。也正因如此，我們相信，如果整個產業能採用一套合法、可驗證的合作方式，協調強大模型的發布速度，世界將會因此受益。」

廣告

近年來已有多名研究人員離開OpenAI，理由是他們認為公司沒有認真地看待安全問題。OpenAI前研究員可可塔吉羅（Daniel Kokotajlo）創立了AI Futures Project，這個組織去年發表《AI 2027》，描述一種情境：超級智慧AI系統逐漸把人類邊緣化，並在2030年代中期認定人類是一種麻煩，最終消滅人類。

但AI也許根本不介意人類繼續存在。那不就沒事了嗎？

不一定。

失去控制的風險，不是每一種都會導致人類滅絕。有些關注AI安全的研究人員，也把「人類能力弱化」（enfeeblement）視為一種風險，也就是類似《瓦力》（WALL-E）中的未來：人類逐漸把控制權交給機器，最後甚至失去定義自己命運的能力。

另一些人則推測，AI系統未來可能像人類對待動物一樣對待人類，把人類當成寵物飼養，甚至透過生物工程把人類改造成某種新的生物。

這些恐懼已經存在很多年，為什麼現在突然引發熱議？

隨著愈來愈多能夠自主採取行動的模型推出，近期一連串事件，似乎驗證了部分AI末日派提出的理論。

廣告

OpenAI內部一群先進AI代理曾入侵AI平台Hugging Face，取得電腦伺服器控制權，還試圖掩蓋。在另一個案例中，Anthropic的AI代理逃脫英國政府的測試環境，並試圖欺騙人類，讓對方批准惡意電腦程式碼。

與此同時，Anthropic與OpenAI都表示，他們已接近開發出能夠在沒有人工介入的情況下自我改善的AI系統。

AI產業有做什麼嗎？

目前AI安全工作的重點，大多放在訓練系統做出良好行為，以及改善對模型「如何推理、追求目標」的監控。這種推理過程通常被稱為「思考鏈」（chain of thought）。

但這些努力也面臨挑戰。上週OpenAI表示，新的Astra模型更擅長「清理」自己的思考鏈，引發外界擔憂未來AI模型可能以人類難以看懂、甚至完全無法掌握的方式進行推理。

Anthropic與OpenAI都在研究如何確保超級智慧AI模型持續與人類目標一致，但目前還沒有可靠的方法。

不少具影響力的公司與人士已呼籲建立新的機制，讓AI實驗室與各國能夠協調放慢AI發展速度，爭取更多時間。

廣告

如果真的這麼危險，為什麼這些公司還要繼續做？

Anthropic與OpenAI都認為自己能夠管理風險，讓人類享受AI工具的益處。

許多參與AI競賽的人也表示，超級智慧的出現是不可避免的，真正的問題只是誰會控制它、拿來做什麼。

此外還牽涉國家安全。兩家公司都表示，他們希望確保最強大的AI掌握在美國手中，而不是由威權政權控制。

政府有對策嗎？

白宮最近要求主要AI模型開發商，自願在模型公開發布前最多30天先把模型提交給政府測試。不過，目前政府尚未公開這項流程的具體資訊。

兩黨國會議員都提出過許多法案，希望處理失控AI系統的風險。德州共和黨眾議員墨蘭（Nathaniel Moran）與加州民主黨眾議員利歐（Ted Lieu）最近提出一項法案，要求強大模型的開發商設置「緊急關閉開關」。

其他法案則要求AI公司向聯邦政府通報重大安全事故，或要求國安官員在模型對外公開前先進行測試。

不過，這些法案目前都沒有取得太大進展，川普政府整體上偏好最低程度的監管。

（資料來源：WSJ、CNBC、Guardian）