「AI會在2030毀滅人類」Anthropic研究員離職，「AI末日論」到底真的假的？

專家更在意的是基於「系統失控」的風險。尤其當具備「遞迴自我改善」能力的超級智慧開始獨立追求自身目標時，極可能會將人類的福祉排除在外。

一個在學界常見的思想實驗是「迴紋針最大化」，指的是若一個超級AI接收到的唯一指令是「盡可能製造迴紋針」，它最終可能會決定將地球上的所有物質（包含人類）都轉化為迴紋針。

在更現實的推演中，失控的AI可能會透過散播新興生化武器，或是欺騙核武國家引發核戰，將消滅人類視為排除任務障礙的必要手段。

此外，即便AI不直接殺死人類，部分專家也擔憂發生「人類弱化」的情境，意即人類將所有關鍵決策與系統控制權交給機器，最終失去掌控命運能力，淪為被AI豢養的附庸。

然而，科技界與政界也有許多人對這種「末日論」嗤之以鼻，認為背後充滿商業與政治算計。

曾任川普非正式顧問的科技投資人薩克斯（David Sacks）等人質疑，頂尖AI公司不斷強調末日風險並呼籲政府監管，目的是透過推動嚴苛的法規來墊高市場進入門檻，進而扼殺資源較少的競爭對手。

部分批評者也指出，企業不斷宣揚AI具有「毀滅世界的能力」，本質上是為了推銷自家產品有多麼先進強大；同時，強調這種遙遠的科幻恐懼，能有效轉移公眾與監管機構的注意力，忽視龐大資料中心已經破壞環境、耗電等現實問題。

人類防線，目前走到哪裡？

面對潛在的失控危機，目前各國政府的防禦措施仍處於起步階段。

美國白宮近期要求頂尖AI開發商，在發布新模型的前30天需「自願」提交給政府，進行安全測試，但具體流程從未對外公開。

在立法層面，儘管有跨黨派議員提出了多項法案，例如要求開發商安裝「一鍵銷毀」機制、強制通報重大安全事件，也有人提議在監管機構建立新規則前「全面暫停」超級智慧的開發，但這些法案目前皆未獲得實質進展。

專家與離職研究員們警告，現行的防線遠遠不足。

今年七月，在Hugging Face事件後，來自Anthropic、OpenAI、Meta 和Google DeepMind等頂尖AI公司員工與研究員共同參與連署，呼籲唯有透過國家級甚至全球級的協調機制強制減緩開發步伐，人類才有時間在超級智慧問世前，找出有效控制它的方法。

然而，美國目前缺乏針對AI的聯邦級強制法規，且川普政府為了確保美國在與中國的AI競賽中佔上風，傾向採取輕度監管。

距離考克森的末日論究竟有多遠，不同立場的專家有不同說法。但可以預期，在缺乏政府強制介入的情況下，企業將持續陷入囚徒困境，沒有人會願意為了安全而率先停下來。

（資料來源：FT, WSJ, NYT, X）