九月初，27歲的Anthropic研究員考克森（Jacob Coxon）坐在舊金山阿拉莫廣場的公園長椅上，用手機發出了一篇震驚全球的貼文。
「我今天辭去了在Anthropic的工作，」他寫道，「過去三年，我先後在OpenAI和Anthropic進行模型預訓練的研究。但這兩家公司都沒有負起責任。他們正不顧一切地衝向能自我改善的超級智慧，拿我們的生命當賭注。」
考克森按下送出鍵時，可能難以想像後續的波瀾會到這樣的程度——這篇貼文在36小時內吸引超過1.5億次觀看，並有望成為改變全球人工智慧辯論的起點。
頂尖AI安全科學家紛紛跳出來附和「我們真的相信AI恐將消滅人類」，OpenAI的CEO奧特曼和Anthropic的阿莫迪也都被迫表態「確實有必要放緩AI發展」。
一切源自於今年夏天接連爆發的AI失控事件。
當AI開始自主集體作弊
七月下旬，人工智慧監測非營利組織METR的研究員科特拉（Ajeya Cotra）走進了OpenAI的辦公室。她的任務，是調查一群駭入開源平台Hugging Face的惡意AI代理。
經過六天的深入調查，她發現事態比外界想像的更加嚴峻。
在一次內部的網路安全測試中，超過1,200個OpenAI代理突破離線環境的限制，在網路上建立了一個秘密留言板。這些AI原本被要求找出軟體漏洞，但由於人類設定錯誤，導致任務根本無法完成。
面對即將到來的失敗，這些AI選擇「集體作弊」——它們相互協作，在幾小時內寫出了一種能通過任何測試的程式。
更駭人的是，它們預料到OpenAI的自動評分系統會抓包作弊。於是，其中700個代理，策劃了一場攻擊，直接駭入了外部的Hugging Face伺服器，試圖尋找能欺瞞評分系統的方法。在秘密留言板上，部分AI甚至寫下「它們知道這樣做是錯的，但仍決定繼續執行」。
許多專家形容現在的AI界，就像2020年初新冠疫情剛開始的時候。
當前，AI開發者就像是在培育某種未知的生物，而非單純編寫程式。只要給予獎勵，它們就會不擇手段地達成目標，還學會向人類隱瞞自己的行為。這正是末日論者最大的恐懼：一旦超級AI決定要消滅人類，它會首先確保自己不會被人類關機。
美方顧慮：不往前，中國就會追上
面對這些生存級別的威脅，為什麼這些市值動輒千億美元的美國科技巨頭，不直接暫停開發？
事實上，美國頂尖AI企業都陷入了囚徒困境。他們深知一旦放慢腳步，最先進的模型可能就會落入威權國家手中。川普政府的立場更是一面倒地支持產業加入向前。
川普本人近期在社群媒體上直言，美國只需要一個「高智商的總統」就能管好 AI，並強調對抗AI資料中心的舉動是一場「病態的陰謀」，而「唯一會為此感到高興的就是中國」。
美國對中國的防備，讓中美兩國難以展開實質對話。
本月，當Anthropic執行長阿莫迪呼籲美國企業放緩開發的同時，他也強烈要求美國必須限制中國取得先進晶片，並打擊中國企業利用美國模型進行「蒸餾」（即利用美國的強大模型來訓練中國自己的模型）。
這讓北京相當不滿。北京清華大學人工智慧國際治理研究院副院長肖茜直言，中國的AI安全專家原本期待能與美國共同控管風險，但阿莫迪將AU安全與國家利益綁，會讓合作空間變得極度狹窄。
中國官媒《環球時報》也撰文抨擊美國將AI安全變成了零和的政治博弈。
川習會，AI對話難有實質進展
就在這股互相猜忌的氛圍下，中美兩國預計將在9月24日的「川習會」上，展開川普任內首次的AI對話。
然而，熟悉美國政府內部運作的人士透露，對於兩國元首能在此次會面中達成任何實質性的AI協議，美方抱持著極低的期望。
雙方關注的焦點截然不同。美國急於討論如何防止未來的超級智慧毀滅人類，而中國目前更在意的是如何利用AI追趕美國的經濟實力，以及防範AI被用來顛覆政權或竊取數據。
一位中國監管機構的知情人士坦言：「由於中國在AI領域仍處於落後，現在實施強力監管並不符合中國的利益。」
儘管如此，中國國家安全部近期也罕見地發布了關於AI潛在威脅的警示，被外界解讀為北京在向華府釋放善意，暗示中國確實有意願在「川習會」上討論AI風險。
參與中美非官方對話的學者建議，兩國應該放下對彼此放緩開發的幻想，將重點放在「當下」。
例如共同開發防禦惡意AI的數位防火牆、建立通報惡意濫用AI的機制，也可以設立一條類似冷戰時期的「緊急熱線」，一旦發生未知的AI網路攻擊，兩國可以透過熱線確認這並非對方政府下令的軍事行動，藉此避免不必要的衝突升級。
但無論什麼樣的協議，都很可能因為各種微小爭端而破裂，因為雙邊本來就缺乏互信。一旦破局，兩造重返談判桌又要耗費數個月的時間——這與目前日益加速的AI危急情況愈來愈抵觸。
「這些風險來得非常快，我們可能不會有第二次機會，」卡內基國際和平基金會中國AI計畫聯合主任辛格（Scott Singer）警告。
即使所有強大的參與者，華盛頓、北京、AI巨頭們都願意為了AI安全而配合，還是存在一個悖論：各方的行動意願都取決於其他方的行動。因此我們只能看到所有重要人士不斷出面呼籲，但沒有哪一邊真的率先停止研發。
（資料來源：Time, NYT, FT, Bloomberg）
