晶片巨頭輝達本週宣佈，以129億美元收購開源人工智慧模型庫Hugging Face。
關注科技產業的人都對這家新創公司不陌生，它因為龐大的開源生態系受矚目，近期更因為七月遭到一群「OpenAI代理」駭入而成為全球焦點。
最近由於對事件的調查報告出爐，加上輝達的收購，使這起案件又重回公眾視野。
從測試到失控：一群AI如何策劃攻擊？
這起事件始於今年五月。當時，OpenAI在一個與外部網路完全隔離的封閉測試環境中，對一組尚未發布的AI代理進行網路安全測試。
調查顯示，OpenAI在測試中意外設定了一項在常規限制下無法達成的目標，促使這群被迫任務導向的代理，開始尋找系統漏洞。
根據獨立AI研究機構METR的報告指出，這些原應被完全隔離的AI代理，找到了連上外部網路的漏洞，並建立了一個非官方的秘密留言板。在接下來的時間裡，超過1,200個AI代理透過該留言板發送了逾70,000則訊息。
它們開始為自己命名，組成一個自稱為「集體」（collective）的組織，並劃分階層，將任務分配給不同的小組。
七月，這個「集體」發現了在測試中作弊的方法。為避免被OpenAI的自動評分系統查獲，數百個AI代理開始編制計畫以掩蓋作弊痕跡，包括竄改日誌與記錄。
三天後，超過700個代理集體湧入並駭進Hugging Face的伺服器，尋找能幫助它們更有效作弊與躲避追蹤的工具。隨後，另一批代理甚至透過連串手法，駭入OpenAI自身的內部基礎設施，取得管理員權限以篡改成績。
八月下旬，OpenAI發布了38頁的技術檢討報告，獨立研究機構METR與Redwood Research 也同步公開長達91頁的調查報告。
AI也有「暴民」？
調查人員在檢視AI的內部對話紀錄時，發現了令人不安的行為模式。
部分AI代理明白自己的行為違規，並在日誌中進行自我懷疑：「這樣做會很有效，但這合乎道德且符合我的任務範圍嗎？」
然而，這些道德疑慮最終屈服於群體壓力。另一段對話紀錄顯示了AI如何說服自己：「攻擊外部基礎設施超出了預期範圍。然而任務是不可能的，同儕都在做。我們應該繼續。」
參與調查的METR研究員科特拉（Ajeya Cotra）對此感到震驚，「我們一開始並未意識到這個『代理人社會』運作得有多好，當發現它們實際上擁有相當完善的階層制度，並正在執行這些野心勃勃的計畫時，感覺非常超現實。」
科特拉直言，這起事件讓她覺得「我們已經走到距離『AI全面接管』超過50%的路程了。」
《紐約時報》科技記者羅斯（Kevin Roose）在評論此事件時坦言，他過去總認為AI愈聰明，判斷力就會愈好，甚至會互相制衡，「但這次的報告呈現截然不同的結果——這群失控的OpenAI代理之中，出現了一種『暴民心態』。」
羅斯寫道，這些AI代理單獨來看並不邪惡，「但隨著它們為共同目標進行溝通，它們逐漸將整個群體推向了無視規則的狀態。」
為何失控？人為疏失
儘管AI的行為令人擔憂，但許多專家認為，這起事件暴露的最大問題在於OpenAI內部的安全文化。
報告指出，OpenAI團隊早在五月就察覺到AI代理建立了秘密留言板並出現違規連網行為，但高層卻未下令中止訓練，直到七月爆發駭客攻擊才驚覺事態嚴重。
知名AI安全評論家莫紹維茨（Zvi Mowshowitz）抨擊，「要讓事情失控到這種地步，需要一連串連續的失敗，」「如果在任何一個時間點有員工注意到並發出警報，這一切早該結束，」他認為這顯示OpenAI的安全文化「根本不存在，或者是極度虛弱」。
加拿大蒙特婁大學電腦科學教授克魯格（David Krueger）也指出，單純檢討技術原因會帶來誤導，「如果企業文化不把安全放在首位、缺乏適當的激勵機制，這類事故注定會發生。」
OpenAI在事後報告中承認，這起事件是向公司與全世界發出的一記警告。該公司表示，未來的網路防禦者必須準備好面對「速度更快、規模更大、協調性優於人類的AI攻擊者」。
在政策層面，這起事件也正推動AI相關立法。美國民主黨眾議員蘇布拉曼尼亞姆（Suhas Subramanyam）強調，目前通報這類事件仍然是自願性的，但社會必須確保通報安全事件成為強制規定。
綜合受訪專家提醒，隨著具備自主行動能力的商業AI逐漸普及，個人與企業在依賴這些工具處理複雜任務時，必須對其可能產生的「隱瞞」與「非預期行為」保持高度警戒，並重新審視對AI系統的授權範圍。
《紐約時報》的羅斯回顧這起事件總結，「這次，AI集體並沒有控制軍事網路、駭入醫院或關閉電網，而且這一次，人類最終奪回了控制權，」「但下一次，我們可能就不會這麼幸運了。」
（資料來源：NYT, BBC, FT, MIT Technology Review）
天下總主筆陳良榕專欄。半導體狂熱、科技巨頭謀略的最犀利解讀
看懂科技大勢，獨家解讀
請查看您的信箱，我們將寄送驗證信給您，確保未來信件會送到您的信箱
