- 天下Web only
今年初,矽谷科技公司才向員工傳遞鮮明的訊息:要在工作中盡可能多用AI。
這種建議讓「tokenmaxxing」(token最大化)一詞蔚為風潮(token指的是AI使用的一個單位),Meta、亞馬遜的員工甚至還在追蹤token使用量的排行榜上相互競爭。
然而,當OpenAI和Anthropic這類提供AI工具的公司開始將愈收愈貴的價格,「token最大化」的時代似乎開始走向另一個極端。
從AlphaStreet的數據發現,大約有300家公司在今年四、五月的財報電話會議中回應了有關人工智慧token的問題或擔憂。但一年前的同一時間,只有93家公司提到「token」一詞。
Meta上週告知員工,由於成本呈「指數級暴增」,將很快限制AI的使用;今年五月,Uber表示,其全年人工智慧支出預算在短短四個月內就已超支,並對部分人工智慧編碼工具設定了月度使用限額。沃爾瑪也對不同的AI工具設定了使用限額。
與此同時,亞馬遜和Meta已經悄悄退出token最大化排行榜。
Box的執行長賴維(Aaron Levine)則直言,「如何節省token預算,已經徹底成為最重要、最熱門的話題之一」。
對於AI模型公司來說,今年初token最大化的時代,Anthropic和OpenAI這兩家公司都報告了創紀錄的營收。目前,業界仍在觀察「token最小化」會對Anthropic和OpenAI的獲利產生何種影響。
為何會有這種混亂?
「最大的問題是這一切變化太快了,企業和員工都不知道該怎麼辦,」Neurometric執行長梅(Rob May)指出。
梅強調,強大的AI工具問世後,許多企業CEO不知道怎麼衡量員工的AI應用效果,「誰使用最多token」便成為最容易的指標,但這樣的想法最終導致了數量大於效率。
AI巨頭趁機追擊,OpenAI和Anthropic提供訂閱服務,每月費用從10美元到200美元不等,但客戶公司不僅需要支付訂閱費,還要負擔數萬名員工的token費用。使用的代幣越多,人工智慧的成本就越高。
像是「讓AI總結公司會議記錄」這樣的簡單任務,可能只需要幾百個代幣;而像「編寫程式碼來建立新產品或新功能」這樣更複雜的需求,則可能需要數萬個token。
在AI業界,每個月都有新模型推陳出新,價格也愈來愈可觀。例如Anthropic最新推出的人工智慧模型Fable的價格,是其前代模型Opus的兩倍。
《連線》先前曾採訪一家公司8x8,在過去一年半,該公司取消訂閱十種軟體和教育工具,將工作全數交給Anthropic的Claude來幫忙撰寫電子郵件、分析客戶回饋和編寫程式碼。
一開始,省下非常多成本,「讓我們的財務長很高興,」營運長尼布(Joel Neeb)表示,但近期8x8公司可能會開始限制員工使用Claude。原因正是公司內部對Claude新型號模型的使用量不斷上升,且該模型價格幾乎是同類產品的1.7倍。
「我們能否稍微降低模型的級別,仍然獲得相同的結果?」尼布目前正在絞盡腦汁。
該怎麼辦?
其他企業也在思考相同的問題。
AT&T人工智慧長馬庫斯(Andy Markus)認為,企業選擇功能相對簡單的AI模型,可以節省高達90%的成本。現在,AT&T的工程師會針對某些任務使用功能最強大的AI模型,而針對其他大部分任務使用功能較弱的模型。
看似完美的解決方案,但梅提醒,雖然市面上確實存在價格較低的模型,但許多員工已經養成了習慣:凡事都使用功能最強大的模型。
此外,如今的工作者不再僅僅與AI聊天機器人對話,而是部署AI代理來自動完成許多複雜任務。因此,取消功能更強的模型,也可能衝擊工作成效。
對於新一代的工作者而言,隱憂更加明顯。事實上,如今許多學校的理工科系現在已經不教手寫程式,而是教學生如何使用AI完成任務。當這群社會新鮮人走進職場,卻發現公司因為預算限制,沒有強大模型可以依靠時,會發生什麼事?
麻省理工學院研究員科斯米納(Nataliya Kosmyna)先前便曾警告,人們要做好可能發生停電或是各種狀況,而無法再如預期使用AI的心理準備。「token最小化」便是如今最新的一種突發情況。
(延伸閱讀:跟ChatGPT愈聊愈笨?MIT科學家罕見提前公開研究)
「當你總是要求一個由少數公司控制的工具為你代勞,沒有先發展出寫作或程式的技能,你就真的『沒有技能』了。屆時若發生什麼導致這些AI工具消失,你將無法在社會中生存,」科斯米納總結。
(資料來源:Wired, NYT, Bloomberg, The Information)