在鍵盤上隨意打進幾個字,等待雲端回應內容。這個不起眼的動作,中間傳遞的所有資訊,在AI時代,有了一個響亮的名字,叫做Token,中國翻譯成詞元。它不只是AI服務的計價單位,更是AI時代的新石油。
Token是AI模型處理資料的最小單位,AI模型只能看懂數字,因此你輸入的文字和資料,會透過分詞器(Tokenizer)切成片段,每一段就是一個Token,再轉為數字。輸入同樣的意思,用中文會比英文消耗更多Token,且不同公司計算Token的方式也不同。 Token是使用AI模型的計費基礎,從你對AI模型輸入的命令,上傳要分析的資料內容,到產生結果,每個流程都需要按Token收費。更重要的是,代理式AI出現後,由於代理式AI會自動推論、自動送出命令,重新讀取在AI系統裡的資料,等於自動幫你花掉Token,其對Token的消耗遠高於過去的對話式AI。是什麼?OpenAI的官方網頁解釋是,你輸入詢問AI的文字、上傳的圖片,都會換算為Token計算使用量。不只如此,包含這些資料儲存在AI的「記憶」中,或進行推理、存取這些資料,到最後回傳給你答案,全都要按照使用的Token數量計費。
天下總主筆陳良榕專欄。半導體狂熱、科技巨頭謀略的最犀利解讀
看懂科技大勢,獨家解讀
請查看您的信箱,我們將寄送驗證信給您,確保未來信件會送到您的信箱