- 天下Web only
2024年,Google開始在搜尋結果頁面的最頂端,提供用戶由AI生成的答案。這項名為「AI概覽」的新產品,已經成為現代人搜索後第一眼,或者也是唯一的閱讀對象。
然而,這項功能的準確度與潛在影響,一直在學界與業界備受爭議。
近日,《紐約時報》委託AI新創Oumi進行了一項研究,分析Google的AI概覽的準確度。
AI摘要給你,有多可信?
Oumi採用了業界廣泛用來衡量AI系統準確性的基準測試「SimpleQA」,分別在去年十月與今年二月進行了兩階段測試,一共進行了4,326次的Google搜尋。
數據顯示,當系統使用Gemini 2模型時,準確率為85%;升級至更強大的Gemini 3模型後,準確率提升至91%。
表面上看,「91%的準確率」似乎顯示模型正在進步,但將這樣的比例放入Google的實際使用規模中,該公司每年處理超過5兆次搜尋,代表AI概覽每小時會提供數千萬次、每分鐘數十萬次的錯誤答案。
天下總主筆陳良榕專欄。半導體狂熱、科技巨頭謀略的最犀利解讀
看懂科技大勢,獨家解讀
請查看您的信箱,我們將寄送驗證信給您,確保未來信件會送到您的信箱