AI偷流量？內容創作者自救：AI爬蟲，按次收錢！

然而，當 Google 代勞搜尋時，人們就不會再造訪那些提供資訊的網站。根據 Similarweb 的估算，截至 6 月的過去一年中，全球（由人類產生的）搜尋流量下降了約 15％。雖然某些類型網站（如：同好者網站）尚未受創，但遭到重創的正是那些過去經常出現在搜尋結果中的網站類型。科學與教育類網站的訪客數減少了 10％，參考資料類網站減少了 15％，健康資訊網站則下滑了 31％。

對依賴廣告與訂閱營收的企業而言，流量的流失意味著收入減少。擁有《People》和《Food & Wine》等媒體品牌的 Dotdash Meredith 執行長沃格爾（Neil Vogel）表示，「我們與 Google有很長一段時間維持非常良好的合作關係……但他們打破了協議。」三年前，該公司網站有超過 60％ 的流量來自 Google，如今只剩下約 35％。沃爾格直言，「他們竊取我們的內容來與我們競爭。」

廣告

儘管 Google 主張自己是合理使用網站內容，但 Similarweb 估計，自從 Google 推出 AI 摘要以來，新聞相關搜尋沒有點擊任何連結的比例已從 56％ 上升至 69％。換言之，十個人中有七個獲得答案後，不會點進提供答案的網站。

Stack Overflow 執行長錢德拉塞卡（Prashanth Chandrasekar）指出，「網際網路的本質已徹底改變。」他直言，AI 基本上掐斷了大多數內容網站的流量。隨著訪客減少，Stack Overflow 上的提問數量也跟著下降。以志工為基礎的維基百科也警告，AI 摘要若未註明來源，會「阻斷人們連上與貢獻維基百科的途徑。」

為了挽回流量與收入，許多大型內容製作者正與 AI 公司進行授權協議談判，並以訴訟相逼。《華爾街日報》與《紐約郵報》母公司新聞集團（News Corp）執行長湯姆森（Robert Thomson）將這種策略稱為「又哄又告」（wooing and suing）。新聞集團已經與 OpenAI 達成協議。與此同時，旗下兩家子公司已對 AI問答引擎 Perplexity 提起兩樁訴訟。《紐約時報》與亞馬遜達成協議，同時控告 OpenAI。其他類似的交易與訴訟也正如火如荼地進行中。

廣告

法院、川普都支持AI 公司

但這種做法仍有侷限性。目前法院多傾向支持 AI 公司。上個月，加州兩起著作權訴訟裁定結果有利於被告 Meta 與 Anthropic，兩家公司皆主張訓練模型使用他人內容屬「合理使用」。川普似乎也支持矽谷的立場，認為應優先發展 AI 技術、以免被中國超越。他任命支持科技發展者擔任 AI 顧問，甚至在美國版權局局長公開表示訓練 AI 使用受著作權保護內容未必總是合法之後，將她革職。

相較於使用資料來訓練模型，AI 公司相對願意為了持續取得資訊付費。但目前已簽署的授權協議規模都不大。例如，論壇網站 Reddit 將使用者創作的內容授權給 Google使用，每年據稱可以收取 6000 萬美元授權費。但2 月份，Reddit公佈搜尋流量表現不如預期、用戶成長放緩後，市值一度腰斬（蒸發超過 200 億美元）。

廣告

更大問題是，網路上有幾億個網站，大部份規模都太小，既無力「哄」也無法「告」。即便這些網站的內容整體而言對 AI 訓練不可或缺，單一網站的談判力卻極低。即使集體談判可能效果較佳，反壟斷法卻禁止這類行為。有些網站選擇阻擋 AI 爬蟲，但這樣做也等於徹底放棄被搜尋到的機會。

解方一：AI 爬蟲要付錢

軟體服務提供商或許能助一臂之力。Cloudflare 現在會詢問所有新客戶是否願意讓 AI 爬蟲工具存取網站內容並指定用途。Cloudflare的規模龐大讓它比其他平台更有機會幫助內容網站集體施壓。目前他們正在測試一套「按爬取次數收費」的系統，讓網站向 AI 爬蟲工具收取進站費。普林斯表示，「我們必須訂出遊戲規則。」他理想中的世界是「人類免費讀內容，但機器人得付大錢。」

解方二：機器人付費牆

另一種解方由新創公司 Tollbit 提供。Tollbit自稱「機器人的付費牆」。這套系統允許網站對 AI爬蟲工具設定不同的收費標準。例如，雜誌網站上的新文章比舊文章貴。2024 年第一季，Tollbit 為包含美聯社與《新聞週刊》在內的 2000 家內容製作者處理了 1500 萬筆這類微型交易。執行長潘尼葛拉希（ Toshit Panigrahi ）指出，傳統搜尋引擎鼓勵製作同質內容（像是「超級盃幾點開始？」），而付費機制則有助於鼓勵創作者製作獨特內容。有一家地區性報紙就是 Tollbit 平台上每次爬蟲費用最高的網站之一。

廣告

解方三： AI 廣告收益，應與媒體共享

還有一種模式來自 ProRata。這家公司由 1990 年代發明「按點擊付費」廣告的葛羅斯（Bill Gross）創辦。他主張，AI 答案旁邊所顯示的廣告，其收入應依據內容貢獻比例回饋給原始網站。ProRata 自有的問答引擎 Gist.ai 已與超過 500 家合作夥伴（如《金融時報》、《大西洋月刊》）共享廣告收益。目前 Gist.ai 對 Google 並不構成威脅，但葛羅斯表示，他的目的是「帶頭示範一個公平的商業模式，讓其他人仿效。」

與此同時，內容製作者也開始重新思考商業模式。「網路的未來不全繫於流量，」錢德拉塞卡表示。他已打造出Stackflow獨家的企業訂閱產品 Stack Internal。新聞出版業也在為「零 Google」時代做準備，透過電子報、App 來觸及讀者，並將內容移至付費牆之後，或在實體活動中發佈。音訊與影音內容目前在技術與法律上對 AI 來說仍較難做成摘要。根據 Similarweb，AI 問答引擎最常導流的網站其實是 YouTube。

並非所有人都認為網路正在衰退。Google 搜尋產品副總裁史坦（Robby Stein）認為，網路正處於「極度擴張的時刻」。隨著 AI 降低內容創作門檻，網站數量不斷增加。Google 的爬蟲機器人發現，過去兩年間網頁總數增加了 45％。AI 搜尋讓人得以用全新方式提問。例如，拍下書架照片，請求推薦下一本適合的書，這也可能帶動流量成長。使用 AI 查詢時，AI 可能讀取數百頁內容以提供一個答案，所涉來源比人類讀者範圍更廣。因此整體而言，被「瀏覽」的網站數比過往都還多。

至於外界質疑 Google 造成造訪網頁的人數減少，史坦表示公司尚未觀察到明顯的點擊數下滑，但拒絕公開具體數據。此外，人們造訪網站的次數減少也可能是出於其他原因，像是花更多時間在社群媒體或收聽 Podcast。

過去，社群平台、智慧手機應用程式都曾被認為會「殺死網頁」，但這些預言都沒有成真。AI 或許是網際網路迄今面臨的最大威脅。如果希望維持目前的網路樣貌，網站就必須找到新的方式將內容變現。

「大家明顯偏好 AI 搜尋。如果要讓網路、民主與內容創作者得以存續，AI 搜尋就必須與創作者共享收益，」葛羅斯如此下了結語。

（本文由「經濟學人」獨家授權轉載）