IT之家 7 月 11 日消息,據外媒 Ars Technica 今日報道,Cloudflare 正采取行動遏制 AI 網絡爬蟲無序抓取數據的現象。首席執行官 Matthew Prince 表示,要取得真正的成效,關鍵還在于主流 AI 公司能否參與合作 —— 但他們很可能完(wan)全不愿配合。
Cloudflare 日前推出了一項新的“按次收費抓取”機制,意在反制從開放網絡中源源不斷抓取內容、卻從未付費的 AI 公司。Prince 指出,這(zhe)些從網絡中攫取價值的公司理應為這(zhe)項機制提供支持。

他在社交平臺 X 上參與討論時介紹了這項新舉措,并透露谷歌的 Gemini 網絡爬蟲已默認被屏蔽。IT之家從報道中獲悉,Cloudflare 正嘗試向谷歌施壓,要求其提供一種可行方式,讓網站能屏蔽 AI 功能,同時不影響傳統搜索引擎的索引爬蟲。
Prince 強調,技術上完全可以只屏蔽谷歌的 AI 爬蟲,不妨礙網頁被正常收錄。他還表示,Cloudflare 正在開發相關工具,幫助網站管理者更輕松實現這種區隔。盡管傳統內容索引一直是網絡的核心,但眼下“零點擊互聯網”的興起正在打破這一生態(tai)平(ping)衡。
Prince 表示,新計劃的目標是在保障人類用戶順暢訪問的同時,有效限制 AI 的濫用行為。最壞的情況可能需要通過立法,強制要求谷歌等企業將 AI 網絡爬蟲與普通搜索引擎分開運作。他指出,這在(zai)技術上并(bing)不(bu)復(fu)雜,但仍希望社(she)會能在(zai)不(bu)借助立法(fa)的情況下解決(jue)問題。
相關閱讀:
廣(guang)告聲明:文(wen)(wen)內含有(you)的對外跳轉(zhuan)鏈接(包(bao)括不限于(yu)超鏈接、二維碼、口令等形(xing)式),用于(yu)傳遞更多(duo)信息(xi),節省甄選(xuan)時間,結果僅供(gong)參考,IT之家所有(you)文(wen)(wen)章均包(bao)含本聲明。