在 Mozilla 處理 Firefox 網(wǎng)絡(luò)兼容性問(wèn)題的工程師 Dennis Schubert 近期指責(zé)大模型公司瘋狂爬取內(nèi)容導(dǎo)致網(wǎng)站負(fù)載過(guò)高而運(yùn)行變慢的帖子火了

原標(biāo)題：“要點(diǎn)臉吧！”大模型巨頭“吸血”網(wǎng)站資源無(wú)底線，被惹怒的開(kāi)發(fā)者來(lái)“復(fù)仇”了！
文章來(lái)源：AI前線
內(nèi)容字?jǐn)?shù)：8384字

大模型引發(fā)的互聯(lián)網(wǎng)危機(jī)：開(kāi)發(fā)者們的困境與反擊

近期，Mozilla 工程師 Dennis Schubert 的一篇文章引發(fā)熱議，文章揭露了大模型公司瘋狂爬取數(shù)據(jù)導(dǎo)致網(wǎng)站負(fù)載過(guò)高、運(yùn)行緩慢的嚴(yán)重問(wèn)題。這篇文章道出了許多開(kāi)發(fā)者的心聲，也引發(fā)了關(guān)于如何應(yīng)對(duì) AI 的廣泛討論。

1. 大模型的瘋狂行為

Schubert 以自身網(wǎng)站為例，指出其 70% 的服務(wù)器負(fù)載來(lái)自大模型訓(xùn)練操作。GPTBot、Amazonbot 和 ClaudeBot 等反復(fù)爬取內(nèi)容，每 6 小時(shí)返回一次，嚴(yán)重影響網(wǎng)站性能，甚至引發(fā) DDoS 攻擊。大型網(wǎng)站如 iFixit、Read the Docs 和 Freelancer.com 也遭遇了類似的攻擊，網(wǎng)站一度癱瘓。

2. 開(kāi)發(fā)者們的無(wú)奈與反擊

面對(duì) AI 的肆虐，開(kāi)發(fā)者們嘗試了多種方法進(jìn)行防御。robots.txt 文件被廣泛使用，但許多無(wú)視該協(xié)議。一些開(kāi)發(fā)者開(kāi)始使用 Cloudflare 等工具屏蔽請(qǐng)求，或在 robots.txt 中添加抓取延遲。更激烈的反擊手段則包括開(kāi)發(fā)插件（如 AI Poison Pill），用垃圾內(nèi)容“毒害”，或返回超大容量文件消耗資源。

3. 新聞媒體的困境與選擇

新聞媒體是 AI 的主要目標(biāo)之一。超過(guò)半數(shù)新聞出版商選擇屏蔽 AI ，但這種做法的法律效力尚存爭(zhēng)議。一方面，robots.txt 的法律地位不明確；另一方面，用戶將網(wǎng)站內(nèi)容用于大模型訓(xùn)練的行為難以阻止。一些新聞機(jī)構(gòu)也開(kāi)始探索付費(fèi)爬取的可能性。

4. 版權(quán)問(wèn)題與倫理爭(zhēng)議

AI 的廣泛使用引發(fā)了嚴(yán)重的版權(quán)問(wèn)題。大模型利用爬取的內(nèi)容進(jìn)行訓(xùn)練，再與原創(chuàng)作品競(jìng)爭(zhēng)，引發(fā)了藝術(shù)家和內(nèi)容創(chuàng)作者的強(qiáng)烈不滿。音樂(lè)生成 AI 與唱片公司之間的沖突，也反映了這一矛盾的復(fù)雜性。

5. 未來(lái)的挑戰(zhàn)與應(yīng)對(duì)

AI 問(wèn)題需要行業(yè)共同努力解決。開(kāi)發(fā)者需要更有效的防御手段，大模型公司需要更負(fù)責(zé)任的爬取行為，法律法規(guī)也需要跟上技術(shù)發(fā)展的步伐，明確 robots.txt 等工具的法律效力，并對(duì) AI 行為進(jìn)行規(guī)范，才能平衡技術(shù)發(fā)展與內(nèi)容創(chuàng)作者的權(quán)益。

總而言之，AI 帶來(lái)的問(wèn)題已經(jīng)成為互聯(lián)網(wǎng)生態(tài)面臨的重大挑戰(zhàn)，需要各方共同努力，尋找合理的解決方案。

聯(lián)系作者

文章來(lái)源：AI前線
作者微信：
作者簡(jiǎn)介：面向AI愛(ài)好者、開(kāi)發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。