原標題：Nature研究報告：AI的數(shù)據(jù)正在枯竭，研究人員該怎么辦？
文章來源：人工智能學家
內(nèi)容字數(shù)：10509字

引言

隨著人工智能（AI）技術(shù)的快速發(fā)展，特別是大型語言模型（LLMs）的崛起，研究人員正面臨數(shù)據(jù)獲取的挑戰(zhàn)。本文將探討數(shù)據(jù)耗盡現(xiàn)象、法律訴訟以及應(yīng)對策略等方面的問題。

1. 數(shù)據(jù)耗盡現(xiàn)象

AI研究人員在過去十年中依賴于擴大神經(jīng)網(wǎng)絡(luò)規(guī)模與數(shù)據(jù)集來提升模型能力。然而，Epoch AI的研究表明，預(yù)計到2028年，用于訓練AI模型的數(shù)據(jù)集規(guī)模將達到公共在線文本總量的上限。這意味著，AI可能會在未來四年內(nèi)耗盡可用于訓練的數(shù)據(jù)，導(dǎo)致“數(shù)據(jù)公地”危機。

2. 內(nèi)容提供者的限制

由于數(shù)據(jù)所有者（如新聞出版商）逐漸收緊內(nèi)容使用規(guī)則，限制網(wǎng)絡(luò)抓取數(shù)據(jù)，這加劇了數(shù)據(jù)短缺的問題。長普（Longpre）指出，2023年，受限制的標記在主要數(shù)據(jù)集中僅占不到3%，而預(yù)計到2024年，這一比例將上升至20%-33%。

3. 法律訴訟與合理使用

關(guān)于數(shù)據(jù)使用的法律訴訟正在增加，多個媒體公司以版權(quán)為由AI開發(fā)者。這些案件引發(fā)了“合理使用”的討論，如果法院支持數(shù)據(jù)提供者的經(jīng)濟補償請求，將進一步限制AI開發(fā)者的數(shù)據(jù)獲取。

4. 尋找新數(shù)據(jù)路徑

面對數(shù)據(jù)危機，AI開發(fā)者開始探索新的數(shù)據(jù)來源和策略。例如，利用社交媒體平臺的內(nèi)容，或使用合成數(shù)據(jù)來訓練模型。OpenAI表示，合成數(shù)據(jù)的生成量巨大，但也可能導(dǎo)致模型的學習質(zhì)量下降。

5. 從“大而全”到“小而精”

開發(fā)者們正在轉(zhuǎn)向小型、高效的LLMs，專注于特定任務(wù)。這些新模型依賴于更精煉的專用數(shù)據(jù)和改進的訓練技術(shù)，預(yù)計未來的AI發(fā)展將更多依賴于“更聰明的算法”，而非僅僅依賴于數(shù)據(jù)的數(shù)量。

結(jié)論

AI領(lǐng)域面臨的數(shù)據(jù)危機迫使研究人員和開發(fā)者重新思考數(shù)據(jù)獲取和模型訓練的策略。隨著法律和技術(shù)的變化，AI的發(fā)展可能會朝著更加高效和專業(yè)化的方向演進。

聯(lián)系作者

文章來源：人工智能學家
作者微信：
作者簡介：致力成為權(quán)威的人工智能科技媒體和前沿科技研究機構(gòu)