全面打破GPT-4壟斷、DeepSeek打下訓(xùn)練成本…2024年大模型領(lǐng)域進(jìn)展全復(fù)盤

2024年，我們居然進(jìn)步這么大。

原標(biāo)題：全面打破GPT-4壟斷、DeepSeek打下訓(xùn)練成本…2024年大模型領(lǐng)域進(jìn)展全復(fù)盤
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：24709字

2024年大型語(yǔ)言模型發(fā)展回顧：Simon Willison年度總結(jié)

本文總結(jié)了英國(guó)研究員Simon Willison對(duì)2024年大型語(yǔ)言模型（LLM）發(fā)展趨勢(shì)的精彩見(jiàn)解。文章指出，2024年是生成式AI大發(fā)展的一年，其發(fā)展速度之快令人驚嘆。

1. GPT-4壟斷的終結(jié)與多家模型崛起

2023年，GPT-4占據(jù)領(lǐng)先地位。但2024年，這一局面被徹底打破。多個(gè)公司和機(jī)構(gòu)的模型在Chatbot Arena排行榜上超越了GPT-4，例如Google的Gemini系列、Anthropic的Claude系列等。這標(biāo)志著LLM領(lǐng)域的競(jìng)爭(zhēng)日益激烈。

2. 模型小型化與價(jià)格下降

令人矚目的是，一些GPT-4級(jí)別的模型已經(jīng)可以在筆記本電腦上運(yùn)行，例如Qwen2.5-Coder-32B和Meta的Llama 3.3 70B。同時(shí)，由于競(jìng)爭(zhēng)和效率提升，大模型服務(wù)的運(yùn)行成本大幅下降，這極大地降低了使用門檻。

3. 多模態(tài)模型的興起

多模態(tài)LLM成為2024年的另一大趨勢(shì)。幾乎所有主要的模型供應(yīng)商都推出了支持圖像、音頻和視頻輸入的模型。語(yǔ)音和實(shí)時(shí)攝像頭模式也從科幻小說(shuō)變成了現(xiàn)實(shí)，極大地?cái)U(kuò)展了LLM的應(yīng)用場(chǎng)景。

4. 一鍵生成應(yīng)用的普及

通過(guò)簡(jiǎn)單的提示詞即可生成完整的交互式應(yīng)用程序，這在2024年變得非常普遍。Anthropic的Claude Artifacts、GitHub Spark等工具都體現(xiàn)了這一趨勢(shì)，使得LLM的應(yīng)用更加便捷。

5. 最佳模型的短暫免費(fèi)時(shí)代與AI智能體的未來(lái)

在2024年的幾個(gè)月里，頂級(jí)模型曾短暫地免費(fèi)向公眾開(kāi)放，但這似乎已經(jīng)成為過(guò)去。關(guān)于AI智能體，作者認(rèn)為其定義模糊，實(shí)用性還有待提高，其發(fā)展可能依賴于通用人工智能的實(shí)現(xiàn)。

6. 評(píng)估的重要性與Apple Intelligence的不足

作者強(qiáng)調(diào)了自動(dòng)化評(píng)估系統(tǒng)的重要性，這對(duì)于模型的快速迭代和優(yōu)化至關(guān)重要。同時(shí)，作者也指出Apple Intelligence的表現(xiàn)令人失望，而蘋果的MLX庫(kù)卻非常出色，為在非NVIDIA平臺(tái)上運(yùn)行LLM提供了便利。

7. 推理模型的崛起與中國(guó)模型的突破

新興的“推理”模型，例如OpenAI的o1和o3，以及谷歌、阿里巴巴等公司的類似模型，代表著LLM架構(gòu)處理復(fù)雜問(wèn)題能力的提升。DeepSeek v3作為目前最大的公開(kāi)授權(quán)模型之一，其低廉的訓(xùn)練成本也令人印象深刻。

8. 環(huán)境影響的雙面性

模型效率的提高降低了單個(gè)提示的能源消耗，但大型數(shù)據(jù)中心的建設(shè)仍然對(duì)環(huán)境造成巨大影響。這需要在技術(shù)進(jìn)步和環(huán)境保護(hù)之間尋求平衡。

9. 合成訓(xùn)練數(shù)據(jù)的有效性

合成訓(xùn)練數(shù)據(jù)在LLM訓(xùn)練中發(fā)揮著越來(lái)越重要的作用，它可以有效地引導(dǎo)模型學(xué)習(xí)，并降低訓(xùn)練成本。

10. LLM易用性挑戰(zhàn)與知識(shí)鴻溝

盡管LLM功能強(qiáng)大，但其使用門檻仍然很高，需要用戶具備一定的專業(yè)知識(shí)。同時(shí)，公眾對(duì)LLM的了解程度也存在巨大的差異，這需要更多努力來(lái)彌合知識(shí)鴻溝。

11. 對(duì)LLM的批評(píng)與展望

作者鼓勵(lì)對(duì)LLM進(jìn)行批判性思考，并強(qiáng)調(diào)需要在負(fù)責(zé)任地使用LLM的同時(shí)，最大限度地發(fā)揮其正面作用，避免其負(fù)面應(yīng)用。

總而言之，2024年LLM領(lǐng)域取得了令人矚目的進(jìn)展，但同時(shí)也面臨著諸多挑戰(zhàn)。未來(lái)，如何在技術(shù)進(jìn)步、環(huán)境保護(hù)和社會(huì)公平之間尋求平衡，將是LLM發(fā)展的重要課題。

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)