SmolLM2是一款由Hugging Face推出的緊湊型大型語(yǔ)言模型，專為設(shè)備端應(yīng)用而設(shè)計(jì)。該模型提供1.7B、360M和135M三種不同參數(shù)設(shè)置，滿足各種應(yīng)用需求和資源限制。SmolLM2在理解和執(zhí)行指令、知識(shí)推理以及數(shù)學(xué)問(wèn)題解決方面展現(xiàn)了顯著的能力提升。

SmolLM2是什么

SmolLM2是Hugging Face推出的緊湊型大型語(yǔ)言模型，旨在優(yōu)化設(shè)備端應(yīng)用，提供1.7B、360M和135M三種參數(shù)選擇，以應(yīng)對(duì)不同的應(yīng)用場(chǎng)景和資源條件。該模型在理解和執(zhí)行復(fù)雜指令、進(jìn)行知識(shí)推理及解決數(shù)學(xué)題目方面表現(xiàn)突出。通過(guò)采用監(jiān)督微調(diào)和超反饋優(yōu)化技術(shù)，SmolLM2能夠更精確地理解和響應(yīng)復(fù)雜的指令，并在文本重寫、摘要生成和函數(shù)調(diào)用等任務(wù)中展現(xiàn)出強(qiáng)大的性能。這使得SmolLM2特別適合用作智能助手、機(jī)器人及其他需要自然語(yǔ)言理解的設(shè)備端服務(wù)。

SmolLM2的主要功能

• 文本重寫：SmolLM2可以對(duì)文本進(jìn)行優(yōu)化重寫，使其更加簡(jiǎn)潔或符合特定風(fēng)格與要求。
• 摘要生成：模型能夠從長(zhǎng)文中提煉出關(guān)鍵內(nèi)容，以生成簡(jiǎn)明扼要的摘要。
• 函數(shù)調(diào)用：SmolLM2支持函數(shù)調(diào)用，特別適用于自動(dòng)編碼助手或需要與現(xiàn)有軟件無(wú)縫集成的個(gè)人AI應(yīng)用。
• 設(shè)備端運(yùn)行：SmolLM2可在本地設(shè)備上運(yùn)行，無(wú)需依賴云服務(wù)，適合對(duì)延遲、隱私和硬件限制有高要求的應(yīng)用場(chǎng)景。
• 多任務(wù)處理：該模型針對(duì)多種自然語(yǔ)言處理任務(wù)進(jìn)行了優(yōu)化，適合各種應(yīng)用程序，尤其是在與云服務(wù)連接受限的環(huán)境下。

SmolLM2的技術(shù)原理

• 后訓(xùn)練技術(shù)：SmolLM2系列采用先進(jìn)的后訓(xùn)練技術(shù)，包括監(jiān)督微調(diào)（SFT）和直接偏好優(yōu)化（DPO），增強(qiáng)了模型處理復(fù)雜指令和提供準(zhǔn)確響應(yīng)的能力。
• 框架兼容性：SmolLM2與llama.cpp和Transformers.js等框架兼容，能夠在設(shè)備上高效運(yùn)行，包括在本地CPU和瀏覽器環(huán)境中，無(wú)需專門的GPU支持。
• 數(shù)據(jù)集訓(xùn)練：SmolLM2的訓(xùn)練使用了來(lái)自FineWeb-Edu、DCLM和Stack等數(shù)據(jù)集的11萬(wàn)億個(gè)標(biāo)記，覆蓋了廣泛的內(nèi)容，主要集中在英語(yǔ)文本。
• 模型結(jié)構(gòu)：SmolLM2的135M和360M模型采用了類似MobileLLM的設(shè)計(jì)，結(jié)合了Grouped-Query Attention結(jié)構(gòu)，而1.7B模型則使用相對(duì)傳統(tǒng)的設(shè)計(jì)。所有模型均采用了embedding tying，并且支持2048個(gè)token的上下文長(zhǎng)度。

SmolLM2的項(xiàng)目地址

• HuggingFace模型庫(kù)：https://huggingface.co/collections/HuggingFaceTB/smollm2-6723884218bcda64b34d7db9

SmolLM2的應(yīng)用場(chǎng)景

• 設(shè)備端應(yīng)用：SmolLM2專為在資源有限的設(shè)備上運(yùn)行而設(shè)計(jì)，如智能手機(jī)或邊緣設(shè)備，無(wú)需依賴云基礎(chǔ)設(shè)施。
• 延遲敏感和隱私保護(hù)：特別適用于對(duì)延遲和數(shù)據(jù)隱私有較高要求的應(yīng)用，如邊緣AI應(yīng)用。
• 文本處理任務(wù)：如文本重寫、摘要生成和函數(shù)調(diào)用等，尤其在云服務(wù)連接受限的設(shè)備上表現(xiàn)突出。
• 自動(dòng)編碼助手：支持與現(xiàn)有軟件無(wú)縫集成的編碼助手或個(gè)人AI應(yīng)用，特別適合需要函數(shù)調(diào)用功能的場(chǎng)合。
• NLP任務(wù)：在各種自然語(yǔ)言處理任務(wù)中表現(xiàn)優(yōu)異，適合需要實(shí)時(shí)處理的設(shè)備應(yīng)用。