現(xiàn)在LLM 的大小為什么都設(shè)計成6/7B、13B和130B幾個檔次？

AIGC動態(tài)歡迎閱讀

原標(biāo)題：現(xiàn)在LLM 的大小為什么都設(shè)計成6/7B、13B和130B幾個檔次？
關(guān)鍵字：騰訊,知乎,顯存,模型,侵權(quán)
文章來源：算法邦
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

6月27日15點(diǎn)，3位騰訊云專家將在線直播，分享騰訊云在內(nèi)容創(chuàng)作、Al問答及知識點(diǎn)提煉、智能調(diào)研和報告生成等領(lǐng)域的應(yīng)用探索和落地實(shí)踐，歡迎掃碼預(yù)約直播。導(dǎo)讀本文來自知乎，作者為真中，出于學(xué)術(shù)/技術(shù)分享進(jìn)行轉(zhuǎn)載，如有侵權(quán)，聯(lián)系刪文。
本文作者對知乎的一個問題“現(xiàn)在LLM 的大小為什么都設(shè)計成6/7B、13B和130B幾個檔次？”進(jìn)行回答并對評論區(qū)的問題“怎么計算顯存占用”進(jìn)行了補(bǔ)充回答。
原文鏈接：https://www.zhihu.com/question/627258986/answer/3262812950現(xiàn)在LLM 的大小為什么都設(shè)計成6/7B、13B和130B幾個檔次？
能下載到的模型普遍都是6/7B(小)、13B(中)、大(130B) 三種，比如ChatGLM 和Llama2 等。這個在數(shù)學(xué)上有什么講究嗎？
答案簡單，就是匹配顯存。
6B模型可以在在12/16/24G顯存的消費(fèi)級顯卡部署和訓(xùn)練。如果一個公司的模型不打算在消費(fèi)級顯卡部署，通常不會訓(xùn)6B這個規(guī)模。而且通常還會有一個1.4b或者2.8b，這個是比較適合在手機(jī)、車載端量化部署的尺寸。
13B模型按照4k長度組織數(shù)

原文鏈接：現(xiàn)在LLM 的大小為什么都設(shè)計成6/7B、13B和130B幾個檔次？

聯(lián)系作者

文章來源：算法邦
作者微信：allplusai
作者簡介：智猩猩矩陣賬號之一，聚焦生成式AI，重點(diǎn)關(guān)注模型與應(yīng)用。