B站輕量級大語言模型index-1.9B深入解析

AIGC動態歡迎閱讀

原標題：B站輕量級大語言模型index-1.9B深入解析
關鍵字：數據,模型,階段,效果,指令
文章來源：智猩猩AGI
內容字數：0字

內容摘要：

直播預告 |「智猩猩AIGC視頻生成公開課魔琺科技專場」正式開講啦~8月13日晚7點開講，魔琺科技市場負責人李韻將直播講解《AIGC時代，企業級視頻生成的挑戰與實踐》，內容涵蓋一站式3D視頻創作平臺與行業應用、從0到1，生成一個視頻產品演示，歡迎掃名~bilibili發布的Index-1.9B包含：
Index-1.9B base：在2.8T語料訓練的基模型
Index-1.9B pure：部分數據和base不同，其他相同
Index-1.9B chat：基于base進行SFT和DPO后的模型
Index-1.9B character：在chat的基礎上用RAG+fewshots提供角色扮演的能力
下面看下細節。
01模型（1）模型深度
目前業界普遍的認知是模型深度比寬度對效果的影響更大（相同參數下）。對比層數分別為36層和9層，總參數都為1.01B的模型，結果如下圖，36層模型（base）效果確實更好。需要注意的是，相同模型參數量下，層數更多的模型會有更多的activation（與L * hidden size成正比），因此會需要更多顯存。
（2）Norm-Head
模型不同層

原文鏈接：B站輕量級大語言模型index-1.9B深入解析