AIGC動態歡迎閱讀
原標題:Llama 3低比特量化性能下降顯著!全面評估結果來了 | 港大&北航Ð
關鍵字:權重,性能,方法,數據,模型
文章來源:量子位
內容字數:4343字
內容摘要:
QHT 投稿量子位 | 公眾號 QbitAI大模型力大磚飛,讓LLaMA3演繹出了新高度:
超15T Token數據上的超大規模預訓練,既實現了令人印象深刻的性能提升,也因遠超Chinchilla推薦量再次引爆開源社區討論。
與此同時,在實際應用層面上,另一個熱點話題也浮出水面:
資源有限場景下,LLaMA3的量化表現又會如何?
香港大學、北京航空航天大學、蘇黎世聯邦理工學院聯合推出了一項實證研究,全面揭示了LLaMA3的低比特量化性能。
研究人員使用現有的10種訓練后量化和LoRA微調方法,評估了LLaMA3在1-8比特和各種評估數據集上的結果。他們發現:
盡管性能令人印象深刻,LLaMA3在低比特量化下仍然遭受了不可忽視的退化,特別是在超低位寬上。
項目已在GitHub上開源,量化模型也已登陸HuggingFace。
具體來看實證結果。
軌道1:訓練后量化表1和表2中分別提供了LLaMA3-8B和LLaMA3-70B在8種不同的PTQ方法下的低比特性能表現,覆蓋了從1比特到8比特的廣泛比特寬度。
1.低比特權重
其中,Round-To-Nearest (RTN) 是一種基本的舍入量
原文鏈接:Llama 3低比特量化性能下降顯著!全面評估結果來了 | 港大&北航Ð
聯系作者
文章來源:量子位
作者微信:QbitAI
作者簡介:追蹤人工智能新趨勢,關注科技行業新突破
? 版權聲明
文章版權歸作者所有,未經允許請勿轉載。
相關文章
暫無評論...