AIGC動態歡迎閱讀

原標題：Llama 3低比特量化性能下降顯著！全面評估結果來了 | 港大&北航&ETH
關鍵字：權重,性能,方法,數據,模型
文章來源：量子位
內容字數：4343字

內容摘要：

QHT 投稿量子位 | 公眾號 QbitAI大模型力大磚飛，讓LLaMA3演繹出了新高度：
超15T Token數據上的超大規模預訓練，既實現了令人印象深刻的性能提升，也因遠超Chinchilla推薦量再次引爆開源社區討論。
與此同時，在實際應用層面上，另一個熱點話題也浮出水面：
資源有限場景下，LLaMA3的量化表現又會如何？
香港大學、北京航空航天大學、蘇黎世聯邦理工學院聯合推出了一項實證研究，全面揭示了LLaMA3的低比特量化性能。
研究人員使用現有的10種訓練后量化和LoRA微調方法，評估了LLaMA3在1-8比特和各種評估數據集上的結果。他們發現：
盡管性能令人印象深刻，LLaMA3在低比特量化下仍然遭受了不可忽視的退化，特別是在超低位寬上。
項目已在GitHub上開源，量化模型也已登陸HuggingFace。
具體來看實證結果。
軌道1：訓練后量化表1和表2中分別提供了LLaMA3-8B和LLaMA3-70B在8種不同的PTQ方法下的低比特性能表現，覆蓋了從1比特到8比特的廣泛比特寬度。
1.低比特權重
其中，Round-To-Nearest (RTN) 是一種基本的舍入量

原文鏈接：Llama 3低比特量化性能下降顯著！全面評估結果來了 | 港大&北航&ETH

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破