「乘法變加法」！MIT清華校友全新方法優化Transformer：Addition is All You Need

AIGC動態歡迎閱讀

原標題：「乘法變加法」！MIT清華校友全新方法優化Transformer：Addition is All You Need
關鍵字：乘法,尾數,模型,精度,張量
文章來源：新智元
內容字數：0字

內容摘要：

新智元報道編輯：喬楊 好困
【新智元導讀】Transformer計算，竟然直接優化到乘法運算了。MIT兩位華人學者近期發表的一篇論文提出：Addition is All You Need，讓LLM的能耗最高降低95%。LLM能耗的瘋狂增長，甚至已經引起了聯合國的注意，成為了不容小覷的能源消耗者。
據統計，2023年初ChatGPT服務的平均用電量為每天564兆瓦時，相當于18000個美國家庭每天的總用電量。
谷歌的情況更加嚴峻。最壞的情況下，谷歌AI服務消耗的電力可能和一整個愛爾蘭相當，約為每年29.3 TWh。
要在提升推理速度的同時降低大模型的能耗，減少神經網絡所需的計算量才是關鍵。
而LLM等大規模神經網絡，大部分計算量正是消耗在浮點級精度的矩陣乘法上。
從線性注意力機制到量化，大多數Transformer的優化都離不開對于乘法效率的大幅提高。要么減少運算操作次數，要么減少操作數的位數。
但如果從乘法運算這個更加底層的邏輯出發，兩位華人研究者提出，可以用一個整數加法器以高精度近似進行浮點數乘法運算，即L-Mul乘法算法。
論文地址：https://arxiv.org/abs/2

原文鏈接：「乘法變加法」！MIT清華校友全新方法優化Transformer：Addition is All You Need

聯系作者

文章來源：新智元
作者微信：
作者簡介：