ICML2024高分論文!大模型計算效率暴漲至200%,來自中國AI公司
AIGC動態(tài)歡迎閱讀
原標題:ICML2024高分論文!大模型計算效率暴漲至200%,來自中國AI公司
關(guān)鍵字:彩云,模型,小米,注意力,筆者
文章來源:夕小瑤科技說
內(nèi)容字數(shù):7466字
內(nèi)容摘要:
夕小瑤科技說 原創(chuàng)作者 夕小瑤編輯部前段時間,KAN突然爆火,成為可以替代MLP的一種全新神經(jīng)網(wǎng)絡(luò)架構(gòu),200個參數(shù)頂30萬參數(shù);而且,GPT-4o的生成速度也是驚艷了一眾大模型愛好者。
大家開始意識到——
大模型的計算效率很重要,提升大模型的tokens生成速度是很關(guān)鍵的一環(huán)。
而提升大模型的tokens生成速度,除了花錢升級GPU外,更長效的做法是改善Transformer模型架構(gòu)的計算效率。
今天,筆者發(fā)現(xiàn),終于有團隊對Transformer計算最耗時的核心組件——多頭注意力模塊(MHA)下手了,將Transformer的計算性能提升了有2倍之高。
通俗的講,如果這項工作未來能落地到大模型里面,那么大模型tokens生成速度翻倍式提升的一天就不遠了。
這篇論文已經(jīng)被今年的機器學(xué)習(xí)頂會ICML 2024錄用,拿到了7分的高分,而且還開源了。
據(jù)透露,今年ICML 2024錄用的paper平均得分在4.25-6.33之間
筆者扒了下,發(fā)現(xiàn)這個工作的背后是一家頗具影響力的國內(nèi)公司——彩云科技,沒錯,就是打造爆火的“彩云小夢”產(chǎn)品的團隊。
不急,先看看這篇論文,如何將Transforme
原文鏈接:ICML2024高分論文!大模型計算效率暴漲至200%,來自中國AI公司
聯(lián)系作者
文章來源:夕小瑤科技說
作者微信:xixiaoyaoQAQ
作者簡介:專業(yè)、有趣、深度價值導(dǎo)向的科技媒體。聚集30萬AI工程師、研究員,覆蓋500多家海內(nèi)外機構(gòu)投資人,互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠,兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作:zym5189