AIGC動態(tài)歡迎閱讀

原標(biāo)題：從模型、數(shù)據(jù)和框架三個視角出發(fā)，這里有份54頁的高效大語言模型綜述
關(guān)鍵字：高效,模型,提示,研究者,數(shù)據(jù)
文章來源：機器之心
內(nèi)容字?jǐn)?shù)：6046字

內(nèi)容摘要：

機器之心專欄
機器之心編輯部大規(guī)模語言模型（LLMs）在很多關(guān)鍵任務(wù)中展現(xiàn)出顯著的能力，比如自然語言理解、語言生成和復(fù)雜推理，并對社會產(chǎn)生深遠(yuǎn)的影響。然而，這些卓越的能力伴隨著對龐大訓(xùn)練資源的需求（如下圖左）和較長推理時延（如下圖右）。因此，研究者們需要開發(fā)出有效的技術(shù)手段去解決其效率問題。
同時，我們從圖右還可以看出，近來較為火熱的高效 LLMs，例如 Mistral-7B，在確保和 LLaMA1-33B 相近的準(zhǔn)確度的情況下可以大大減少推理內(nèi)存和降低推理時延，可見已有部分可行的高效手段被成功應(yīng)用于 LLMs 的設(shè)計和部署中。在本綜述中，來自俄亥俄州立大學(xué)、帝國理工學(xué)院、密歇根州立大學(xué)、密西根大學(xué)、亞馬遜、谷歌、Boson AI、微軟亞研院的研究者提供了對高效 LLMs 研究的系統(tǒng)全面調(diào)查。他們將現(xiàn)有優(yōu)化 LLMs 效率的技術(shù)分成了三個類別，包括以模型為中心、以數(shù)據(jù)為中心和以框架為中心，總結(jié)并討論了當(dāng)下最前沿的相關(guān)技術(shù)。論文：https://arxiv.org/abs/2312.03863
GitHub: https://github.com/AIoT-MLSys-Lab/Effic

原文鏈接：從模型、數(shù)據(jù)和框架三個視角出發(fā)，這里有份54頁的高效大語言模型綜述

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺