AIGC動態(tài)歡迎閱讀

原標(biāo)題：商湯科技研究副總監(jiān)龔睿昊：大語言模型量化和 LightLLM 高性能推理部署系統(tǒng)設(shè)計

關(guān)鍵字：模型,商湯,用戶,系統(tǒng),高效

文章來源：智東西

內(nèi)容字?jǐn)?shù)：1903字

內(nèi)容摘要：12月5日上午10點，智猩猩AI教研組推出「大模型微調(diào)與推理部署線上閉門會」。閉門會由北京航空航天大學(xué)人工智能研究院助理教授郭晉陽參與出品。Monash University 長聘助理教授莊博涵、麻省理工學(xué)院在讀博士朱力耕和商湯科技研究副總監(jiān)龔睿昊將參與主講。其中，龔睿昊博士將圍繞主題《大語言模型量化和 LightLLM 高性能推理部署系統(tǒng)設(shè)計》進(jìn)行直播講解。大語言模型動輒上千億的參數(shù)量對于各種平臺的高效、低成本部署帶來了更大挑戰(zhàn)。模型量化和高效的推理系統(tǒng)設(shè)計成為提高 LLM 推理效率的關(guān)鍵。本次閉門會，龔睿昊將分享 Outlier Suppression 大語言模型量化系列方法和基于 LightLLM 的高性能推理部署系統(tǒng) ，全面介紹實現(xiàn)極致性能和吞吐的算法與系統(tǒng)設(shè)計。龔睿昊是商湯科技研究副總監(jiān)、模型工具鏈團(tuán)隊負(fù)責(zé)人，主要負(fù)責(zé)工業(yè)級模型工具鏈，包括大規(guī)模模型訓(xùn)練、多平臺部署、模型壓縮和軟…

原文鏈接：點此閱讀原文：商湯科技研究副總監(jiān)龔睿昊：大語言模型量化和 LightLLM 高性能推理部署系統(tǒng)設(shè)計

聯(lián)系作者

文章來源：智東西

作者微信：zhidxcom

作者簡介：智能產(chǎn)業(yè)新媒體！智東西專注報道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來的千行百業(yè)產(chǎn)業(yè)升級。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級。