AIGC動態歡迎閱讀

原標題：開源大模型推理引擎現狀及常見推理優化方法
關鍵字：模型,引擎,解讀,知乎,侵權
文章來源：智猩猩GenAI
內容字數：0字

內容摘要：

講座預告11月1日上午10點，南開大學在讀博士李森茂，將以《基于擴散模型編碼器模塊的推理加速》為主題進行直播講解，歡迎掃名~導讀作者為齊夏
原文來自知乎，地址：https://zhuanlan.zhihu.com/p/755874470
本文只做學術/技術分享，如有侵權，聯系刪文。01前言上個月sglang-v0.3.0和vllm-v0.6.0前后腳發布之后，就一直想總結梳理一下現在主流的大模型推理引擎。因為我覺得這也算是一個有意義的節點吧，從此開源大模型推理引擎總算是由”非常粗糙，但是能用”的階段邁入到了”好用，稍微有那么點粗糙”的階段。
大模型的推理引擎實際也就是近一兩年才開始飛速發展，從最開始的tgi和vllm并駕齊驅到如今sglang、lmdeply的異軍突起，整個開源社區都是非常有活力的。但是正如之前所說，從長遠的一個視角看如今的開源引擎實際上都還是比較粗糙的，大家都是在摸索中前進。另一方面也是因為現在全世界的目光都聚焦在llm這里，新技術的更新換代太快了，做好一個大模型的推理引擎要做的事情實在是太太太太多了。除了要支持日新月異的新模型和新硬件，還要不斷關心學術界最新的p

原文鏈接：開源大模型推理引擎現狀及常見推理優化方法

聯系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：