推理飆升2倍！普林斯頓北大校友祭出多頭「美杜莎」，33B模型與13B一樣快

AIGC動態歡迎閱讀

原標題：推理飆升2倍！普林斯頓北大校友祭出多頭「美杜莎」，33B模型與13B一樣快

關鍵字：模型,研究人員,草稿,樹狀,閾值

文章來源：新智元

內容字數：12636字

內容摘要：新智元報道編輯：桃子 好困【新智元導讀】大模型推理加速如何破局？普林斯頓、UIUC等機構華人團隊提出一個簡單框架Medusa，訓練多個解碼頭，直接讓LLM推理速度飆升2倍。由于LLM架構固有的內存限制，使得生成又慢又貴。對此，很多大佬都在尋找一種挽救的方法。Karpathy曾多次提出，大模型「投機采樣」對于推理時間優化是一個出色的方案。但是，盡管投機解碼能夠加速生成速度，但因其太過復雜，并沒有被許…

原文鏈接：點此閱讀原文：推理飆升2倍！普林斯頓北大校友祭出多頭「美杜莎」，33B模型與13B一樣快

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。