不用4個H100！340億參數Code Llama在Mac可跑，每秒20個token，代碼生成最拿手｜Karpathy轉贊

AIGC動態歡迎閱讀

動態標題：不用4個H100！340億參數Code Llama在Mac可跑，每秒20個token，代碼生成最拿手｜Karpathy轉贊

關鍵字：模型,草稿,速度,地址,權重

文章來源：新智元

內容字數：3238字

內容摘要：新智元報道編輯：桃子【新智元導讀】現在，34B Code Llama模型已經能夠在M2 Ultra上的Mac運行了，而且推理速度超過每秒20個token，背后殺器竟是「投機采樣」。開源社區的一位開發者Georgi Gerganov發現，自己可以在M2 Ultra上運行全F16精度的34B Code Llama模型，而且推理速度超過了20 token/s。畢竟，M2 Ultra的帶寬有800GB/s…

原文鏈接：點此閱讀原文：不用4個H100！340億參數Code Llama在Mac可跑，每秒20個token，代碼生成最拿手｜Karpathy轉贊

聯系作者

文章來源：新智元

作者微信：AI_era

作者簡介：智能+中國主平臺，致力于推動中國從互聯網+邁向智能+新紀元。重點關注人工智能、機器人等前沿領域發展，關注人機融合、人工智能和機器人對人類社會與文明進化的影響，領航中國新智能時代。