AIGC動態歡迎閱讀

原標題：微軟、國科大開啟1Bit時代：大模型轉三進制，速度快4倍能耗降至1/41
關鍵字：模型,報告,內存,性能,基線
文章來源：機器之心
內容字數：6222字

內容摘要：

機器之心報道
機器之心編輯部性的提升來了。把大模型的權重統統改成三元表示，速度和效率的提升讓人害怕。
今天凌晨，由微軟、國科大等機構提交的一篇論文在 AI 圈里被人們爭相轉閱。該研究提出了一種 1-bit 大模型，實現效果讓人只想說兩個字：震驚。如果該論文的方法可以廣泛使用，這可能是生成式 AI 的新時代。
對此，已經有人在暢想 1-bit 大模型的適用場景，看起來很適合物聯網，這在以前是不可想象的。人們還發現，這個提升速度不是線性的 —— 而是，模型越大，這么做帶來的提升就越大。還有這種好事？看起來英偉達要掂量掂量了。
近年來，大語言模型（LLM）的參數規模和能力快速增長，既在廣泛的自然語言處理任務中表現出了卓越的性能，也為部署帶來了挑戰，并引發人們擔憂高能耗會對環境和經濟造成影響。
因此，使用后訓練（post-training）量化技術來創建低 bit 推理模型成為上述問題的解決方案。這類技術可以降低權重和激活函數的精度，顯著降低 LLM 的內存和計算需求。目前的發展趨勢是從 16 bits 轉向更低的 bit，比如 4 bits。然而，雖然這類量化技術在 LLM 中廣泛使用，

原文鏈接：微軟、國科大開啟1Bit時代：大模型轉三進制，速度快4倍能耗降至1/41

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺