標簽：精度

對GTC keynote中關于AI基礎設施的關鍵信息整理如下，分三個部分： 芯片 服務器 Superpod 芯片 1. GPU芯片 晶體管數： B200 GPU的晶體管數量是現有H100的兩倍...

夕小瑤科技說 原創作者 | 醒醒上周，馬斯克宣布 xAI 將開源 Grok。 剛剛，馬斯克終于兌現諾言，xAI 宣布開源了 Grok-1 的模型權重和網絡架構。 Grok-1 是一個...

新智元報道編輯：alan 【新智元導讀】2023年的LLM開源社區都發生了什么？來自Hugging Face的研究員帶你回顧并重新認識開源LLM2023年的大語言模型（LLM），讓...

機器之心專欄 機器之心編輯部隨著深度神經網絡（DNNs）模型在規模和復雜性上的迅速增長，傳統的神經網絡處理方法面臨著嚴峻的挑戰。現有的神經網絡壓縮技術在...

新智元報道編輯：LRS【新智元導讀】相比全精度CNN，清華大學提出的二值化光譜重分布網絡BiSRNet只需0.06%的存儲空間和1%的計算代價，性能幾乎持平。相比于常...

將 ScienceAI設為星標第一時間掌握新鮮的 AI for Science 資訊編輯 | 澤南、杜偉戈登貝爾獎（ACM Gordon Bell Prize）設立于 1987年，由美國計算機學會頒發，...

新智元報道編輯：桃子 好困【新智元導讀】英偉達H100再次刷榜了，不到4分鐘就訓完GPT-3，比6月成績提升3倍。另外，特供版H20、L20和L2性能全都爆出。H100再次...

機器之心報道編輯：Panda低精度訓練是大模型訓練中擴展模型大小，節約訓練成本的最關鍵技術之一。相比于當前的 16 位和 32 位浮點混合精度訓練，使用 FP8 8 ...

機器之心專欄作者：李炳睿大模型的訓練和微調對顯存要求很高，優化器狀態是顯存主要開銷之一。近日，清華大學朱軍、陳鍵飛團隊提出了用于神經網絡訓練的 4 比...

來源：彤心未泯（學研匯 技術中心）、納米人具有數十億參數的人工智能（AI）模型可以在一系列任務中實現高精度，但它們加劇了傳統通用處理器（例如圖形處理單...

作者 | 百川智能 位置編碼技術是一種能夠讓神經網絡建模句子中 Token 位置信息的技術。在 Transformer 大行其道的時代，由于 Attention 結構無法建模每個 tok...