挑戰Transformer，華為諾亞新架構盤古π來了，已有1B、7B模型

AIGC動態1年前 (2023)發布機器之心

AIGC動態歡迎閱讀

原標題：挑戰Transformer，華為諾亞新架構盤古π來了，已有1B、7B模型
關鍵字：模型,盤古,架構,特征,華為
文章來源：機器之心
內容字數：10194字

內容摘要：

機器之心專欄
機器之心編輯部5 年前，Transformer 在國際神經信息處理大會 NeurIPS 2017 發表，后續其作為核心網絡架構被廣泛用于自然語言處理和計算機視覺等領域。
1 年前，一項重大的創新引起了人們的廣泛關注，那就是 ChatGPT。這個模型不僅能夠執行復雜的 NLP 任務，還能以人類對話的方式與人類進行互動，產生了深遠的影響。
1 年以來，“百模大戰” 在業界激烈開展，誕生了如 LLaMA、ChatGLM 和 Baichuan 等開源大模型，推動了 LLM 領域的快速發展。除了通用 LLM，為了支撐更多行業的應用和商業變現，很多行業垂域大模型也涌現出來，特別是金融、法律和醫療等領域尤為活躍。
開發一個卓越的 LLM，就如同進行一項復雜的系統工程，其中包括數據準備、數據清理、模型架構設計、集群通信以及優化器的選擇。在 2022-2023 年的最新項目中，大部分大模型都是基于標準的 Transformer 架構進行開發，主要在數據工程、訓練策略上進行不同的優化。模型架構設計，作為其中至關重要的一環，決定了 LLM 的最大性能潛力，并沒有在業界引起足夠的重視。
近日，來

原文鏈接：挑戰Transformer，華為諾亞新架構盤古π來了，已有1B、7B模型