最近，世界模型（World Models）似乎成為了 AI 領域最熱門的研究方向。自從 Chatgpt 誕生以來，LLM（大語言模型）的參數量似乎就成為了各個公司的競賽指標。GPT-1 參數量為 1.17 億（117M），而它的 GPT-4 參數量已經刷新到了 1.8 萬億（1800B）。像其他 LLM 模型例如 Bloom(1760 億，176B)和 Chinchilla（700 億，70B）的參數量也在不斷飆升。參數的數量直接影響了模型的性能和能力，更多的參數意味著模型能夠處理更復雜的語言模式，理解更豐富的上下文信息，并在多種任務上表現出更高的智能水平。但是，這些巨量參數也會直接影響 LLM 的訓練成本和開發環境，也限制了大多數普通研究公司對于 LLM 的探索，導致大語言模型逐漸成為了大公司之間的軍備競賽。近日，新興 AI 公司 TensorOpera 發布了開源小語言模型 FOX，向業內證明了小語言模型（SLM）也可以在智能體領域展現足夠的實力。FOX 是一個專為云計算和邊緣計算設計的小型語言模型。與動輒上百億參數的大語言模型不同，FOX 僅有 16 億參數，卻能在多項任務中展現出驚人的性能。論文題目：FOX-1 TECHNICAL REPORT論文鏈接：https://arxiv.org/abs/2411.0528101TensorOpera 是誰TensorOpera 是一家位于加州硅谷的創新人工智能公司。他們之前開發了 TensorOpera? AI Platform 生成型 AI 生態系統和 TensorOpera? FedML 聯邦學習和分析平臺。公司名稱 TensorOpera， 是技術和藝術的結合，象征著 GenAI 最終實現多模態和多模型復合 AI 系統的發展趨。TensorOpera 的聯合創始人兼 CEO Jared Kaplan 博士表示：”FOX 模型的設計初衷是為了在保持高性能的同時，大幅降低計算資源需求。這不僅讓 AI 技術更加親民，也為企業降低了使用門檻。”02Fox 模型是怎么做的為了通過較小的參數量達到與 LLM 相同的效果，Fox-1 模型僅采用解碼器架構，并引入了各種改進和重新設計以獲得更好的性能。其包括① 網絡層數：在模型架構設計中，更寬且更淺的神經網絡擁有更好的記憶能力，而更深且更瘦的網絡則呈現出更強的推理能力。根據這一原則，Fox-1 使用的架構比大多數現代 SLMs 更深。具體來說，Fox-1 由 32 個自注意力層組成，比 Gemma-2B（18 層）深 78%，比 StableLM-2-1.6B（24 層）和 Qwen1.5-1.8B（24 層）深 33%。② 共享嵌入：Fox-1 采用 2，048 的隱藏維度去構建共計 256，000 的詞匯表，其數據量大約有 5 億參數。更大的模型通常對輸入層（詞匯表到嵌入表達）和輸出層（嵌入表達到詞匯表）使用單獨的嵌入層。對于 Fox-1，僅嵌入層就需要 10 億參數。為了減少總參數數量，共享輸入和輸出嵌入層，可以最大限度地提高權重利用率。③ 預歸一化：Fox-1 對每個變換層的輸入使用 RMSNorm 進行歸一化。RMSNorm 是現代大型語言模型中預歸一化的首選，它比 LayerNorm 表現出更好的效率。④ 旋轉式位置編碼（RoPE）：Fox-1 默認接受最多 8K 長度的 input token。為了提高更長上下文窗口的性能，Fox-1 采用了旋轉式位置編碼，其中 θ 設置為 10，000，以便于編碼 token 之間的相對位置依賴性。⑤ 分組查詢注意力（GQA）：分組查詢注意力將多頭注意力層的查詢頭分為組，每個組共享相同的一組鍵值頭。Fox-1 配備 4 個鍵值頭和 16 個注意力頭，以提高訓練和推理速度，并減少內存使用。除了模型結構改良之外，FOX-1 也在分詞（Tokenization）和訓練上進行改進。分詞方面，Fox-1 采用基于 SentencePiece 的 Gemma 分詞器，它提供了 256K 的詞匯表大小。增加詞匯表大小至少有兩個主要好處。首先，由于每個 token 編碼了更密集的信息，上下文的隱藏信息長度得以延長。例如，大小為 26 的詞匯表只能在[a-z]中編碼一個字符，但大小為 262 的詞匯表可以同時編碼兩個字母，這使得在固定長度的 token 中可以表示更長的字符串。其次，更大的詞匯表大小減少了未知單詞或短語的概率，從而在實踐中實現了更好的下游任務性能。Fox-1 采用的大詞匯表對于給定的文本語料庫產生較少的 token，這可以產生更好的推理性能。Fox-1 的預訓練數據來源于 Redpajama、SlimPajama、Dolma、Pile 和 Falcon 數據集，共計 3 萬億個文本數據。為了緩解因其注意力機制導致的長序列的預訓練效率低下，Fox-1 在預訓練階段引入了一個三階段的課程學習策略，其中訓練樣本的 chunk 長度逐漸從 2K 增加到 8K，以小成本確保長上下文能力。為了與三階段課程預訓練管道保持一致，Fox-1 將原始數據重新組織成三個不同的集合，包括無監督和指令調優數據集，以及代碼、網絡內容、數學和科學文檔等不同領域的數據。Fox-1 的訓練可以分為三個階段。第一階段包括整個預訓練過程中約 39% 的總數據樣本，其中 1.05 萬億 token 的數據集被分割成長度為 2，000 的樣本，batch size 大小為 2M。在此階段使用了 2，000epoch 的線性預熱。第二階段包括約 59% 的樣本，有 1.58 萬億 token，并將 chunk 長度從 2K 增加到 4K 和 8K。實際的 chunk 長度因不同數據源而異。考慮到第二階段花費的時間最長，且涉及不同數據集的不同來源，batch size 也增加到 4M 以提高訓練效率。最后在第三階段，Fox 模型使用 62 億 token（約總量的 0.02%）的高質量數據進行訓練，為不同的下游任務能力打下基礎，如指令遵循、閑聊、特定領域的問答等。03Fox-1 表現如何和其他 SLM 模型(Gemma-2B， Qwen1.5-1.8B， StableLM-2-1.6B 和 OpenELM1.1B)相比，FOX-1 在 ARC Challenge (25-shot)， HellaSwag (10-shot)， TruthfulQA(0-shot)，MMLU (5-shot)，Winogrande (5-shot)，GSM8k (5-shot)六項任務的 benchmark 的平均分數最高，且在 GSM8k 上優勢明顯。除此之外，TensorOpera 還評估了 Fox-1、Qwen1.5-1.8B 和 Gemma-2B 使用 vLLM 與 TensorOpera 服務平臺在單個 NVIDIA H100 上的端到端的推理效率。Fox-1 實現了每秒超過 200 個 token 的吞吐量，超過了 Gemma-2B，并在相同的部署環境中與 Qwen1.5-1.8B 相匹配。在 BF16 精度下，Fox-1 僅需要 3703MiB 的 GPU 內存，而 Qwen1.5-1.8B、StableLM-2-1.6B 和 Gemma-2B 分別需要 4739MiB、3852MiB 和 5379MiB。04參數雖小，依舊有競爭力目前各家 AI 公司都在大語言模型上開展競爭，而 TensorOpera 另辟蹊徑，在 SLM 領域進行突破，僅用 1.6B 實現了與 LLM 相似的效果，在各種基準測試中表現出色。即使在有限的數據資源下，TensorOpera 也可以預訓練出具有競爭力表現的語言模型，為其他 AI 公司的研發提供了一種新思路。END點擊下方名片即刻關注我們