微軟推出的14B參數小語言模型，擅長數學等領域的復雜推理

產品名稱：Phi-4
產品簡介：Phi-4是微軟推出的14億參數小型語言模型，在數學等領域的復雜推理以及傳統語言處理方面表現出色。Phi-4用數據質量為核心訓練重點，大量融入合成數據，提升模型在STEM問答和數學競賽問題上的表現。Phi-4引入新的訓練范式midtraining，增強長文本處理能力，窗口長度可達16K。
詳細介紹：

Phi-4是什么

Phi-4是微軟推出的14B參數小型語言模型，在數學等領域的復雜推理以及傳統語言處理方面表現出色。Phi-4用數據質量為核心訓練重點，大量融入合成數據，提升模型在STEM問答和數學競賽問題上的表現。Phi-4引入新的訓練范式midtraining，增強長文本處理能力，窗口長度可達16K。Phi-4在編程任務上表現出色，在HumanEval基準測試中以82.6%的準確率領先其他開源模型（如70B的Llama 3.3和72B的Qwen 2.5）。Phi-4目前在Azure AI Foundry上可用，下周將在Hugging Face上可用。

Phi-4的主要功能

• 問答能力：能理解和回答各種問題，尤其在STEM（科學、技術、工程和數學）領域表現出色。
• 數學問題解決：模型在美國數學競賽AMC 10/12中得分超過90，顯示強大的數學推理能力。
• 編程任務：Phi-4在編程任務上表現出色，能理解和生成代碼，解決編程問題。
• 長文本處理：基于midtraining階段，Phi-4能處理長達16K的上下文，保持高召回率。
• 復雜推理：模型在多個基準測試中展現處理復雜推理任務的能力，如MMLU和GPQA。
• 安全交互：Phi-4在后訓練中進行安全對齊，確保與用戶的交互符合負責任AI原則。

Phi-4的技術原理

• 合成數據訓練：Phi-4的訓練過程中大量使用合成數據，基于多代理提示、自我修訂和指令反轉等技術生成，提高模型的推理和問題解決能力。
• midtraining階段：在預訓練和后訓練之間加入的midtraining階段，提升模型處理長文本的能力。
• 長上下文數據選擇：從高質量非合成文本中篩選出長于8K tokens的樣本，加權超過16K tokens的樣本，匹配目標長度。
• 對比學習：用樞軸tokens搜索（PTS）方法，識別對模型輸出影響最大的關鍵tokens，生成高信噪比的對比學習數據。
• 人類反饋：結合人類反饋對比學習（Human Feedback DPO），構造優質的正負樣本對，讓模型輸出更符合人類偏好。

Phi-4的項目地址

• 項目官網：introducing-phi-4
• arXiv技術論文：https://arxiv.org/pdf/2412.08905

Phi-4的應用場景

• 教育輔助：作為教育輔助工具，幫助學生解答STEM領域的復雜問題，提供數學和編程作業的輔導。
• 技術研究：在科學研究中，理解和生成研究論文中的概念和數據，輔助研究人員進行文獻綜述和數據分析。
• 軟件開發：輔助軟件開發，包括代碼生成、調試和功能實現。
• 智能助手：作為智能助手，理解和響應用戶的查詢，提供信息檢索、日程管理和其他個人助理服務。
• 企業決策支持：分析大量數據，為企業提供市場趨勢分析、風險評估和決策支持。