微軟推出的14B參數(shù)小語言模型，擅長數(shù)學(xué)等領(lǐng)域的復(fù)雜推理

產(chǎn)品名稱：Phi-4
產(chǎn)品簡介：Phi-4是微軟推出的14億參數(shù)小型語言模型，在數(shù)學(xué)等領(lǐng)域的復(fù)雜推理以及傳統(tǒng)語言處理方面表現(xiàn)出色。Phi-4用數(shù)據(jù)質(zhì)量為核心訓(xùn)練重點，大量融入合成數(shù)據(jù)，提升模型在STEM問答和數(shù)學(xué)競賽問題上的表現(xiàn)。Phi-4引入新的訓(xùn)練范式midtraining，增強長文本處理能力，窗口長度可達16K。
詳細(xì)介紹：

Phi-4是什么

Phi-4是微軟推出的14B參數(shù)小型語言模型，在數(shù)學(xué)等領(lǐng)域的復(fù)雜推理以及傳統(tǒng)語言處理方面表現(xiàn)出色。Phi-4用數(shù)據(jù)質(zhì)量為核心訓(xùn)練重點，大量融入合成數(shù)據(jù)，提升模型在STEM問答和數(shù)學(xué)競賽問題上的表現(xiàn)。Phi-4引入新的訓(xùn)練范式midtraining，增強長文本處理能力，窗口長度可達16K。Phi-4在編程任務(wù)上表現(xiàn)出色，在HumanEval基準(zhǔn)測試中以82.6%的準(zhǔn)確率領(lǐng)先其他開源模型（如70B的Llama 3.3和72B的Qwen 2.5）。Phi-4目前在Azure AI Foundry上可用，下周將在Hugging Face上可用。

Phi-4的主要功能

• 問答能力：能理解和回答各種問題，尤其在STEM（科學(xué)、技術(shù)、工程和數(shù)學(xué)）領(lǐng)域表現(xiàn)出色。
• 數(shù)學(xué)問題解決：模型在美國數(shù)學(xué)競賽AMC 10/12中得分超過90，顯示強大的數(shù)學(xué)推理能力。
• 編程任務(wù)：Phi-4在編程任務(wù)上表現(xiàn)出色，能理解和生成代碼，解決編程問題。
• 長文本處理：基于midtraining階段，Phi-4能處理長達16K的上下文，保持高召回率。
• 復(fù)雜推理：模型在多個基準(zhǔn)測試中展現(xiàn)處理復(fù)雜推理任務(wù)的能力，如MMLU和GPQA。
• 安全交互：Phi-4在后訓(xùn)練中進行安全對齊，確保與用戶的交互符合負(fù)責(zé)任AI原則。

Phi-4的技術(shù)原理

• 合成數(shù)據(jù)訓(xùn)練：Phi-4的訓(xùn)練過程中大量使用合成數(shù)據(jù)，基于多代理提示、自我修訂和指令反轉(zhuǎn)等技術(shù)生成，提高模型的推理和問題解決能力。
• midtraining階段：在預(yù)訓(xùn)練和后訓(xùn)練之間加入的midtraining階段，提升模型處理長文本的能力。
• 長上下文數(shù)據(jù)選擇：從高質(zhì)量非合成文本中篩選出長于8K tokens的樣本，加權(quán)超過16K tokens的樣本，匹配目標(biāo)長度。
• 對比學(xué)習(xí)：用樞軸tokens搜索（PTS）方法，識別對模型輸出影響最大的關(guān)鍵tokens，生成高信噪比的對比學(xué)習(xí)數(shù)據(jù)。
• 人類反饋：結(jié)合人類反饋對比學(xué)習(xí)（Human Feedback DPO），構(gòu)造優(yōu)質(zhì)的正負(fù)樣本對，讓模型輸出更符合人類偏好。

Phi-4的項目地址

• 項目官網(wǎng)：introducing-phi-4
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.08905

Phi-4的應(yīng)用場景

• 教育輔助：作為教育輔助工具，幫助學(xué)生解答STEM領(lǐng)域的復(fù)雜問題，提供數(shù)學(xué)和編程作業(yè)的輔導(dǎo)。
• 技術(shù)研究：在科學(xué)研究中，理解和生成研究論文中的概念和數(shù)據(jù)，輔助研究人員進行文獻綜述和數(shù)據(jù)分析。
• 軟件開發(fā)：輔助軟件開發(fā)，包括代碼生成、調(diào)試和功能實現(xiàn)。
• 智能助手：作為智能助手，理解和響應(yīng)用戶的查詢，提供信息檢索、日程管理和其他個人助理服務(wù)。
• 企業(yè)決策支持：分析大量數(shù)據(jù)，為企業(yè)提供市場趨勢分析、風(fēng)險評估和決策支持。