国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

開源小模型的大智慧!微軟Phi-4技術報告解讀與簡單測評

AIGC動態8個月前發布 智猩猩GenAI
434 0 0

Phi-4:小模型的大智慧——技術詳解及簡單測評

開源小模型的大智慧!微軟Phi-4技術報告解讀與簡單測評

原標題:開源小模型的大智慧!微軟Phi-4技術報告解讀與簡單測評
文章來源:智猩猩GenAI
內容字數:10088字

微軟Phi-4:14B參數小型語言模型的突破

本文概述了微軟研究院最新發布的14B參數大型語言模型Phi-4,它在眾多大型模型中脫穎而出,并在STEM領域問答能力上超越了GPT-4。其成功秘訣在于對數據質量的極致追求和創新的合成數據生成技術。

1. 數據質量的極致追求:合成數據的重要性

Phi-4的成功離不開對高質量數據的依賴。文章強調數據質量與模型規模同樣重要,甚至可能更為關鍵。Phi系列模型一直重視合成數據,因為它具備結構化和漸進式學習的特點,能夠幫助模型更有效地學習,并與推理上下文更好地對齊。與傳統的無監督數據集相比,合成數據更易于消化和理解。

2. 合成數據生成方法:多智能體提示與自我修訂

Phi-4的預訓練主要依賴于約4000B標記的合成數據集。這些數據通過多步驟提示工作流生成,包括多智能體提示、自我修訂和指令反轉等技術。這些方法彌補了傳統數據集的不足,提升了模型的推理和問題解決能力。此外,Phi-4還使用了數千萬個經過篩選和增強的有機問題和解決方案,以及來自學術論文、教育論壇和編程教程等高質量的有機數據源。

3. 模型架構與訓練過程:4K到16K上下文長度擴展

Phi-4采用僅解碼器的Transformer架構,擁有14B參數。其默認上下文長度為4096個標記,并在中訓練階段擴展到16K,這使得模型能夠處理更長的文本序列。訓練過程持續約10萬億標記,并采用了線性預熱和衰減計劃等優化策略。中訓練階段主要目標是擴展上下文長度,并使用了更長上下文的數據進行訓練,顯著提升了長上下文性能。

4. 訓練后處理:提升模型可靠性和安全性

訓練后處理是Phi-4的關鍵環節,通過監督微調(SFT)、直接偏好優化(DPO)和關鍵標記搜索(PTS)等技術,進一步優化模型輸出,確保其在推理、編碼、對話等任務中的精準性和可靠性。SFT使用約80億標記的數據進行微調;DPO通過人類偏好數據優化模型輸出;PTS通過識別和優化關鍵標記提升模型推理能力。此外,還進行了幻覺緩解的處理,使模型在不確定時更傾向于拒絕回答。

5. 基準測試與性能:超越GPT-4

Phi-4在多個基準測試中表現出色,尤其在STEM問答任務中,甚至在GPQA和MATH上超越了GPT-4。在編碼任務中也優于其他開放權重的模型。然而,文章也指出了其在事實知識幻覺和嚴格遵循詳細指令方面的局限性。

6. 安全性與未來展望

Phi-4的開發遵循微軟的負責任AI原則,并通過多種安全措施確保其安全性。盡管存在一些弱點,Phi-4的卓越表現證明了小型語言模型的巨大潛力。未來,隨著技術的進一步優化,Phi-4有望在更多應用場景中發揮重要作用。

7. 第四屆全球自動駕駛峰會

文章最后提及了將于1月14日在北京舉辦的第四屆全球自動駕駛峰會,內容包括開幕式、多個主題論壇和技術研討會。


聯系作者

文章來源:智猩猩GenAI
作者微信:
作者簡介:智猩猩旗下公眾號之一,深入關注大模型與AI智能體,及時搜羅生成式AI技術產品。

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        天堂va蜜桃一区二区三区| 成人黄色电影在线| 五月天久久比比资源色| 东方欧美亚洲色图在线| 国产日本欧洲亚洲| 国产毛片一区二区| 国产片一区二区三区| 成人久久18免费网站麻豆| 国产农村妇女毛片精品久久麻豆| 成人精品国产一区二区4080| 亚洲人成7777| 欧美精品在欧美一区二区少妇| 亚洲一区二区三区三| 日韩视频一区二区在线观看| 国产自产视频一区二区三区| **性色生活片久久毛片| 欧美三级电影在线观看| 国产原创一区二区| 夜夜亚洲天天久久| 精品国产一区二区三区忘忧草| 成人黄页在线观看| 日日夜夜免费精品视频| 日本一二三不卡| 91精品国产综合久久久久久久| 国产精品一区二区在线看| 1024国产精品| 26uuu色噜噜精品一区| 91蜜桃在线免费视频| 久久国产夜色精品鲁鲁99| 中文字幕一区二区视频| 欧美α欧美αv大片| 在线视频欧美区| 成人网在线播放| 久久av资源网| 亚洲二区在线观看| 亚洲欧洲日韩在线| 久久久久久久久久久久久夜| 欧美日韩卡一卡二| 99re这里都是精品| 国产毛片一区二区| 久久草av在线| 天天色天天操综合| 一区二区三区日韩在线观看| 国产精品无遮挡| 精品国产髙清在线看国产毛片| 色94色欧美sute亚洲线路一ni| 国产一区中文字幕| 开心九九激情九九欧美日韩精美视频电影 | 777a∨成人精品桃花网| 成人精品鲁一区一区二区| 激情综合网激情| 蜜臀av性久久久久蜜臀av麻豆| 亚洲三级免费观看| 亚洲欧洲国产日本综合| 欧美激情一区二区三区全黄| www日韩大片| 精品久久一区二区| 555www色欧美视频| 欧美精品久久久久久久多人混战| 91国模大尺度私拍在线视频| 91福利国产精品| 欧美在线观看18| 欧美专区亚洲专区| 欧美午夜精品久久久| 91香蕉国产在线观看软件| 91丨九色丨黑人外教| 色偷偷成人一区二区三区91| 在线观看av一区| 欧美蜜桃一区二区三区| 日韩一区二区三区观看| 精品美女被调教视频大全网站| 久久久综合九色合综国产精品| 国产蜜臀av在线一区二区三区| 国产精品麻豆一区二区| 亚洲色图欧美偷拍| 亚洲成人精品一区二区| 青青草97国产精品免费观看无弹窗版| 蜜臀av性久久久久av蜜臀妖精| 国产精品影音先锋| 成人激情av网| 欧美日韩一区中文字幕| 欧美三级日本三级少妇99| 91精品国产综合久久久久| 精品奇米国产一区二区三区| 精品国产sm最大网站免费看| 中文字幕永久在线不卡| 调教+趴+乳夹+国产+精品| 九色porny丨国产精品| 成人综合婷婷国产精品久久蜜臀 | 国产精品久久久一本精品| 成人欧美一区二区三区视频网页| 中文字幕一区二区三区精华液| 亚洲一区二区三区自拍| 日本最新不卡在线| 国产一区二区精品久久| av高清不卡在线| 欧美二区乱c少妇| 国产精品每日更新在线播放网址 | 视频在线观看一区| 国产精品伊人色| 欧美精品丝袜中出| 欧美激情艳妇裸体舞| 亚洲一区影音先锋| 国产精品一品视频| 欧美日韩精品一区二区三区蜜桃 | 欧美电视剧免费全集观看| 中文字幕一区二区三区在线播放| 亚洲国产精品麻豆| av中文字幕不卡| 欧美大片拔萝卜| 亚洲综合在线电影| 国产精一品亚洲二区在线视频| 欧洲一区二区av| 欧美经典一区二区| 美女久久久精品| 欧美日韩一区二区在线观看| 中文无字幕一区二区三区| 日韩国产欧美三级| 欧美在线观看18| 一区二区三区国产精华| 成人晚上爱看视频| 久久九九全国免费| 国产乱妇无码大片在线观看| 日韩三级高清在线| 视频一区视频二区中文字幕| 色婷婷精品大在线视频| 亚洲欧洲无码一区二区三区| 成人午夜精品一区二区三区| 国产无遮挡一区二区三区毛片日本| 日韩精品成人一区二区三区| 欧美午夜一区二区| 亚洲成a人片在线不卡一二三区| 色一情一伦一子一伦一区| 亚洲欧美色图小说| 成人aaaa免费全部观看| 国产成人一区二区精品非洲| 亚洲精品第一国产综合野| 日韩中文字幕区一区有砖一区| 波多野结衣在线aⅴ中文字幕不卡| 欧美成人一区二区| 偷拍自拍另类欧美| 色婷婷久久综合| 亚洲欧美日本在线| 色噜噜久久综合| 亚洲伦理在线免费看| 91首页免费视频| 国产精品少妇自拍| 国产伦精品一区二区三区免费| 日韩一区二区免费在线电影| 免费看欧美美女黄的网站| 日韩一级在线观看| 久久99精品久久久久久动态图 | 日韩一级黄色片| 久久精品国产秦先生| 精品免费99久久| 国产成人综合网| 最新不卡av在线| 欧美日韩电影在线播放| 蜜臀精品一区二区三区在线观看| 日韩精品一区二区在线| 国产成人8x视频一区二区| 中文字幕中文在线不卡住| 色欧美88888久久久久久影院| 午夜久久福利影院| 久久一日本道色综合| a美女胸又www黄视频久久| 亚洲成精国产精品女| 久久免费看少妇高潮| 丰满放荡岳乱妇91ww| 亚洲午夜久久久久久久久电影院| 欧美猛男超大videosgay| 国产精品18久久久久| 亚洲美女免费在线| 精品精品欲导航| 欧美在线播放高清精品| 久久国产精品色| 亚洲激情自拍视频| 日韩美一区二区三区| 91在线国产观看| 精品亚洲aⅴ乱码一区二区三区| 综合久久国产九一剧情麻豆| 91麻豆精品国产91久久久更新时间| 国产精品123| 午夜伊人狠狠久久| 国产性色一区二区| 欧美剧情片在线观看| 成人h动漫精品一区二| 麻豆精品视频在线观看视频| 一区在线中文字幕| 久久久久综合网| 777色狠狠一区二区三区| 91在线视频播放地址| 成人精品国产免费网站| 国内精品久久久久影院一蜜桃| 亚洲一区二区不卡免费| 中文字幕第一页久久| 国产三级精品视频| 日韩欧美电影在线| 欧美系列亚洲系列| 欧美三区免费完整视频在线观看|