国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

開源小模型的大智慧!微軟Phi-4技術報告解讀與簡單測評

AIGC動態8個月前發布 智猩猩GenAI
434 0 0

Phi-4:小模型的大智慧——技術詳解及簡單測評

開源小模型的大智慧!微軟Phi-4技術報告解讀與簡單測評

原標題:開源小模型的大智慧!微軟Phi-4技術報告解讀與簡單測評
文章來源:智猩猩GenAI
內容字數:10088字

微軟Phi-4:14B參數小型語言模型的突破

本文概述了微軟研究院最新發布的14B參數大型語言模型Phi-4,它在眾多大型模型中脫穎而出,并在STEM領域問答能力上超越了GPT-4。其成功秘訣在于對數據質量的極致追求和創新的合成數據生成技術。

1. 數據質量的極致追求:合成數據的重要性

Phi-4的成功離不開對高質量數據的依賴。文章強調數據質量與模型規模同樣重要,甚至可能更為關鍵。Phi系列模型一直重視合成數據,因為它具備結構化和漸進式學習的特點,能夠幫助模型更有效地學習,并與推理上下文更好地對齊。與傳統的無監督數據集相比,合成數據更易于消化和理解。

2. 合成數據生成方法:多智能體提示與自我修訂

Phi-4的預訓練主要依賴于約4000B標記的合成數據集。這些數據通過多步驟提示工作流生成,包括多智能體提示、自我修訂和指令反轉等技術。這些方法彌補了傳統數據集的不足,提升了模型的推理和問題解決能力。此外,Phi-4還使用了數千萬個經過篩選和增強的有機問題和解決方案,以及來自學術論文、教育論壇和編程教程等高質量的有機數據源。

3. 模型架構與訓練過程:4K到16K上下文長度擴展

Phi-4采用僅解碼器的Transformer架構,擁有14B參數。其默認上下文長度為4096個標記,并在中訓練階段擴展到16K,這使得模型能夠處理更長的文本序列。訓練過程持續約10萬億標記,并采用了線性預熱和衰減計劃等優化策略。中訓練階段主要目標是擴展上下文長度,并使用了更長上下文的數據進行訓練,顯著提升了長上下文性能。

4. 訓練后處理:提升模型可靠性和安全性

訓練后處理是Phi-4的關鍵環節,通過監督微調(SFT)、直接偏好優化(DPO)和關鍵標記搜索(PTS)等技術,進一步優化模型輸出,確保其在推理、編碼、對話等任務中的精準性和可靠性。SFT使用約80億標記的數據進行微調;DPO通過人類偏好數據優化模型輸出;PTS通過識別和優化關鍵標記提升模型推理能力。此外,還進行了幻覺緩解的處理,使模型在不確定時更傾向于拒絕回答。

5. 基準測試與性能:超越GPT-4

Phi-4在多個基準測試中表現出色,尤其在STEM問答任務中,甚至在GPQA和MATH上超越了GPT-4。在編碼任務中也優于其他開放權重的模型。然而,文章也指出了其在事實知識幻覺和嚴格遵循詳細指令方面的局限性。

6. 安全性與未來展望

Phi-4的開發遵循微軟的負責任AI原則,并通過多種安全措施確保其安全性。盡管存在一些弱點,Phi-4的卓越表現證明了小型語言模型的巨大潛力。未來,隨著技術的進一步優化,Phi-4有望在更多應用場景中發揮重要作用。

7. 第四屆全球自動駕駛峰會

文章最后提及了將于1月14日在北京舉辦的第四屆全球自動駕駛峰會,內容包括開幕式、多個主題論壇和技術研討會。


聯系作者

文章來源:智猩猩GenAI
作者微信:
作者簡介:智猩猩旗下公眾號之一,深入關注大模型與AI智能體,及時搜羅生成式AI技術產品。

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        亚洲精品日韩一| 成人高清视频在线| 激情久久五月天| 欧美高清dvd| 日韩成人一级片| 欧美一区二区三区的| 蓝色福利精品导航| 亚洲国产成人私人影院tom| 成人av网站在线观看| 一区二区三区四区五区视频在线观看| 欧洲av在线精品| 蜜桃视频一区二区| 国产精品萝li| 9191国产精品| 国产91精品精华液一区二区三区 | 51精品国自产在线| 极品少妇一区二区三区精品视频| 久久亚洲综合色| 成人黄色在线网站| 亚洲成人777| 亚洲国产精品成人综合| 在线免费视频一区二区| 精品中文字幕一区二区小辣椒| 国产精品美女久久久久av爽李琼 | 日韩欧美在线一区二区三区| 国产成人在线影院| 五月开心婷婷久久| 国产精品每日更新| 日韩精品在线一区| 在线精品亚洲一区二区不卡| 国产一区二区三区在线观看免费 | 欧美日本一道本在线视频| 九九视频精品免费| 亚洲电影欧美电影有声小说| 日本一区二区在线不卡| 欧美一区二区三区四区高清| 色婷婷av一区二区三区软件 | 国v精品久久久网| 日本在线观看不卡视频| 亚洲激情图片小说视频| 中文字幕乱码日本亚洲一区二区| 日韩午夜精品视频| 欧美色大人视频| www.久久久久久久久| 久久精品国产77777蜜臀| 亚洲综合激情小说| 亚洲少妇最新在线视频| 久久久久久久一区| 欧美精品一区二区三区高清aⅴ| 欧美性极品少妇| 91在线观看污| 99久久精品国产麻豆演员表| 成人一级黄色片| 国产成人av影院| 国产乱色国产精品免费视频| 久久se这里有精品| 日韩中文字幕91| 日韩综合一区二区| 日韩电影免费在线看| 日韩成人dvd| 蜜乳av一区二区三区| 黄页视频在线91| 国产伦精品一区二区三区免费| 国产一区二区免费看| 成人午夜激情视频| 91免费观看国产| 欧洲人成人精品| 制服丝袜激情欧洲亚洲| 欧美va日韩va| 国产精品天干天干在线综合| 国产精品国产三级国产三级人妇| 中文字幕不卡三区| 亚洲精品精品亚洲| 日韩综合小视频| 国产一区二区视频在线播放| 成人久久久精品乱码一区二区三区 | 成人性生交大片免费| av电影在线观看一区| 色视频欧美一区二区三区| 欧美男生操女生| 精品免费国产一区二区三区四区| 久久精品免费在线观看| 亚洲婷婷国产精品电影人久久| 亚洲一区二区在线观看视频| 精品一区二区久久久| 91网址在线看| 91精品国产免费| 中文av一区特黄| 亚洲国产欧美在线人成| 久久69国产一区二区蜜臀| 97精品视频在线观看自产线路二| 欧美在线啊v一区| 久久久久九九视频| 香蕉久久一区二区不卡无毒影院| 精品亚洲porn| 日本精品一区二区三区高清 | 日日噜噜夜夜狠狠视频欧美人| 国产精品一区二区三区网站| 91精彩视频在线| 久久久久久一级片| 日韩电影在线免费观看| 91老司机福利 在线| 久久影音资源网| 亚洲高清免费视频| av电影在线观看完整版一区二区| 欧美一区二区三区四区高清| 一区二区三区小说| 成人爽a毛片一区二区免费| 精品毛片乱码1区2区3区| 一区二区三区在线视频观看58| 国产在线精品一区二区夜色| 欧美日韩一区在线| 亚洲精品成a人| 99久久免费精品高清特色大片| 欧美精品一区二区久久久| 天堂精品中文字幕在线| 91麻豆成人久久精品二区三区| 国产夜色精品一区二区av| 久久66热偷产精品| 日韩欧美国产精品一区| 日韩av在线播放中文字幕| 欧美亚洲国产bt| 一区二区三区精品久久久| 99久久国产免费看| 中文字幕亚洲在| av日韩在线网站| 日韩毛片精品高清免费| 99re这里只有精品6| 国产精品国产三级国产| 成人aaaa免费全部观看| 国产精品免费视频观看| aaa欧美日韩| 中文字幕一区二区三区在线播放| 国产精品综合av一区二区国产馆| 精品国产乱码久久久久久1区2区| 久久成人免费网| 精品盗摄一区二区三区| 国产综合久久久久久鬼色| 久久久久97国产精华液好用吗| 国产真实乱子伦精品视频| 久久精品日韩一区二区三区| 国产美女精品一区二区三区| 国产午夜精品久久久久久免费视| 国产精品99久久不卡二区| 国产日韩欧美精品在线| www.亚洲精品| 亚洲午夜精品一区二区三区他趣| 欧美日韩精品一区二区在线播放| 无码av中文一区二区三区桃花岛| 日韩一区二区在线免费观看| 麻豆一区二区三| 久久久久久久久久看片| 成人看片黄a免费看在线| 亚洲欧美一区二区三区久本道91| 色综合天天综合网天天狠天天 | 久久久国产综合精品女国产盗摄| 国产一区二区三区日韩 | 国产亚洲成年网址在线观看| 粉嫩13p一区二区三区| 国产精品久久久久久久午夜片| 97精品国产露脸对白| 五月天欧美精品| 久久伊99综合婷婷久久伊| 99精品久久久久久| 秋霞午夜鲁丝一区二区老狼| 精品卡一卡二卡三卡四在线| 91麻豆国产香蕉久久精品| 午夜精品视频在线观看| 久久久久久日产精品| 色婷婷久久久久swag精品| 久久99久久久久| 亚洲精品一卡二卡| 久久综合中文字幕| 91国偷自产一区二区开放时间| 韩国成人精品a∨在线观看| 亚洲欧美区自拍先锋| 欧美一级日韩一级| 色综合久久久久综合体 | 婷婷丁香激情综合| 国产精品人妖ts系列视频| 在线观看91av| 一本一本久久a久久精品综合麻豆| 免费高清不卡av| 成人免费在线观看入口| 久久久亚洲欧洲日产国码αv| 91成人免费网站| 丰满白嫩尤物一区二区| 精品一区二区三区蜜桃| 午夜精品一区二区三区免费视频 | 欧美中文一区二区三区| 国产a视频精品免费观看| 青青草精品视频| 亚洲一区二区三区四区五区黄 | 日韩视频在线你懂得| 欧美日韩免费高清一区色橹橹| 成人精品高清在线| 国产乱码精品1区2区3区| 日本视频一区二区| 无码av中文一区二区三区桃花岛| 亚洲精品乱码久久久久久日本蜜臀|