OpenAI Day2的直播含金量被低估了。

原標題：OpenAI Day2：支持微調o1, 核心技術竟更早來自字節跳動！「強化微調」技術分析
文章來源：夕小瑤科技說
內容字數：4628字

OpenAI推出強化微調技術，提升模型性能

在最近的直播中，OpenAI宣布了一項名為“強化微調”（Reinforcement Fine-Tuning,ReFT）的新技術，這一技術將為科研和專業領域的研究者提供快速、低成本的模型微調方案。盡管直播中并未出現奧特曼，但這一技術的推出被認為是2024年的重大驚喜之一。

1. 強化微調的定義與優勢

強化微調是一種全新的模型定制技術，與傳統的監督微調（Supervised Fine-Tuning,SFT）不同，ReFT允許開發者通過少量高質量任務數據集（僅需幾十個示例）對模型進行針對性優化。此技術強調推理能力的提升，使AI在特定領域的復雜任務中表現得更為精準。

2. 實驗與結果

在直播中，OpenAI展示了強化微調在醫療領域的應用。通過對o1 mini模型進行強化微調，研究人員使用約1100個病例報告進行訓練，結果顯示該模型在預測罕見遺傳疾病基因的能力上，甚至超過了最新發布的o1模型。

3. ReFT的技術路線

ReFT結合了監督微調和強化學習（Reinforcement Learning,RL）的方法，分為預熱階段和強化學習階段。在預熱階段，模型通過SFT進行基礎訓練，而在強化學習階段，使用PPO算法進一步優化模型性能。這一過程使得模型能夠通過多條推理路徑學習，顯著提高解答的準確性。

4. 未來展望

OpenAI的這項技術為領域垂直模型和小型化模型的開發開辟了新空間。未來，各個領域的o1模型將會快速涌現，開發者和企業可以更輕松地結合領域數據和業務邏輯進行訓練，提升AI模型在特定領域的推理能力。這將加速AI在各個應用場景的落地，并增強企業的競爭優勢。

5. 申請與測試

目前，OpenAI已開啟alpha測試，公開使用計劃預計在2025年春季推出。感興趣的開發者可以通過OpenAI官網申請參與測試，進一步體驗這一前沿技術。

總之，OpenAI的強化微調技術為AI模型的定制與優化提供了新思路，有望在科研和行業應用中發揮重要作用。

聯系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189