文章轉(zhuǎn)載自「機器之心」。OpenAI 的 12 天計劃進入了第 2 天。凌晨兩點，我們迎來了一個開發(fā)者和研究者更感興趣的產(chǎn)品：Reinforcement Fine-Tuning，即強化微調(diào)。今天參與發(fā)布的四人組是 OpenAI 研究副總裁 Mark Chen、OpenAI 技術(shù)員 John Allard 和 Julie Wang、Berkeley Lab 的環(huán)境基因組學(xué)和系統(tǒng)生物學(xué)研究者 Justin Reese。Mark Chen 首先表示，今天發(fā)布的強化微調(diào)「允許你將你的黃金數(shù)據(jù)集轉(zhuǎn)化為獨特的產(chǎn)品，這將能讓你將我們具有的神奇能力提供給你自己的用戶和客戶?！沟鼘嶋H上要到明年才會真正公開推出。OpenAI 微調(diào)團隊 Steven Heidel 也在 X 上給出了一句話總結(jié)：01什么是強化微調(diào)？去年，OpenAI 就已經(jīng)為自家產(chǎn)品推出了監(jiān)督式微調(diào) API。簡單來說，監(jiān)督式微調(diào)要做的是讓模型模仿它在輸入文本或圖像中找到的特征。這種強大的技術(shù)可用于修改模型的語氣、樣式或響應(yīng)格式等等。強化微調(diào)（RFT）則是一種更進一步模型定制技術(shù)，可讓開發(fā)者使用強化學(xué)習(xí)針對具體任務(wù)對模型進行進一步的微調(diào)，并根據(jù)提供的參對模型的響應(yīng)進行評分。也就是說，強化微調(diào)不僅會教模型模仿其輸入，更是會讓其學(xué)會在特定領(lǐng)域以新的方式進行推理。具體來說，當(dāng)模型發(fā)現(xiàn)問題時，要為它提供思考問題的空間，然后再對模型給出的響應(yīng)進行打分。之后，利用強化學(xué)習(xí)的力量，可以強化模型得到正確答案的思維方式并抑制導(dǎo)向錯誤答案的思維方式。John Allard 表示：「只需幾十個例子，模型就能學(xué)會在自定義領(lǐng)域以新的有效方式進行推理?！箍雌饋?，這種技術(shù)既能提高其在該領(lǐng)域特定任務(wù)上的準(zhǔn)確性，還能增強模型對類似問題的推理能力。Allard 還指出，OpenAI 內(nèi)部在訓(xùn)練 GPT-4o 和 o1 系列模型時也使用了同樣的技術(shù)。Julie Wang 表示：「開發(fā)者、研究人員和機器學(xué)習(xí)工程師將能夠使用強化學(xué)習(xí)來創(chuàng)建能夠在其領(lǐng)域內(nèi)擅長其特定任務(wù)的專家模型。我們相信，任何需要在 AI 模型方面擁有深厚專業(yè)知識的領(lǐng)域都能受益，比如法律、金融、工程、保險?！顾e了個例子，OpenAI 最近與湯森路透合作，使用強化微調(diào)來微調(diào) o1-mini，從而得到了好用的 AI 法律助理，能幫助他們的法律專業(yè)人員完成一些「最具分析性的工作流程」。伯克利實驗室的 Justin Reese 也談到了強化微調(diào)對自己在罕見疾病方面的研究的幫助。他表示，罕見疾病其實并不罕見 —— 全球患有不同罕見疾病的人總數(shù)可達到 3 億人；而罕見疾病患者在確診之前往往需要數(shù)月乃至數(shù)年的漫長診斷過程。因為為了診斷出這些疾病，既需要醫(yī)學(xué)專業(yè)知識，還必須基于生物醫(yī)學(xué)數(shù)據(jù)進行系統(tǒng)性推理。而 o1 加上強化微調(diào)就能滿足這樣的需求。02如何實現(xiàn)強化微調(diào)？OpenAI 通過一個根據(jù)癥狀推理預(yù)測可能基因的示例展現(xiàn)了強化微調(diào)的巨大潛力 —— 這實際上也正是伯克利實驗室與 OpenAI 的合作項目之一。結(jié)果發(fā)現(xiàn)，使用強化微調(diào)后，模型規(guī)模更小的 o1-mini 的表現(xiàn)可超過性能更加強勁的 o1。下面將基于具體示例介紹如何實現(xiàn)強化微調(diào)。首先來看訓(xùn)練數(shù)據(jù)集。具體來說，這里的數(shù)據(jù)集是一個 .jsonl 文件，其中每一行都是一個訓(xùn)練樣本。在這個示例中，數(shù)據(jù)集中包含 11 個樣本。下面展示了一個具體數(shù)據(jù)樣本?？梢钥吹狡渲邪棧翰±龍蟾妫ò拘畔?、癥狀以及沒有的癥狀）、指令和正確答案。在強化微調(diào)的訓(xùn)練過程中，模型并不能看到正確答案。在給模型提供病例報告和指令之后，模型會輸出如上圖底部所示的響應(yīng) —— 一個基因列表，其中排在第一位的基因是模型認(rèn)為最可能的基因，以此類推。接下來，還需要上傳一個驗證數(shù)據(jù)集。驗證數(shù)據(jù)與訓(xùn)練數(shù)據(jù)的格式完全一樣，但內(nèi)容沒有重疊。這樣才能驗證模型能否在該任務(wù)上進行泛化，而不僅僅是記住了訓(xùn)練數(shù)據(jù)。在訓(xùn)練過程中，強化微調(diào)的「強化」部分就體現(xiàn)在評分器（Grader）的使用上。其設(shè)計思路很簡單，評分器會比較模型輸出與正確答案，然后返回一個 0 到 1 之間的分?jǐn)?shù)。0 表示模型的輸出中不包含正確答案，而 1 表示正確答案在輸出的第一個位置。如下圖所示，正確答案在第 2 個位置，評分器給出了 0.7 的分?jǐn)?shù)。當(dāng)然，有些任務(wù)的輸出結(jié)果并不是列表形式，因此 OpenAI 也提供了其它評分器，可以「相當(dāng)有效地覆蓋你可能擁有的意圖的空間」。并且他們也在不斷增加更多評分器，未來也會支持用戶自己定制的評分器。配置好評分器之后，用戶還可以選擇調(diào)整模型種子和一些超參數(shù)，包括批量大小、學(xué)習(xí)率乘數(shù)、epoch 數(shù)量。接下來，點擊 Create，再等待一段時間，用戶就能得到經(jīng)過強化微調(diào)的定制模型。Allard 表示，根據(jù)具體任務(wù)的不同，這個訓(xùn)練過程可能需要數(shù)小時到數(shù)天時間。接下來，他演示了一個之前已經(jīng)微調(diào)好的模型，以下截圖展示了該模型的相關(guān)信息，可以看到基礎(chǔ)模型是 o1-mini，經(jīng)過強化微調(diào)后會得到一個輸出模型。同一個頁面中還能看到模型在驗證數(shù)據(jù)集上的分?jǐn)?shù)變化情況。那么，這個經(jīng)過強化微調(diào)的 o1-mini 的表現(xiàn)究竟如何呢？評估結(jié)果表明，在 top@1（正確答案在列表第 1 個位置的概率）、top@5（正確答案在列表前 5 個位置的概率）和 top@max（輸出中包含正確答案的概率）指標(biāo)上，其表現(xiàn)都明顯勝過性能更加強大的最新版 o1。下面展示了一些運行過程示例：當(dāng)然，強化微調(diào)是一種通用技術(shù)。理論上，只要有合適的數(shù)據(jù)集和評估器，你就能將 o1 訓(xùn)練成你的專業(yè) AI 助手。目前，OpenAI 僅支持強化微調(diào)的 Alpha 測試申請，并且名額有限，「非常適合正在與專家團隊一起處理非常復(fù)雜任務(wù)的組織」，個人用戶至少得等到明年了。如果你有需求，可以在這里嘗試申請：https://openai.com/form/rft-research-program/

更多閱讀OpenAI發(fā)布季第一天：o1完全體，200美元/月的ChatGPT Pro2024 SaaS年度觀察：AI到底是「」了SaaS，還是「改造」了SaaS？萬字探討：如何成為一名 AI 產(chǎn)品經(jīng)理？對話flomo少楠：當(dāng)然會對AI感到恐慌，但別著急奇績創(chuàng)壇2024秋季路演，這60個AI創(chuàng)業(yè)項目拿到錢了全世界最懂大模型的兩個產(chǎn)品經(jīng)理，一起聊怎么產(chǎn)品轉(zhuǎn)載原創(chuàng)文章請?zhí)硇牛篺ounderparker