AIGC動態(tài)歡迎閱讀

原標題：只需幾個演示就能對齊大模型，楊笛一團隊提出的DITTO竟如此高效
關(guān)鍵字：數(shù)據(jù),演示,策略,模型,團隊
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

機器之心報道
編輯：Panda人類的教育方式，對大模型而言也很適用。養(yǎng)育孩子時，古往今來人們都會談到一種重要方法：以身作則。也就是讓自己成為孩子模仿學(xué)習(xí)的范例，而不是單純地告訴他們應(yīng)該怎么做。在訓(xùn)練大語言模型（LLM）時，我們或許也能采用這樣的方法 —— 向模型進行演示。
近日，斯坦福大學(xué)楊笛一團隊提出了一種新框架 DITTO，可通過少量演示（用戶提供的期望行為示例）來將 LLM 與特定設(shè)置對齊。這些示例可以從用戶現(xiàn)有的交互日志獲取，也能通過直接編輯 LLM 的輸出得到。這樣就可以讓模型針對不同的用戶和任務(wù)高效地理解并對齊用戶偏好。論文標題：Show, Don’t Tell: Aligning Language Models with Demonstrated Feedback
論文地址：https://arxiv.org/pdf/2406.00888
DITTO 可基于少量演示（少于 10）自動創(chuàng)建一個包含大量偏好比較數(shù)據(jù)的數(shù)據(jù)集（這個過程被稱為 scaffold），其具體做法是默認這一點：相比于原始 LLM 及早期迭代版本的輸出，用戶更偏好演示。然后，將演示與模型輸出組成數(shù)據(jù)對，得

原文鏈接：只需幾個演示就能對齊大模型，楊笛一團隊提出的DITTO竟如此高效

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺