Self-Taught Evaluators

Self-Taught Evaluators是一種創(chuàng)新的模型評(píng)估方法，旨在通過(guò)自我訓(xùn)練機(jī)制提升大型語(yǔ)言模型（LLM）的評(píng)估能力，完全不依賴人工標(biāo)注數(shù)據(jù)。該方法從未標(biāo)記的指令出發(fā)，利用迭代自我改進(jìn)的流程生成對(duì)比模型輸出，并通過(guò)LLM作為裁判，形成推理軌跡與最終判斷。實(shí)驗(yàn)表明，Self-Taught Evaluators顯著提高了基于Llama3-70B-Instruct模型的評(píng)估準(zhǔn)確率，從75.4提升至88.3，并在多數(shù)投票情況下達(dá)到了88.7，超越了常用的LLM裁判如GPT-4，其表現(xiàn)可與人工標(biāo)注數(shù)據(jù)訓(xùn)練的頂級(jí)獎(jiǎng)勵(lì)模型相媲美。

Self-Taught Evaluators是什么

Self-Taught Evaluators是一種前沿的模型評(píng)估技術(shù)，旨在利用自我訓(xùn)練的方式提升大型語(yǔ)言模型（LLM）的評(píng)估精度，而無(wú)需依賴人工標(biāo)注的數(shù)據(jù)。該方法從未標(biāo)記的指令開(kāi)始，采用迭代的自我改進(jìn)策略生成對(duì)比模型的輸出。通過(guò)使用LLM作為評(píng)判者，該方法能夠生成詳細(xì)的推理軌跡和最終判斷，確保模型的持續(xù)優(yōu)化。

Self-Taught Evaluators的主要功能

• 生成對(duì)比模型輸出：從未標(biāo)記的指令出發(fā)，基于提示生成不同質(zhì)量的模型響應(yīng)對(duì)。
• 訓(xùn)練LLM作為裁判：利用LLM生成推理過(guò)程和最終判斷，以評(píng)估不同響應(yīng)的優(yōu)劣。
• 迭代自我改進(jìn)：每次迭代中，通過(guò)當(dāng)前模型的判斷生成訓(xùn)練數(shù)據(jù)，微調(diào)模型，實(shí)現(xiàn)自我優(yōu)化。
• 評(píng)估模型性能：在標(biāo)準(zhǔn)評(píng)估協(xié)議，例如RewardBench上評(píng)估模型的準(zhǔn)確性，并與人類評(píng)估結(jié)果進(jìn)行對(duì)比。

Self-Taught Evaluators的技術(shù)原理

• 初始化：假設(shè)能夠訪問(wèn)大量人類編寫的用戶指令和一個(gè)初步的種子LLM。
• 指令選擇：基于LLM對(duì)指令進(jìn)行分類，選擇具有挑戰(zhàn)性和平衡分布的指令子集。
• 響應(yīng)對(duì)構(gòu)建：為每個(gè)選定的指令生成偏好數(shù)據(jù)，包括兩個(gè)響應(yīng)（優(yōu)選和非優(yōu)選），確保非優(yōu)選響應(yīng)的質(zhì)量低于優(yōu)選響應(yīng)。
• 迭代訓(xùn)練：包括判斷注釋和模型微調(diào)兩個(gè)步驟，當(dāng)前模型生成推理過(guò)程和判斷，正確判斷的示例將被添加到訓(xùn)練集中，以便微調(diào)模型，為下一次迭代提供更新的版本。

Self-Taught Evaluators的項(xiàng)目地址

• GitHub倉(cāng)庫(kù)：https://github.com/facebookresearch/RAM/tree/main/projects/self_taught_evaluator
• HuggingFace模型庫(kù)：https://huggingface.co/datasets/facebook/Self-taught-evaluator-DPO-data
• arXiv技術(shù)論文：https://arxiv.org/pdf/2408.02666

Self-Taught Evaluators的應(yīng)用場(chǎng)景

• 語(yǔ)言模型開(kāi)發(fā)：在研發(fā)新型大型語(yǔ)言模型時(shí)，Self-Taught Evaluators能夠有效評(píng)估和優(yōu)化模型輸出的質(zhì)量，確保生成的文本符合預(yù)期標(biāo)準(zhǔn)。
• 自動(dòng)化內(nèi)容評(píng)估：在內(nèi)容創(chuàng)作領(lǐng)域，如新聞機(jī)構(gòu)、出版業(yè)或社交媒體平臺(tái)中，用于自動(dòng)化評(píng)估內(nèi)容的質(zhì)量和準(zhǔn)確性，提高內(nèi)容審核的效率。
• 教育和學(xué)術(shù)研究：在教育行業(yè)，Self-Taught Evaluators可以作為輔助工具，幫助評(píng)估學(xué)生的寫作作業(yè)或研究論文，并提供反饋和改進(jìn)建議。
• 客服和技術(shù)支持：在客戶服務(wù)領(lǐng)域，用于評(píng)估自動(dòng)回復(fù)系統(tǒng)的質(zhì)量，確?；貜?fù)既準(zhǔn)確又有幫助，從而提升客戶滿意度。
• 編程和代碼生成：在需要代碼生成和評(píng)估的場(chǎng)景中，Self-Taught Evaluators能夠有效評(píng)估生成的代碼片段的質(zhì)量，幫助開(kāi)發(fā)人員進(jìn)行改進(jìn)。

常見(jiàn)問(wèn)題

• Self-Taught Evaluators的優(yōu)勢(shì)是什么？該方法的主要優(yōu)勢(shì)在于無(wú)需人工標(biāo)注數(shù)據(jù)，通過(guò)自我訓(xùn)練和迭代改進(jìn)，可以持續(xù)提升模型的評(píng)估能力。
• 如何開(kāi)始使用Self-Taught Evaluators？您可以訪問(wèn)其GitHub倉(cāng)庫(kù)或HuggingFace模型庫(kù)獲取相關(guān)資料和代碼，按照說(shuō)明進(jìn)行配置和使用。
• Self-Taught Evaluators適用于哪些類型的項(xiàng)目？該方法廣泛適用于語(yǔ)言模型開(kāi)發(fā)、自動(dòng)化內(nèi)容評(píng)估、教育評(píng)估、客服支持以及編程相關(guān)的應(yīng)用場(chǎng)景。