AIGC動態歡迎閱讀

原標題：減輕幻覺新SOTA，7B模型自迭代訓練效果超越GPT-4，上海AI lab發布
關鍵字：幻覺,數據,模型,階段,性能
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 謝年年
LLMs在回答各種復雜問題時，有時會“胡言亂語”，產生所謂的幻覺。解決這一問題的初始步驟就是創建高質量幻覺數據集訓練模型以幫助檢測、緩解幻覺。
但現有的幻覺標注數據集，因為領域窄、數量少，加上制作成本高、標注人員水平不一，所以很難變得強大。
為了解決這個問題，上海AI lab設計了一個迭代自訓練框架——ANAH-v2，它像滾雪球一樣，一邊擴大幻覺檢測的數據集，一邊提高標注者的準確性。
這個框架利用期望最大化算法，每次循環都會先用現有的幻覺標注工具給新數據打上“幻覺”標簽，然后用這些新數據訓練一個更厲害的標注工具。
通過迭代，檢測工具越來越強，數據集也越來越大。一個僅有7B參數的幻覺標注模型（89.55%）超越了GPT-4的表現（86.97%），并且在幻覺檢測基準HaluEval和HalluQA上獲得了新的SOTA！
論文標題:ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models
論文鏈接：https://arxiv.org/pdf/2407.0469

原文鏈接：減輕幻覺新SOTA，7B模型自迭代訓練效果超越GPT-4，上海AI lab發布

聯系作者

文章來源：夕小瑤科技說
作者微信：
作者簡介：