AIGC動態歡迎閱讀

原標題：ACL 2024: ChatGPT栽了！數據標注還得靠人類
關鍵字：謂詞,基準,猶太人,猶太,句子
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說 原創作者 | 謝年年
人工智能領域苦于數據標注久已，ChatGPT的出現似乎打破了這個僵局。
早在2023年,蘇黎世大學一篇論文[1]發現，無論成本還是效率，ChatGPT吊打人類，成本上，ChatGPT平均每個標注成本低于0.003美元，比眾包平臺便宜20倍；效率上，在相關性、立場、主題等任務中，80%的任務都優于人類。
ChatGPT一出手，就知有沒有！
但是，最近，來自ACL2024的一篇文章卻表示：
我們強烈建議避免在評估LLMs的公平性基準創建中使用LLMs標注，并強調人類標注的重要性，特別是在敏感和高度依賴上下文的任務中。
是怎么回事呢？
眾所周知，LLMs存在一些社會偏見，這通常通過一些偏見基準數據集來衡量。為了更好促進LLMs的公平性，這篇文章引入了一個新的偏見數據集基準——關于猶太社區和反猶主義。
由于人工標注數據費時費力，并且此類偏見數據存在大量暴利和仇恨的語言，對人類標注員的心理健康危害很大。因此作者嘗試使用GPT輔助標注，但是結果卻顯示GPT標注的數據存在很大的質量問題，比如提取信息不完整、虛構用詞等等，嚴重影響了下游任務對基準數據集的評測。一起來

原文鏈接：ACL 2024: ChatGPT栽了！數據標注還得靠人類

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：專業、有趣、深度價值導向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內外機構投資人，互聯網大廠中高管和AI公司創始人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備敏銳的行業嗅覺和洞察深度。商務合作：zym5189