今日arXiv最熱NLP大模型論文：清華大學(xué)：大語言模型的常見詞僻意理解能力竟不如中學(xué)生

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：今日arXiv最熱NLP大模型論文：清華大學(xué)：大語言模型的常見詞僻意理解能力竟不如中學(xué)生
關(guān)鍵字：模型,語義,能力,提示,任務(wù)
文章來源：夕小瑤科技說
內(nèi)容字?jǐn)?shù)：10424字

內(nèi)容摘要：

夕小瑤科技說 原創(chuàng)作者 | 謝年年LLMs在各種下游任務(wù)上都表現(xiàn)出色，翻譯、寫詩(shī)、寫故事信手拈來，甚至在某些任務(wù)上超過了人類水平。
如果是一個(gè)人擅長(zhǎng)翻譯，那我們會(huì)覺得他充分掌握了兩門語言體系，精通雙語。但是LLMs也是如此嗎？LLMs是真的掌握了兩門語言，還是僅僅從大規(guī)模的訓(xùn)練數(shù)據(jù)中歸納出語言特征，學(xué)會(huì)了模仿。
因此 “LLMs是真正理解了世界，還是只是模仿語言模式和邏輯的隨機(jī)鸚鵡？”。這一疑問引發(fā)了眾多研究并激起了激烈的爭(zhēng)論。
目前主流研究主要集中在表層自然語言理解任務(wù)如了LLMs在句子級(jí)別理解社交語言的能力、重復(fù)句子檢測(cè)等，而忽視了細(xì)粒度的探索。為了填補(bǔ)這一空白，清華大學(xué)深入探討了LLMs對(duì)微妙語義理解能力，特別是對(duì)常見詞匯的不尋常含義，構(gòu)建了LeSC（Lexical Semantic Comprehension）數(shù)據(jù)集來評(píng)估LLMs對(duì)單詞級(jí)自然語言理解能力。
簡(jiǎn)單來說， 作者使用高考和大學(xué)英語考試的數(shù)據(jù)為L(zhǎng)LMs量身打造了單詞釋義理解任務(wù)，這些單詞的正確含義往往不是常見的釋義。如下圖所示，讓LLMs選擇“air”一詞在該句子中所代表的中文含義。“air”此時(shí)不是“空氣”的意思。

原文鏈接：今日arXiv最熱NLP大模型論文：清華大學(xué)：大語言模型的常見詞僻意理解能力竟不如中學(xué)生

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡(jiǎn)介：專業(yè)、有趣、深度價(jià)值導(dǎo)向的科技媒體。聚集30萬AI工程師、研究員，覆蓋500多家海內(nèi)外機(jī)構(gòu)投資人，互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國(guó)內(nèi)外頂級(jí)AI實(shí)驗(yàn)室和大廠，兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作：zym5189