AIGC動態(tài)歡迎閱讀

原標題：今日arXiv最熱大模型論文：北大發(fā)布,通過上下文提示，讓大模型學習一門新的語言
關鍵字：語言,壯語,模型,資源,字典
文章來源：夕小瑤科技說
內容字數(shù)：8421字

內容摘要：

夕小瑤科技說 原創(chuàng)作者 | 松果
引言：探索LLMs學習新語言的可能性在人工智能領域，大語言模型（LLMs）的發(fā)展已經取得了顯著的進步，它們在處理高資源語言方面表現(xiàn)出色。然而，對于資源較少的語言，尤其是極低資源語言，這些模型的支持卻顯得力不從心。這些語言往往缺乏足夠的訓練數(shù)據(jù)來有效地更新模型參數(shù)，從而使得模型難以學習和理解這些語言。這一挑戰(zhàn)引發(fā)了一個有趣的研究問題：LLMs是否能夠僅通過提示（prompting）即時學習一種新的低資源語言？
為了探索這一問題，研究者選擇了壯語作為研究對象，這是一種目前沒有任何LLM支持的極低資源語言。通過收集壯語的研究套件ZHUANGBENCH，包括字典、平行語料庫和機器翻譯測試集，研究者引入了DIPMT++框架，旨在通過上下文學習（in-context learning）來適應未見過的語言。僅使用字典和5K平行句子，DIPMT++顯著提高了GPT-4在中文到壯語翻譯上的表現(xiàn)，從0提升到16 BLEU分，并在壯語到中文翻譯上達到了32 BLEU分。此外，研究還展示了該框架在幫助人類翻譯完全未見過的語言方面的實際效用，這可能有助于語言多樣性的保護。
論文

原文鏈接：今日arXiv最熱大模型論文：北大發(fā)布,通過上下文提示，讓大模型學習一門新的語言

聯(lián)系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業(yè)洞見。聚集25萬AI一線開發(fā)者、互聯(lián)網中高管和機構投資人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼?zhèn)湫袠I(yè)嗅覺與報道深度。