LLM的「母語」是什么？

AIGC動態(tài)歡迎閱讀

原標題：LLM的「母語」是什么？
關(guān)鍵字：英語,中文,語言,單詞,模型
文章來源：新智元
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

新智元報道編輯：alan
【新智元導讀】在以英語為主的語料庫上訓練的多語言LLM，是否使用英語作為內(nèi)部語言？對此，來自EPFL的研究人員針對Llama 2家族進行了一系列實驗。大語言模型的「母語」是什么？
我們的第一反應(yīng)很可能是：英語。
但事實果真如此嗎？尤其是對于能夠聽說讀寫多種語言的LLM來說。
對此，來自EPFL（洛桑聯(lián)邦理工學院）的研究人員發(fā)表了下面這篇工作來一探究竟：
論文地址：https://arxiv.org/pdf/2402.10588
項目地址：https://github.com/epfl-dlab/llm-latent-language
作者以Llama2為對象，向我們展示了具有多語言能力的Transformer，是如何思考問題的。
像「羊駝」這種在英語區(qū)下長大的娃，他的「多語言」到底是本質(zhì)屬性，還是僅僅套了個翻譯的殼？
這對于人們理解LLM的運行機制至關(guān)重要。
要探究大模型的內(nèi)心世界，雖然聽起來有點復雜，但實際上一點也不簡單。
研究人員在這里化繁為簡，使用特定的提示來保證輸出的唯一性，同時把Llama-2-7B的32層輸出全部提取出來——一層一層一層的剝開她的

原文鏈接：LLM的「母語」是什么？

聯(lián)系作者

文章來源：新智元
作者微信：AI_era
作者簡介：智能+中國主平臺，致力于推動中國從互聯(lián)網(wǎng)+邁向智能+新紀元。重點關(guān)注人工智能、機器人等前沿領(lǐng)域發(fā)展，關(guān)注人機融合、人工智能和機器人對人類社會與文明進化的影響，領(lǐng)航中國新智能時代。