AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：「Meta版ChatGPT」背后的技術(shù)：想讓基礎(chǔ)LLM更好地處理長(zhǎng)上下文，只需持續(xù)預(yù)訓(xùn)練

關(guān)鍵字：模型,上下文,長(zhǎng)上,任務(wù),下文

文章來源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：10932字

內(nèi)容摘要：機(jī)器之心報(bào)道編輯：Panda W在處理長(zhǎng)上下文方面，LLaMA 一直力有不足，而通過持續(xù)預(yù)訓(xùn)練和其它一些方法改進(jìn)，Meta 的這項(xiàng)研究成功讓 LLM 具備了有效理解上下文的能力。大型語(yǔ)言模型（LLM）所使用的數(shù)據(jù)量和計(jì)算量都是前所未見的，這也使其有望從根本上改變我們與數(shù)字世界的交互方式。隨著 LLM 被不斷快速部署到生產(chǎn)環(huán)境中并不斷擴(kuò)展進(jìn)化，可以預(yù)見這些模型將能在更多復(fù)雜精細(xì)的用例中提供服務(wù)，比如…

原文鏈接：點(diǎn)此閱讀原文：「Meta版ChatGPT」背后的技術(shù)：想讓基礎(chǔ)LLM更好地處理長(zhǎng)上下文，只需持續(xù)預(yù)訓(xùn)練

聯(lián)系作者

文章來源：機(jī)器之心

作者微信：almosthuman2014

作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)