涵蓋500多項研究、50多個模型，代碼大模型綜述來了

AIGC動態(tài)歡迎閱讀

原標題：涵蓋500多項研究、50多個模型，代碼大模型綜述來了

關(guān)鍵字：代碼,模型,語言,任務(wù),報告

文章來源：機器之心

內(nèi)容字數(shù)：20064字

內(nèi)容摘要：機器之心報道編輯：Panda W本文帶你全面洞悉用LLM寫代碼的各式方法。隨著 BERT 和 GPT 等預(yù)訓(xùn)練 Transformer 的出現(xiàn)，語言建模近些年來取得了顯著進步。隨著大型語言模型（LLM）的規(guī)模擴展至數(shù)以千萬計的參數(shù)數(shù)量，LLM 開始展現(xiàn)出通用人工智能的跡象，它們的應(yīng)用也已經(jīng)不局限于文本處理。Codex 首次展現(xiàn)出了 LLM 在代碼處理方面的出色能力，之后更是出現(xiàn)了 GitHub Copilot 這樣的商業(yè)產(chǎn)品以及 StarCoder 和 Code LLaMA 等開源代碼模型。但是，預(yù)訓(xùn)練 Transformer 在代碼處理方面的應(yīng)用可以追溯到僅解碼器（decoder-only）自回歸模型成為主流技術(shù)之前的時期，而這一領(lǐng)域還尚沒有一篇完整的綜述。上海交通大學(xué)和螞蟻集團的一個研究團隊填補了這一空白。他們對用于代碼的語言模型進行了全景式的總結(jié)，覆蓋了 50 多個模型、30 多個下…

原文鏈接：點此閱讀原文：涵蓋500多項研究、50多個模型，代碼大模型綜述來了

聯(lián)系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺