AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：復(fù)旦邱錫鵬教授講述MOSS 2 研發(fā)進(jìn)展：如何實(shí)現(xiàn)世界模型？
關(guān)鍵字：模型,字節(jié)跳動(dòng),語(yǔ)言,騰訊,教授
文章來(lái)源：AI前線
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

演講 | 邱錫鵬教授 整理 | 褚杏娟
去年 ChatGPT 爆火后，國(guó)內(nèi)迅速迎來(lái)了“百模大戰(zhàn)”。其中，復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室在去年 2 月率先發(fā)布了國(guó)內(nèi)首個(gè)類 ChatGPT 的對(duì)話式大語(yǔ)言模型 MOSS，開(kāi)放不到 24 個(gè)小時(shí)，由于瞬時(shí)訪問(wèn)壓力過(guò)大，MOSS 服務(wù)器顯示流量過(guò)載而無(wú)法訪問(wèn)。
當(dāng)時(shí)，平臺(tái)官網(wǎng)發(fā)布解釋稱，MOSS 還是一個(gè)非常不成熟的模型，計(jì)算資源不足以支持如此大的訪問(wèn)量，距離 ChatGPT 還有很長(zhǎng)一段路要走。MOSS 的發(fā)布是一個(gè)重要的里程碑，打通了大語(yǔ)言模型研發(fā)的完整技術(shù)路徑，展示了在資源受限的情況下構(gòu)建高效大語(yǔ)言模型的可能性，還為全球研究者和開(kāi)發(fā)者提供了重要的技術(shù)參考和實(shí)踐經(jīng)驗(yàn)，也提升了國(guó)人研發(fā)大語(yǔ)言模型的信心。
至今一年多的時(shí)間過(guò)去，在 6 月 6 日舉行的 CCF 大模型論壇上，復(fù)旦大學(xué)計(jì)算機(jī)學(xué)院教授邱錫鵬教授坦誠(chéng)道，當(dāng)時(shí)發(fā)布的 MOSS 技術(shù)框架是 GPT-2 時(shí)代的架構(gòu)，比較與后面出現(xiàn)的 LLaMA 等模型架構(gòu)相比，相對(duì)過(guò)時(shí)，并且訓(xùn)練數(shù)據(jù)量和參數(shù)量也不夠，導(dǎo)致能力有限。
邱錫鵬教授表示，MOSS 之前的路線，基本上和 OpenAI 差不多，但由于

原文鏈接：復(fù)旦邱錫鵬教授講述MOSS 2 研發(fā)進(jìn)展：如何實(shí)現(xiàn)世界模型？

聯(lián)系作者

文章來(lái)源：AI前線
作者微信：ai-front
作者簡(jiǎn)介：面向AI愛(ài)好者、開(kāi)發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。