智能的本質(zhì)就是壓縮？馬毅團(tuán)隊(duì)5年心血提出「白盒」Transformer， 打開LLM黑盒！

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：智能的本質(zhì)就是壓縮？馬毅團(tuán)隊(duì)5年心血提出「白盒」Transformer， 打開LLM黑盒！

關(guān)鍵字：研究人員,模型,架構(gòu),表征,編碼器

文章來源：新智元

內(nèi)容字?jǐn)?shù)：8585字

內(nèi)容摘要：新智元報(bào)道編輯：潤(rùn) 桃子【新智元導(dǎo)讀】來自UC伯克利，港大等機(jī)構(gòu)的研究人員，開創(chuàng)性地提出了一種「白盒」Transformer結(jié)構(gòu)——CRATE。他們通過將數(shù)據(jù)從高維度分布?jí)嚎s到低維結(jié)構(gòu)分布，實(shí)現(xiàn)有效的表征，從而進(jìn)一步實(shí)現(xiàn)了有競(jìng)爭(zhēng)力的模型性能。這也引發(fā)了一個(gè)更為深遠(yuǎn)的討論——難道智能的本質(zhì)就是壓縮嗎？AI界大佬對(duì)于大模型的安全問題一直以來爭(zhēng)吵不休，全都?xì)w咎于神經(jīng)網(wǎng)絡(luò)「黑盒」，讓所有人捉摸不透。現(xiàn)實(shí)中，如果能找到一種構(gòu)架，兼具Transformer的結(jié)構(gòu)和功能性優(yōu)勢(shì)，又有極好的可解釋性。那么，大模型的安全性問題，是不是就有解了？為了消除未來超級(jí)AI給人類帶來的風(fēng)險(xiǎn)，Hinton等人大肆鼓吹「AI末日論」，也許能吸引公眾注意力，促進(jìn)達(dá)成。但最終解決問題，必須要從技術(shù)層面找到能「徹底消滅」AI風(fēng)險(xiǎn)的可行路徑。拆解大模型「黑盒」，就成了最關(guān)鍵一步。由馬毅教授帶領(lǐng)的來自UC伯克利，TTIC，上科大…

原文鏈接：點(diǎn)此閱讀原文：智能的本質(zhì)就是壓縮？馬毅團(tuán)隊(duì)5年心血提出「白盒」Transformer， 打開LLM黑盒！

聯(lián)系作者

文章來源：新智元

作者微信：AI_era

作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。