難點(diǎn)在于，如何實(shí)現(xiàn)“既要又要還要”。

原標(biāo)題：獨(dú)家專訪新型神經(jīng)網(wǎng)絡(luò)FAN作者：用傅里葉分析彌補(bǔ)Transformer重要缺陷｜甲子光年
文章來源：甲子光年
內(nèi)容字?jǐn)?shù)：11468字

1. 引言

2017年，Google團(tuán)隊(duì)發(fā)表的論文《Attention Is All You Need》引入了Transformer架構(gòu)，徹底改變了自然語(yǔ)言處理（NLP）領(lǐng)域。然而，Transformer在周期性特征建模上存在明顯缺陷，無法有效捕捉周期性現(xiàn)象的本質(zhì)。本文圍繞北京大學(xué)李戈教授團(tuán)隊(duì)提出的FAN（傅里葉分析網(wǎng)絡(luò)）展開，探討其在周期性建模中的優(yōu)勢(shì)及應(yīng)用。

2. 周期性建模的重要性

周期性現(xiàn)象廣泛存在于自然科學(xué)和人類社會(huì)中，如天文學(xué)的行星和生物學(xué)的晝夜節(jié)律。有效建模這些周期性特征對(duì)許多實(shí)際任務(wù)至關(guān)重要。然而，現(xiàn)有的基礎(chǔ)模型如MLP和Transformer在理解這些現(xiàn)象時(shí)表現(xiàn)不佳，甚至在外推時(shí)失控。

3. FAN的創(chuàng)新之處

FAN通過引入傅里葉原理，將周期性信息嵌入網(wǎng)絡(luò)結(jié)構(gòu)。其核心結(jié)構(gòu)FAN Layer能夠高效地捕捉周期性特征，同時(shí)保持其他能力不受影響。FAN在參數(shù)和計(jì)算需求上均優(yōu)于傳統(tǒng)模型，特別是在周期性建模和實(shí)際任務(wù)應(yīng)用中展現(xiàn)了顯著優(yōu)勢(shì)。

4. FAN的性能評(píng)估

實(shí)驗(yàn)表明，F(xiàn)AN在周期性建模和實(shí)際任務(wù)（如時(shí)間序列預(yù)測(cè)和語(yǔ)言建模）中優(yōu)于現(xiàn)有模型。尤其在處理周期性數(shù)據(jù)時(shí)，F(xiàn)AN能夠提供有效的助力，顯著提升性能。整合FAN的改良Transformer模型在多項(xiàng)任務(wù)中同樣表現(xiàn)出色。

5. 對(duì)神經(jīng)網(wǎng)絡(luò)理解的轉(zhuǎn)變

FAN不僅增強(qiáng)了對(duì)周期性特征的建模能力，還簡(jiǎn)化了模型的參數(shù)和計(jì)算需求。它為基礎(chǔ)模型提供了一種新的范式，強(qiáng)調(diào)了當(dāng)前模型在周期性建模方面的潛在缺陷。

6. 未來研究方向

未來，F(xiàn)AN的研究將集中于優(yōu)化與現(xiàn)有模型的結(jié)合方式、提升參數(shù)規(guī)模以及拓展應(yīng)用范圍。研究者們希望進(jìn)一步驗(yàn)證FAN在更大參數(shù)規(guī)模的LLM中的表現(xiàn)，并探索其在圖像識(shí)別等領(lǐng)域的應(yīng)用潛力。

7. 結(jié)論

FAN的提出為周期性建模提供了有效的解決方案，可能在AI發(fā)展中扮演重要角色。研究團(tuán)隊(duì)期待FAN能夠激發(fā)更多研究者的探索與創(chuàng)新，推動(dòng)人工智能技術(shù)的進(jìn)一步發(fā)展。

聯(lián)系作者

文章來源：甲子光年
作者微信：
作者簡(jiǎn)介：甲子光年是一家科技智庫(kù)，包含智庫(kù)、社群、企業(yè)服務(wù)版塊，立足中國(guó)科技創(chuàng)新前沿陣地，動(dòng)態(tài)跟蹤頭部科技企業(yè)發(fā)展和傳統(tǒng)產(chǎn)業(yè)技術(shù)升級(jí)案例，推動(dòng)人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算、新能源、新材料、信息安全、大健康等科技創(chuàng)新在產(chǎn)業(yè)中的應(yīng)用與落地。