顛覆傳統：新型FAN神經網絡如何用傅里葉分析Transformer的瓶頸

難點在于，如何實現“既要又要還要”。

原標題：獨家專訪新型神經網絡FAN作者：用傅里葉分析彌補Transformer重要缺陷｜甲子光年
文章來源：甲子光年
內容字數：11468字

1. 引言

2017年，Google團隊發表的論文《Attention Is All You Need》引入了Transformer架構，徹底改變了自然語言處理（NLP）領域。然而，Transformer在周期性特征建模上存在明顯缺陷，無法有效捕捉周期性現象的本質。本文圍繞北京大學李戈教授團隊提出的FAN（傅里葉分析網絡）展開，探討其在周期性建模中的優勢及應用。

2. 周期性建模的重要性

周期性現象廣泛存在于自然科學和人類社會中，如天文學的行星和生物學的晝夜節律。有效建模這些周期性特征對許多實際任務至關重要。然而，現有的基礎模型如MLP和Transformer在理解這些現象時表現不佳，甚至在外推時失控。

3. FAN的創新之處

FAN通過引入傅里葉原理，將周期性信息嵌入網絡結構。其核心結構FAN Layer能夠高效地捕捉周期性特征，同時保持其他能力不受影響。FAN在參數和計算需求上均優于傳統模型，特別是在周期性建模和實際任務應用中展現了顯著優勢。

4. FAN的性能評估

實驗表明，FAN在周期性建模和實際任務（如時間序列預測和語言建模）中優于現有模型。尤其在處理周期性數據時，FAN能夠提供有效的助力，顯著提升性能。整合FAN的改良Transformer模型在多項任務中同樣表現出色。

5. 對神經網絡理解的轉變

FAN不僅增強了對周期性特征的建模能力，還簡化了模型的參數和計算需求。它為基礎模型提供了一種新的范式，強調了當前模型在周期性建模方面的潛在缺陷。

6. 未來研究方向

未來，FAN的研究將集中于優化與現有模型的結合方式、提升參數規模以及拓展應用范圍。研究者們希望進一步驗證FAN在更大參數規模的LLM中的表現，并探索其在圖像識別等領域的應用潛力。

7. 結論

FAN的提出為周期性建模提供了有效的解決方案，可能在AI發展中扮演重要角色。研究團隊期待FAN能夠激發更多研究者的探索與創新，推動人工智能技術的進一步發展。

聯系作者

文章來源：甲子光年
作者微信：
作者簡介：甲子光年是一家科技智庫，包含智庫、社群、企業服務版塊，立足中國科技創新前沿陣地，動態跟蹤頭部科技企業發展和傳統產業技術升級案例，推動人工智能、大數據、物聯網、云計算、新能源、新材料、信息安全、大健康等科技創新在產業中的應用與落地。