揭示Transformer重要缺陷！北大提出傅里葉分析神經網絡FAN，填補周期性特征建模缺陷

AIGC動態(tài)歡迎閱讀

原標題：揭示Transformer重要缺陷！北大提出傅里葉分析神經網絡FAN，填補周期性特征建模缺陷
關鍵字：周期性,建模,模型,報告,表示
文章來源：機器之心
內容字數(shù)：0字

內容摘要：

AIxiv專欄是機器之心發(fā)布學術、技術內容的欄目。過去數(shù)年，機器之心AIxiv專欄接收報道了2000多篇內容，覆蓋全球各大高校與企業(yè)的頂級實驗室，有效促進了學術交流與傳播。如果您有優(yōu)秀的工作想要分享，歡迎投稿或者聯(lián)系報道。投稿郵箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文的通訊作者是北京大學計算機學院長聘教授李戈。第一作者：董益宏，北京大學計算機學院 22 級博士生，曾在 ISSTA、FSE、ACL、NeurIPS、TOSEM 等 CCF-A 類 / SCI 一區(qū)國際頂級會議和期刊上發(fā)表 11 篇學術論文。
周期性現(xiàn)象廣泛存在，深刻影響著人類社會和自然科學。作為最重要的基本特性之一，許多規(guī)律都顯式或隱式地包含周期性，例如天文學中的行星、氣象學中的季節(jié)變化、生物學中的晝夜節(jié)律、經濟學中的商業(yè)周期、物理學中的電磁波以及數(shù)算和邏輯推理等。因此，在許多任務和場景中，人們希望對周期進行建模，以便根據以往的經驗進行推理。
盡管以 MLP 和 Transformer 為代表的基礎模型已經取得了顯著的成功，但是它們卻在周期性建模方

原文鏈接：揭示Transformer重要缺陷！北大提出傅里葉分析神經網絡FAN，填補周期性特征建模缺陷