大道至簡，濾波器也有大用處

原標題：無需Transformer，簡單濾波器即可提高時間序列預測精度 | NeurIPS 2024
文章來源：量子位
內容字數：4344字

FilterNet：一種新穎的時間序列預測模型

在時間序列預測領域，準確性對于能源、氣象和醫療等行業至關重要。最近，由國家信息中心、牛津大學及國內多所高校的團隊提出了一種名為FilterNet的模型，該模型不再依賴復雜的Transformer結構，而是通過簡單的濾波器來提升預測精度。FilterNet已被NeurIPS 2024接收，展現了其在時間序列預測中的潛力。

1. 研究動機

現有的模型架構面臨著頻段信息利用的瓶頸。時間序列信號通常由不同頻段的信號組成，團隊通過模擬實驗發現，現有的iTransformer模型在捕捉頻譜信息方面表現不佳。因此，基于傳統信號處理中的濾波特性，研究團隊設計了FilterNet，以提高時間序列預測的性能。

2. FilterNet的核心設計

FilterNet的設計極為簡單，其主要組件包括：

• 實例歸一化： 解決了非平穩時間序列帶來的分布偏移問題。
• 頻率濾波模塊： 該模塊包含兩種可學習濾波器，Plain Shaping Filter用于信號濾波與時間關系建模，Contextual Shaping Filter用于學習濾波后頻率與原始輸入信號的依賴關系。
• 前饋神經網絡： 該網絡將頻率濾波模塊建模的時間依賴關系與未來數據的關系結合，進行預測與反歸一化。

3. 實驗結果與性能分析

FilterNet在八個時間序列預測基準數據集上進行了廣泛測試，結果顯示其在不同場景下均表現優越。具體而言：

• 預測結果： PaiFilter在小數據集上表現更佳，而TexFilter在大數據集上則展現出強競爭力。
• 頻率濾波器的可視化： 學習到的濾波器展現出良好的信號處理能力，證明了FilterNet的全頻段處理能力。
• 效率分析： FilterNet在訓練效率上優于傳統的Transformer方法，盡管在單個epoch的訓練時間上略遜于DLinear，但整體效果更佳。

4. 結論與展望

FilterNet的提出為時間序列預測提供了一種全新的思路。通過將頻率濾波器直接應用于預測任務，研究團隊展示了其在效果和效率方面的優越性。希望未來能有更多研究結合信號處理技術與深度學習，進一步提升時間序列建模與預測的精準度。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破