TimesFM 2.0

TimesFM 2.0 – 谷歌研究團隊開源的時間序列預測模型

TimesFM 2.0是谷歌研究團隊推出的一款開源時間序列預測模型，具備卓越的預測能力，能夠處理長達2048個時間點的單變量時間序列，并支持靈活的預測時間跨度。該模型采用純解碼器架構(gòu)，結(jié)合輸入修補與修補掩碼技術(shù)，確保高效的訓練與推理，同時具備零樣本學習的能力。其預訓練數(shù)據(jù)集涵蓋多個領(lǐng)域，使得模型具備良好的泛化能力，廣泛適用于零售銷量預測、金融市場走勢分析等多種場景。

TimesFM 2.0是什么

TimesFM 2.0是谷歌研究團隊開發(fā)的開源時間序列預測模型，旨在提供強大的預測能力，處理單變量時間序列，支持長度達到2048個時間點的輸入，并具備靈活的預測時間跨度。通過采用僅解碼器架構(gòu)，結(jié)合輸入修補和修補掩碼技術(shù)，TimesFM 2.0實現(xiàn)了高效的訓練與推理，同時支持零樣本預測。其豐富的預訓練數(shù)據(jù)集來自多個領(lǐng)域，使其在零售、金融、網(wǎng)站流量預測、環(huán)境監(jiān)測和智能交通等多個行業(yè)中表現(xiàn)出色，能有效為用戶提供決策支持。

TimesFM 2.0

TimesFM 2.0的主要功能

卓越的預測能力：能夠處理高達2048個時間點的單變量時間序列預測，支持靈活的時間跨度選擇。
靈活的預測頻率選擇：用戶可根據(jù)時間序列的特性，選擇預測頻率，從而增強預測的適應性。
實驗性的分位頭預測：模型提供了10個分位頭，用于生成預測的不確定性估計，雖然這些預測尚未經(jīng)過校準。
豐富的預訓練數(shù)據(jù)集：整合了多個數(shù)據(jù)集，包括來自TimesFM 1.0的預訓練集和LOTSA的附加數(shù)據(jù)，涵蓋住宅用電、太陽能發(fā)電和交通流量等多個領(lǐng)域，為模型的訓練提供了堅實基礎(chǔ)。
零樣本學習能力：盡管最大訓練上下文長度為2048，但在實際應用中，模型可以處理更長的上下文，展現(xiàn)了出色的零樣本學習能力。

TimesFM 2.0的技術(shù)原理

純解碼器架構(gòu)：該模型采用純解碼器架構(gòu)，能夠高效處理時間序列數(shù)據(jù)，更好地捕捉長距離的時間依賴關(guān)系，適合單向預測。
時間序列分塊與位置編碼：模型利用分塊處理時間序列，并注入位置編碼，通過堆疊的Transformer層提取時間序列中的時間順序信息與不同時間點的關(guān)系。
輸入修補與修補掩碼：通過輸入修補和修補掩碼技術(shù)，模型實現(xiàn)了高效的訓練與推理流程，同時支持零樣本預測，提升了訓練效率和泛化能力。
預訓練過程：在包含1000億個真實世界時間點的大規(guī)模時間序列語料庫上進行預訓練，涵蓋多個領(lǐng)域和時間粒度的數(shù)據(jù)，采用自監(jiān)督學習方法預測序列中的下一個時間點。
靈活的輸入處理：支持不同長度和頻率的時間序列輸入，能夠適應各種實際應用場景，盡管預訓練時最大上下文長度為2048，但在實際應用中可擴展處理更長的時間序列。
分位點預測的實驗性支持：模型引入了10個分位頭，支持用戶在單點預測的基礎(chǔ)上獲取不同分位數(shù)的預測值，為不確定性分析提供了新的可能性。

TimesFM 2.0的項目地址

項目官網(wǎng)：https://research.google/blog/a-decoder-only-foundation-model-for-time-series-forecasting/
Github倉庫：https://github.com/google-research/timesfm
HuggingFace模型庫：https://huggingface.co/google/timesfm-2.0
arXiv技術(shù)論文：https://arxiv.org/pdf/2310.10688

TimesFM 2.0的應用場景

零售行業(yè)：可用于銷量預測，幫助商家優(yōu)化庫存管理和制定銷售策略。
金融市場：能夠預測股票走勢，為投資者的決策提供參考依據(jù)。
網(wǎng)站運營：可預測網(wǎng)站流量，助力網(wǎng)站優(yōu)化與資源分配。
環(huán)境監(jiān)測：基于歷史數(shù)據(jù)預測環(huán)境變化趨勢，如空氣質(zhì)量和氣候變化，為環(huán)境保護和應對措施提供依據(jù)。
智能交通：通過交通流量歷史數(shù)據(jù)預測未來路況，為城市規(guī)劃和交通信號優(yōu)化提供參考，幫助高峰時段管理與減少擁堵。

閱讀原文