顛覆傳統(tǒng)：全球首個(gè)億級(jí)軌跡點(diǎn)驅(qū)動(dòng)的大模型震撼登場(chǎng)！

UniTraj 這項(xiàng)研究提出了數(shù)據(jù) + 模型的基礎(chǔ)模型構(gòu)建范式。

原標(biāo)題：全球十億級(jí)軌跡點(diǎn)驅(qū)動(dòng)，首個(gè)軌跡基礎(chǔ)大模型來(lái)了
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：5435字

軌跡數(shù)據(jù)分析的重要性

在智慧城市和大數(shù)據(jù)時(shí)代背景下，人類軌跡數(shù)據(jù)的分析對(duì)交通優(yōu)化、城市管理和物流配送等領(lǐng)域具有重要意義。然而，現(xiàn)有的軌跡模型常常面臨任務(wù)特異性、區(qū)域依賴性以及數(shù)據(jù)質(zhì)量敏感性等問(wèn)題，限制了其泛化能力和實(shí)際應(yīng)用。

WorldTrace數(shù)據(jù)集的構(gòu)建

來(lái)自香港科技大學(xué)（廣州）、南方科技大學(xué)和香港城市大學(xué)的研究團(tuán)隊(duì)首次整理了全球大規(guī)模軌跡數(shù)據(jù)集WorldTrace，涵蓋70個(gè)國(guó)家和地區(qū)，包含245萬(wàn)條軌跡和十億級(jí)別的數(shù)據(jù)點(diǎn)。這為構(gòu)建通用的軌跡基礎(chǔ)模型提供了豐富的數(shù)據(jù)支持。

UniTraj模型的設(shè)計(jì)

研究團(tuán)隊(duì)基于WorldTrace數(shù)據(jù)集訓(xùn)練了首個(gè)世界軌跡基礎(chǔ)大模型UniTraj。該模型采用靈活的編碼器-解碼器架構(gòu)，集成了多種重采樣和掩碼策略，旨在提升模型的計(jì)算效率和對(duì)不同數(shù)據(jù)質(zhì)量的適應(yīng)能力。重采樣策略包括基于對(duì)數(shù)采樣率衰減的動(dòng)態(tài)重采樣和間隔一致性重采樣，以控制冗余和調(diào)整采樣率。

掩碼策略的應(yīng)用

UniTraj使用重構(gòu)式預(yù)訓(xùn)練的方法，通過(guò)多種掩碼策略（如隨機(jī)掩碼、塊狀掩碼、關(guān)鍵點(diǎn)掩碼和最后點(diǎn)掩碼）來(lái)提升模型對(duì)軌跡局部和全局模式的建模能力。這些策略幫助模型理解和捕捉軌跡序列的時(shí)空關(guān)系。

實(shí)驗(yàn)驗(yàn)證與應(yīng)用

研究團(tuán)隊(duì)進(jìn)行了系列實(shí)驗(yàn)，評(píng)估UniTraj在真實(shí)世界軌跡數(shù)據(jù)處理中的準(zhǔn)確性和泛化能力。實(shí)驗(yàn)設(shè)計(jì)涵蓋了多種任務(wù)適用性分析、數(shù)據(jù)集比較以及模型組件的影響研究，結(jié)果顯示UniTraj在零樣本和少樣本學(xué)習(xí)場(chǎng)景下表現(xiàn)優(yōu)異。

總結(jié)與展望

UniTraj的研究為軌跡數(shù)據(jù)的處理提供了新的思路，提出了數(shù)據(jù)和模型結(jié)合的基礎(chǔ)模型構(gòu)建范式。通過(guò)構(gòu)建全球范圍的軌跡數(shù)據(jù)集和靈活的模型設(shè)計(jì)，該研究為未來(lái)的軌跡分析和相關(guān)應(yīng)用奠定了基礎(chǔ)，推動(dòng)了智能交通和城市管理的發(fā)展。