FutureX

FutureX – 字節(jié)聯(lián)合復旦等高校推出的動態(tài)實時評估基準

FutureX：一個動態(tài)、無污染的LLM智能體未來預測評估基準，由字節(jié)跳動、復旦、斯坦福及普林斯頓聯(lián)合發(fā)布。它通過實時抓取195個高質量網(wǎng)站的未來問題，并在解決后自動評分，有效規(guī)避數(shù)據(jù)污染，全面衡量LLM在、經(jīng)濟、金融、體育、娛樂等領域的推理與預測能力。

FutureX：洞察未來的智能體評估新標桿

FutureX，由字節(jié)跳動攜手復旦大學、斯坦福大學和普林斯頓大學的頂尖研究團隊共同打造，是一項專為評估大型語言模型（LLM）智能體在未來預測任務中的表現(xiàn)而設計的創(chuàng)新性動態(tài)實時評估基準。它通過一個半自動化的流程，從海量的195個優(yōu)質網(wǎng)站中實時捕獲關于未來的問題，并在這些的真實結果揭曉后，自動進行評分，從而徹底杜絕了數(shù)據(jù)污染的風險，確保了評估的絕對公正性。

核心功能與優(yōu)勢：賦能LLM智能體的未來發(fā)展

實時動態(tài)更新，緊隨時代脈搏：FutureX具備強大的實時數(shù)據(jù)抓取能力，能夠即時收集未來的預測問題，并在塵埃落定后，自動獲取并驗證真實結果以完成評分。這種動態(tài)更新機制確保了評估的絕對時效性，使其能夠精準反映LLM智能體在瞬息萬變的真實世界中的表現(xiàn)。
堅守無污染原則，純粹評估體驗：通過聚焦于尚未發(fā)生的未來，F(xiàn)utureX從根本上規(guī)避了數(shù)據(jù)污染問題。在智能體進行預測時，答案尚未公開，這保證了評估過程的純粹性，讓模型的能力得到最真實的檢驗。
模擬真實世界挑戰(zhàn)，激發(fā)高級認知：FutureX將LLM智能體置于真實世界的信息洪流之中，要求它們對未來進行預測。這一過程極大地考驗了智能體的綜合能力，包括信息搜集、數(shù)據(jù)整合、概率權衡以及因果推理等一系列高級認知技能。
廣闊的領域覆蓋與豐富的問題類型：FutureX的數(shù)據(jù)源覆蓋了、經(jīng)濟、金融、體育和娛樂等多個關鍵領域，并設計了包括單選、多選、開放性排名以及數(shù)值預測在內的多種問題形式。此外，它還設置了四個不同難度的層級，旨在從多個維度、全方位地考量LLM智能體的推理與預測潛力。
高效自動化評估流程，提升可擴展性：FutureX的整個評估流程實現(xiàn)了完全自動化。問題每日自動更新，答案自動收集，評分也由系統(tǒng)客觀完成，極大地提高了評估的效率和大規(guī)模應用的可行性。
驅動LLM智能體能力躍升：作為一項動態(tài)、無污染的評估標準，F(xiàn)utureX為LLM智能體的能力提升提供了強有力的驅動。它激勵智能體向專業(yè)人類分析師的水平邁進，顯著增強其在復雜推理和預測任務中的表現(xiàn)。

構建過程：嚴謹?shù)目茖W方

FutureX的誕生歷經(jīng)了嚴謹?shù)臉嫿ㄟ^程，確保了其數(shù)據(jù)的質量與評估的可靠性。首先，通過AIME代理搜集海量網(wǎng)站URL，再由LLM結合人工審核精挑細選出195個高質量網(wǎng)站，構建起堅實的數(shù)據(jù)庫。針對每個網(wǎng)站，精心設計了能夠根據(jù)變量動態(tài)生成的模板。每日，系統(tǒng)會從數(shù)據(jù)庫中策劃預測問題，并對進行必要的操縱（如引入隨機選項）和過濾（排除有害、主觀或過于簡單的）。隨后，智能體模型被觸發(fā)，對新進行預測，并在解決后自動獲取真實結果進行評分。整個過程強調持續(xù)更新與維護，包括定期更新數(shù)據(jù)庫，移除失效，并引入新，以保持基準的動態(tài)性和前沿性。

數(shù)據(jù)特點：真實、多樣、可靠

實時性：數(shù)據(jù)每日更新，與當前信息同步。
多樣性：涵蓋多領域、多類型問題，滿足全面評估需求。
無污染：專注于未來，確保評估公正。
動態(tài)性：和答案隨時間動態(tài)更新，保持活力。
挑戰(zhàn)性：問題難度分級，有效激發(fā)智能體潛能。
大規(guī)模：每周生成約500個，是目前最廣泛的未來預測基準。
可靠性：嚴格篩選與人工審核，保證數(shù)據(jù)來源可信。

項目地址

arXiv技術論文：https://arxiv.org/pdf/2508.11987

實驗結果洞察：揭示LLM智能體的能力邊界

在FutureX的評估中，Grok-4和Gemini-2.5-flash Deep Research在最具挑戰(zhàn)性的任務中展現(xiàn)出卓越的性能，而基礎LLM在簡單任務上表現(xiàn)亦可圈可點。值得注意的是，隨著任務難度的提升，模型的性能呈現(xiàn)顯著下降趨勢，尤其是在最高難度層級（Level 4，超級代理層級），模型表現(xiàn)出明顯的掙扎。在不同領域，模型也表現(xiàn)出各自的特長，例如GPT系列在加密貨幣和技術領域表現(xiàn)優(yōu)異，而DouBao-Seed1.6-Thinking則在金融和經(jīng)濟領域表現(xiàn)突出。通過深入的因素分析，研究揭示了難度級別、領域以及模型名稱對性能均有顯著影響。此外，案例研究還深入探討了LLM智能體與華爾街分析師的對比、虛假網(wǎng)站對模型的影響以及實時搜索能力的重要性。