HourVideo是斯坦福大學李飛飛及吳佳俊團隊聯合推出的一個長視頻理解基準數據集。它包含500段第一人稱視角的視頻，時長介于20分鐘到120分鐘之間，涵蓋了77種日常活動，旨在評估多模態模型在長視頻理解方面的能力。

HourVideo是什么

HourVideo是由斯坦福大學的李飛飛和吳佳俊團隊推出的長視頻理解基準數據集，包含500個第一人稱視角的視頻，時長從20分鐘到120分鐘不等，涵蓋77種日常活動。這一數據集旨在通過一系列任務（如總結、感知、視覺推理和導航）來測試模型對多個時間片段信息的識別與綜合能力，以推動長視頻理解技術的進步。

HourVideo的主要功能

• 長視頻理解評測：HourVideo專注于測試模型對長達一小時視頻的視覺數據流的理解能力。
• 多任務評估套件：數據集涵蓋多種任務，如總結、感知、視覺推理和導航，全面考察模型在不同視頻語言理解方面的表現。
• 高質量問題生成：基于人工注釋者和大型語言模型（LLMs）生成的12,976個多項選擇題，為測試提供標準化的題目。
• 模型性能比較：與其他多模態模型進行比較，評估不同模型在長視頻理解任務中的表現。

HourVideo的技術原理

• 視頻數據集構建：HourVideo從Ego4D數據集中挑選出500個第一人稱視角的視頻，涵蓋日常活動，視頻時長從20分鐘到120分鐘不等。
• 任務套件設計：設計包含多個子任務的任務套件，確保每個任務都要求模型對視頻內容進行長期依賴關系的理解和推理。
• 問題原型開發：為每個任務設計問題原型，確保回答問題時需要對視頻的多個時間片段進行信息識別和綜合。
• 數據生成流程：基于多階段的數據生成流程，包括視頻篩選、問題生成、人工反饋優化、盲篩選及專家優化，確保生成高質量的多項選擇題。

HourVideo的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2411.04998v1

HourVideo的應用場景

• 多模態人工智能研究：用于研究和開發理解長時間連續視頻內容的多模態模型。
• 自主代理和助手系統：推動開發能夠理解長時間視覺信息并做出決策的自主代理和虛擬助手。
• 增強現實（AR）和虛擬現實（VR）：為創建能理解用戶行為并做出相應的沉浸式AR/VR體驗提供技術支持。
• 視頻內容分析：對監控視頻、新聞報道、教育視頻等進行分析，提取關鍵信息和洞察。
• 機器人視覺：幫助機器人理解長時間序列的視覺信息，提升其在復雜環境中的導航和操作能力。

常見問題

• HourVideo的目標是什么？ HourVideo旨在評估多模態模型在長視頻理解中的性能，推動相關技術的發展。
• HourVideo包含多少個視頻？ 數據集中包含500個第一人稱視角的視頻，時長從20分鐘到120分鐘不等。
• 該數據集適合哪些研究領域？ HourVideo適用于多模態人工智能研究、自主代理、AR/VR、視頻內容分析和機器人視覺等多個領域。