StoryTeller是什么

StoryTeller是由字節(jié)跳動、上海交通大學(xué)與北京大合研發(fā)的一種創(chuàng)新系統(tǒng)，旨在通過音頻視覺角色識別技術(shù)提升長視頻的描述質(zhì)量與一致性。該系統(tǒng)巧妙地結(jié)合了基礎(chǔ)視覺概念與復(fù)雜劇情信息，能夠生成詳盡且連貫的視頻敘述。StoryTeller主要由三個模塊構(gòu)成：視頻分割、音頻視覺角色識別和描述生成，能夠有效處理時長數(shù)分鐘的視頻。在MovieQA任務(wù)中，StoryTeller的準(zhǔn)確率超過了現(xiàn)有模型，較最強(qiáng)基線Gemini-1.5-pro提升了9.5%。

StoryTeller的主要功能

• 視頻分割：將較長的視頻切分為多個短片段，確保每個片段且完整。
• 音頻視覺角色識別：通過整合音頻和視覺信息，識別視頻中對話所對應(yīng)的角色。
• 描述生成：為每個視頻片段創(chuàng)建詳盡的描述，并整合成連貫的整體敘述。
• 數(shù)據(jù)集構(gòu)建：構(gòu)建并運用MovieStory101數(shù)據(jù)集，為長視頻描述提供訓(xùn)練和測試的數(shù)據(jù)基礎(chǔ)。
• 自動評估：基于MovieQA，通過GPT-4自動評價視頻描述的準(zhǔn)確性與質(zhì)量。
• 模型訓(xùn)練與微調(diào)：對多模態(tài)大型語言模型進(jìn)行訓(xùn)練，提升角色識別和視頻描述的準(zhǔn)確性。
• 全局解碼：確保在不同視頻片段中，同一角色保持一致的識別結(jié)果。

StoryTeller的技術(shù)原理

• 多模態(tài)融合：融合視覺（視頻幀）、音頻（對話）和文本（字幕及描述）信息，全面理解視頻內(nèi)容。
• 音頻分離與角色I(xiàn)D分配：通過音頻嵌入模型對每個對話進(jìn)行嵌入，利用聚類算法分配全局ID，將相似的音頻嵌入標(biāo)記為同一角色。
• 音頻視覺角色識別模型：結(jié)合大型語言模型（如Tarsier-7B）與OpenAI的Whisper-large-v2音頻編碼器，將每個音頻ID映射到特定角色。
• 全局解碼算法：在推理過程中，確保不同片段中同一角色的全局ID映射到一致的角色名稱，從而提高角色識別的準(zhǔn)確性。
• 視頻描述生成：利用識別結(jié)果作為輸入，基于大型語言模型為每個片段生成詳細(xì)描述，并整合成完整的視頻敘述。

StoryTeller的項目地址

• GitHub倉庫：https://github.com/hyc2026/StoryTeller
• arXiv技術(shù)論文：https://arxiv.org/pdf/2411.07076

StoryTeller的應(yīng)用場景

• 電影與視頻內(nèi)容制作：自動生成電影預(yù)告片或片段描述，幫助導(dǎo)演和編劇迅速把握視頻內(nèi)容，輔助視頻編輯人員快速定位關(guān)鍵片段。
• 視頻內(nèi)容分析：在視頻分析領(lǐng)域，提取視頻內(nèi)容的核心信息，如角色、情節(jié)和動作，進(jìn)行深度分析。
• 輔助視障人士：為視障人士提供視頻內(nèi)容的音頻描述，幫助他們更好地理解視頻情節(jié)。
• 教育與培訓(xùn)：在教育領(lǐng)域，為學(xué)生提供視頻教材的詳細(xì)描述，增強(qiáng)學(xué)習(xí)體驗；在職業(yè)培訓(xùn)中，生成視頻教程的詳細(xì)步驟描述，提高培訓(xùn)效率。
• 視頻搜索與索引：提升視頻搜索的準(zhǔn)確性，基于視頻描述快速檢索相關(guān)片段。

常見問題

• StoryTeller支持哪些視頻格式？：StoryTeller能夠處理多種常見的視頻格式，具體支持的格式請參考官方網(wǎng)站的文檔。
• 如何使用StoryTeller生成視頻描述？：用戶只需將視頻上傳至系統(tǒng)，StoryTeller將自動進(jìn)行處理并生成描述。
• 是否需要專業(yè)知識才能使用StoryTeller？：StoryTeller的設(shè)計旨在友好易用，用戶無需具備專業(yè)技術(shù)背景即可操作。