MM-StoryAgent – 上海交大聯(lián)合阿里開源的多智能體故事繪本視頻生成框架

MM-StoryAgent 是一款由上海交通大學(xué)X-LANCE實驗室與阿里巴巴集團聯(lián)合開發(fā)的開源多模態(tài)、多智能體框架，旨在生成富有沉浸感的有聲故事繪本視頻。該產(chǎn)品結(jié)合了大型語言模型（LLMs）與多種生成工具（如文本、圖像、音頻），通過多階段寫作流程和模態(tài)特定的提示修訂機制，顯著提升故事的吸引力與沉浸體驗。

MM-StoryAgent是什么

MM-StoryAgent 是由上海交通大學(xué)X-LANCE實驗室與阿里巴巴集團共同推出的開源框架，專注于生成沉浸式有聲故事繪本視頻。該系統(tǒng)利用大型語言模型（LLMs）與多種模態(tài)的生成工具（如文本、圖像和音頻）相結(jié)合，采用多階段的寫作流程和針對特定模態(tài)的提示修訂機制，從而提升故事的吸引力和沉浸感。框架具備靈活的模塊化設(shè)計，允許用戶替換不同的生成模型和API。MM-StoryAgent 的推出，為兒童故事書的自動創(chuàng)作提供了一種高效、靈活且富有表現(xiàn)力的解決方案，能夠在圖像、語音、音樂和音效之間實現(xiàn)更為優(yōu)秀的對齊效果。

MM-StoryAgent的主要功能

• 高質(zhì)量故事生成：通過多智能體協(xié)作和多階段的創(chuàng)作流程，生成引人入勝、具教育意義且富有情感共鳴的故事內(nèi)容。
• 多模態(tài)內(nèi)容生成：融合文本、圖像、語音、音樂及音效等多種模態(tài)，為用戶提供豐富的沉浸式體驗。
• 角色一致性：在圖像生成中，通過角色提取和提示修訂，確保故事角色在視覺上的一致性。
• 模態(tài)對齊：利用提示修訂和對比學(xué)習(xí)模型，優(yōu)化文本與圖像、音頻之間的對齊效果，提升整體故事的連貫性。
• 靈活的模塊化設(shè)計：支持靈活地替換生成模塊（如不同的文本生成模型、圖像生成模型等），方便開發(fā)者根據(jù)需求進行定制和優(yōu)化。

MM-StoryAgent的技術(shù)原理

• 多智能體協(xié)作架構(gòu)：模擬業(yè)余作者與專家之間的對話，生成故事大綱和章節(jié)內(nèi)容。這一對話過程模擬了人類的頭腦風(fēng)暴，為故事提供了更多創(chuàng)意和吸引力。同時，針對圖像、音頻等不同模態(tài)的需求，將文本故事轉(zhuǎn)化為適合生成模型的提示內(nèi)容，并通過“修訂者-審核者”的多輪協(xié)作來提升提示的質(zhì)量。
• 多模態(tài)生成技術(shù)：
  • 文本生成：基于大型語言模型（LLMs）創(chuàng)作故事文本。
  • 圖像生成：應(yīng)用擴散模型（如 StoryDiffusion）生成與故事內(nèi)容相符的圖像，并通過角色提取確保角色在多幀圖像中的一致性。
  • 音頻生成：使用文本到語音（TTS）模型生成旁白，同時利用 AudioLDM2 或 MusicGen 等模型生成音效和背景音樂。
  • 視頻合成：將生成的圖像、音頻和文本內(nèi)容合成，形成完整的有聲故事視頻。
• 模態(tài)對齊優(yōu)化：借助對比學(xué)習(xí)模型（如 CLIP、CLAP）評估生成內(nèi)容與文本之間的對齊程度，并通過提示修訂機制優(yōu)化生成效果。
• 模塊化設(shè)計：框架支持靈活替換不同的生成模型和API，開發(fā)者可以根據(jù)需求選擇更先進的模型以提升生成質(zhì)量。

MM-StoryAgent的項目地址

• GitHub倉庫：https://github.com/X-PLUG/MM_StoryAgent
• arXiv技術(shù)論文：https://arxiv.org/pdf/2503.05242
• 在線體驗Demo：https://huggingface.co/spaces/wsntxxn/MM-StoryAgent

MM-StoryAgent的應(yīng)用場景

• 兒童教育與娛樂：生成既有趣又富有教育意義的有聲故事視頻，陪伴兒童學(xué)習(xí)與成長。
• 數(shù)字內(nèi)容創(chuàng)作：為內(nèi)容創(chuàng)作者快速生成多模態(tài)故事內(nèi)容，降低創(chuàng)作成本，提高效率。
• 在線教育：通過故事形式講解知識，增強學(xué)習(xí)的趣味性。
• 多媒體出版：自動生成有聲繪本，助力出版社迅速制作多媒體內(nèi)容。
• 智能設(shè)備集成：應(yīng)用于智能音箱、平板等設(shè)備，提供個性化的故事生成服務(wù)。

常見問題

• MM-StoryAgent是否免費使用？：是的，MM-StoryAgent是一個開源項目，用戶可以使用和修改。
• 如何開始使用MM-StoryAgent？：用戶可以訪問GitHub倉庫，獲取相關(guān)文檔和示例代碼。
• 支持哪些模態(tài)的生成？：MM-StoryAgent支持文本、圖像、音頻等多種模態(tài)的生成。
• 可以定制生成內(nèi)容嗎？：是的，框架的模塊化設(shè)計允許用戶根據(jù)需求替換生成模型，實現(xiàn)個性化定制。