MM-StoryAgent

MM-StoryAgent – 上海交大聯合阿里開源的多智能體故事繪本視頻生成框架

MM-StoryAgent 是一款由上海交通大學X-LANCE實驗室與阿里巴巴集團聯合開發的開源多模態、多智能體框架，旨在生成富有沉浸感的有聲故事繪本視頻。該產品結合了大型語言模型（LLMs）與多種生成工具（如文本、圖像、音頻），通過多階段寫作流程和模態特定的提示修訂機制，顯著提升故事的吸引力與沉浸體驗。

MM-StoryAgent是什么

MM-StoryAgent 是由上海交通大學X-LANCE實驗室與阿里巴巴集團共同推出的開源框架，專注于生成沉浸式有聲故事繪本視頻。該系統利用大型語言模型（LLMs）與多種模態的生成工具（如文本、圖像和音頻）相結合，采用多階段的寫作流程和針對特定模態的提示修訂機制，從而提升故事的吸引力和沉浸感。框架具備靈活的模塊化設計，允許用戶替換不同的生成模型和API。MM-StoryAgent 的推出，為兒童故事書的自動創作提供了一種高效、靈活且富有表現力的解決方案，能夠在圖像、語音、音樂和音效之間實現更為優秀的對齊效果。

MM-StoryAgent

MM-StoryAgent的主要功能

高質量故事生成：通過多智能體協作和多階段的創作流程，生成引人入勝、具教育意義且富有情感共鳴的故事內容。
多模態內容生成：融合文本、圖像、語音、音樂及音效等多種模態，為用戶提供豐富的沉浸式體驗。
角色一致性：在圖像生成中，通過角色提取和提示修訂，確保故事角色在視覺上的一致性。
模態對齊：利用提示修訂和對比學習模型，優化文本與圖像、音頻之間的對齊效果，提升整體故事的連貫性。
靈活的模塊化設計：支持靈活地替換生成模塊（如不同的文本生成模型、圖像生成模型等），方便開發者根據需求進行定制和優化。

MM-StoryAgent的技術原理

多智能體協作架構：模擬業余作者與專家之間的對話，生成故事大綱和章節內容。這一對話過程模擬了人類的頭腦風暴，為故事提供了更多創意和吸引力。同時，針對圖像、音頻等不同模態的需求，將文本故事轉化為適合生成模型的提示內容，并通過“修訂者-審核者”的多輪協作來提升提示的質量。
多模態生成技術：
- 文本生成：基于大型語言模型（LLMs）創作故事文本。
- 圖像生成：應用擴散模型（如 StoryDiffusion）生成與故事內容相符的圖像，并通過角色提取確保角色在多幀圖像中的一致性。
- 音頻生成：使用文本到語音（TTS）模型生成旁白，同時利用 AudioLDM2 或 MusicGen 等模型生成音效和背景音樂。
- 視頻合成：將生成的圖像、音頻和文本內容合成，形成完整的有聲故事視頻。
模態對齊優化：借助對比學習模型（如 CLIP、CLAP）評估生成內容與文本之間的對齊程度，并通過提示修訂機制優化生成效果。
模塊化設計：框架支持靈活替換不同的生成模型和API，開發者可以根據需求選擇更先進的模型以提升生成質量。