復旦發布MovieLLM，讓大模型看懂電影

AIGC動態歡迎閱讀

原標題：復旦發布MovieLLM，讓大模型看懂電影
關鍵字：模型,視頻,電影,關鍵,風格
文章來源：夕小瑤科技說
內容字數：6770字

內容摘要：

夕小瑤科技說 原創作者 | 謝年年前兩天我們介紹了大模型寫歌神器點擊即可播放！港中文發布大模型寫歌神器！
最近，復旦又發布了合成高質量長視頻數據的新框架——MovieLLM，利用GPT-4并引導文圖生成模型生成一致的電影級視頻關鍵幀，利用該框架生成的長視頻指令數據，顯著提高了多模態模型在理解復雜視頻敘事方面的性能，讓大模型更懂電影。
先來看看效果：
提供給模型幾張電影關鍵幀：
并詢問：你能用幾句話概括一下這部電影嗎?
模型能給出詳細并正確的故事概括：
在《Splice》這部電影中，科學家克萊夫·尼科利和艾爾莎·卡斯特試圖通過將人類DNA植入豬胚胎來創造一個雜交生物。然而，實驗出現了意外，豬胚胎經歷了迅速的生長和進化。艾爾莎的哥哥加文也參與了這次實驗，他變得癡迷于拯救他的兄弟克萊夫脫離實驗。隨著雜交生物德倫的成長，它開始迅速發育，并展現出復雜、不可預測的個性。德倫的行為愈發失控，最終導致了一場沖突，德倫了艾爾莎，并被迫接受。電影以克萊夫和加文反思他們所創造的道德困境和他們科學成就的道德影響而告終。
但沒有經過該數據微調的模型則錯誤的將電影主旨的“人類DNA植入豬胚胎來創造一個雜

原文鏈接：復旦發布MovieLLM，讓大模型看懂電影

聯系作者

文章來源：夕小瑤科技說
作者微信：xixiaoyaoQAQ
作者簡介：更快的AI前沿，更深的行業洞見。聚集25萬AI一線開發者、互聯網中高管和機構投資人。一線作者來自清北、國內外頂級AI實驗室和大廠，兼備行業嗅覺與報道深度。