一句話讓姐為我換了N套衣服，谷歌卷出視頻生成新高度，網(wǎng)友：競賽加碼

AIGC動態(tài)歡迎閱讀

原標(biāo)題：一句話讓姐為我換了N套衣服，谷歌卷出視頻生成新高度，網(wǎng)友：競賽加碼
關(guān)鍵字：視頻,模型,研究人員,連貫性,分辨率
文章來源：量子位
內(nèi)容字數(shù)：3198字

內(nèi)容摘要：

魚羊 發(fā)自 凹非寺量子位 | 公眾號 QbitAI谷歌一出手，又把AI視頻生成卷上了新高度。
一句話生成視頻，現(xiàn)在在名為Lumiere的AI操刀下，可以是醬嬸的：
△“陽光明媚，帆船在湖中航行”如此一致性和質(zhì)量，再次點燃了網(wǎng)友們對AI視頻生成的熱情：谷歌加入戰(zhàn)局，又有好戲可看了。
不止是文生視頻，Lumiere把Pika的“一鍵換裝”也復(fù)現(xiàn)了出來。
左谷歌右pika，同樣是選中區(qū)域一句話完成視頻編輯，你pick哪一邊？
讓圖片中靜止的火焰躍動起來，也同樣一選就能完成：
還有圖片轉(zhuǎn)視頻：
視頻風(fēng)格化：
總之就是主打一個質(zhì)量又高又全能。
更多細節(jié)，我們論文扒起~
用于視頻生成的時空擴散模型Lumiere旨在解決以往視頻生成中存在的幾個關(guān)鍵問題：
真實性
多樣化
的連貫性
在此前的方法中，常見的做法是，擴散模型先生成一些稀疏的關(guān)鍵幀，而后通過一系列時間超分辨率（TSR）模型來填補關(guān)鍵幀之間的空白，接著再用空間超分辨率模型獲取高清視頻結(jié)果。
可以想見，在全局連貫性上，這樣的做法存在先天的缺陷。
Lumiere的創(chuàng)新點在于，提出了時空U-Net（STU-Net）架構(gòu)：將視頻在空間和時間兩個維

原文鏈接：一句話讓姐為我換了N套衣服，谷歌卷出視頻生成新高度，網(wǎng)友：競賽加碼

聯(lián)系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破