字節AI版小李子一開口：黃風嶺，八百里

AIGC動態歡迎閱讀

原標題：字節AI版小李子一開口：黃風嶺，八百里
關鍵字：特征,音頻,圖像,模塊,視頻
文章來源：量子位
內容字數：0字

內容摘要：

叨樂 發自 凹非寺量子位 | 公眾號 QbitAI字節和浙大聯合研發的項目Loopy火了！
只需一幀圖像，一段音頻，就能生成一段非常自然的視頻！
研究團隊還放出了Loopy和同類應用的對比視頻：
網友下場齊夸夸：
Loopy背后的技術有點牛哦！感覺互動媒體有新未來了！
前途無量奧！
真這么牛？咱們一起來看一下！
Loopy的生成效果研究團隊放出了一些DEMO視頻，內容腦洞跨度有點大！
比如讓小李子唱《黑神話》靈吉菩薩的陜北說書（高音時還會皺眉）：
讓兵馬俑滿口英倫腔：
蒙娜麗莎張口說話：
梅梅自帶Bgm說古裝臺詞（甚至還有挑眉的小動作）：
狼叔的側顏照也難不倒它：
嘆息聲的細節也能處理得很好：
真人肖像的效果也很自然（甚至說話時眼睛還會順勢看向其他方向）：
Loopy如何“告別割裂感”？看完這些毫無違和感DEMO視頻，咱們來研究一下Loopy是如何生成這類視頻的：
總的來說，Loopy是一個端到端的音頻驅動視頻生成模型。
它的框架可以由四部分構成，分別是：
ReferenceNet：一個額外的網絡模塊，它復制了原始SD U-Net的結構，以參考圖像的潛在表示作為輸入，來提取參考圖像的特

原文鏈接：字節AI版小李子一開口：黃風嶺，八百里

聯系作者

文章來源：量子位
作者微信：
作者簡介：