国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

Hallo3

AI工具10個月前發(fā)布 AI工具集
673 0 0

Hallo3 – 復(fù)旦聯(lián)合百度開源的高動態(tài)與真實感肖像動畫生成框架

Hallo3是復(fù)旦大學(xué)與百度公司聯(lián)合推出的一款基于擴散變換器網(wǎng)絡(luò)(Diffusion Transformer Networks)的肖像圖像動畫技術(shù),能夠生成極具動態(tài)感和真實感的視頻。該技術(shù)借助于預(yù)訓(xùn)練的變換器視頻生成模型,成功克服了現(xiàn)有方法在處理非正面視角、動態(tài)對象渲染及沉浸式背景生成過程中的挑戰(zhàn)。

Hallo3是什么

Hallo3由復(fù)旦大學(xué)與百度公司共同開發(fā),采用擴散變換器網(wǎng)絡(luò)技術(shù),專注于肖像圖像的動畫處理,能夠生成高度真實與動態(tài)的視頻內(nèi)容。該系統(tǒng)基于經(jīng)過預(yù)訓(xùn)練的變換器視頻生成模型,有效解決了當前技術(shù)在非正面視角、動態(tài)對象渲染和背景生成方面的各種難題。Hallo3運用新的視頻骨干網(wǎng)絡(luò),設(shè)計身份參考網(wǎng)絡(luò)以確保視頻序列中面部特征的一致性,并結(jié)合語音音頻條件和幀機制,實現(xiàn)由音頻驅(qū)動的連續(xù)視頻生成。實驗結(jié)果表明,Hallo3在生成多角度的逼真肖像方面表現(xiàn)卓越,能夠適應(yīng)復(fù)雜的姿勢和動態(tài)場景,創(chuàng)造平滑且真實的動畫效果。

Hallo3

Hallo3的主要功能

  • 多視角動畫生成:突破傳統(tǒng)方法的限制,能夠從多種視角(如正面、側(cè)面、俯視或仰視)生成動畫肖像。
  • 動態(tài)對象渲染:有效處理肖像周圍的動態(tài)元素,如人物手持物品的自然,增強視頻的真實感。
  • 沉浸式背景生成:創(chuàng)建具有動態(tài)效果的背景場景,如篝火或繁忙街道,增強整體的沉浸體驗。
  • 身份一致性保持:在視頻序列中保持肖像的身份一致性,確保長時間動畫中面部特征的準確識別。
  • 語音驅(qū)動的動畫:通過語音音頻驅(qū)動面部表情和嘴唇動作,實現(xiàn)高度同步的自然動畫效果。

Hallo3的技術(shù)原理

  • 預(yù)訓(xùn)練的變換器視頻生成模型
    • 基礎(chǔ)架構(gòu):CogVideoX模型作為基礎(chǔ)架構(gòu),通過3D變分自編碼器(VAE)壓縮視頻數(shù)據(jù),將潛在變量與文本嵌入結(jié)合,利用專家變換器網(wǎng)絡(luò)進行處理。
    • 條件機制:引入文本提示(ctext)、語音音頻條件(caudio)和身份外觀條件(cid)三種條件機制,通過交叉注意力(cross-attention)和自適應(yīng)層歸一化(adaLN)整合這些信息。
  • 身份參考網(wǎng)絡(luò)
    • 3D VAE和變換器層:結(jié)合因果3D VAE和42層變換器層的身份參考網(wǎng)絡(luò),從參考圖像中提取身份特征,嵌入去噪潛在代碼中,利用自注意力機制增強模型對身份信息的表示和長期保持。
    • 特征融合:將參考網(wǎng)絡(luò)生成的視覺特征與去噪網(wǎng)絡(luò)特征融合,確保長時間序列中的面部動畫保持一致性和連貫性。
  • 語音音頻條件
    • 音頻嵌入:利用wav2vec框架提取音頻特征,為每幀生成特定的音頻嵌入,并通過線性變換層將其轉(zhuǎn)化為適合模型的表示。
    • 交叉注意力機制:在去噪網(wǎng)絡(luò)中,交叉注意力機制將音頻嵌入與潛在編碼進行交互,提升生成輸出的相關(guān)性,確保模型有效捕捉音頻信號。
  • 視頻外推:通過將生成視頻的最后幾幀作為后續(xù)片段生成的輸入,利用3D VAE處理幀,實現(xiàn)時間一致的長視頻推理。
  • 訓(xùn)練與推理
    • 訓(xùn)練過程:分為兩個階段,第一階段專注于生成具有身份一致性的視頻;第二階段則擴展至音頻驅(qū)動的視頻生成,結(jié)合音頻注意力模塊。
    • 推理過程:模型根據(jù)參考圖像、驅(qū)動音頻、文本提示和幀進行輸入,生成具有身份一致性和嘴唇同步的視頻。

Hallo3的項目地址

Hallo3的應(yīng)用場景

  • 游戲開發(fā):為游戲角色生成動態(tài)肖像動畫,使其表現(xiàn)更為自然,提升玩家的游戲體驗。
  • 電影制作:創(chuàng)造逼真的角色動畫,增強電影和動畫的視覺表現(xiàn)力及沉浸感。
  • 社交媒體:為用戶提供動態(tài)頭像,使個人資料更加生動有趣,提升社交媒體的個性化體驗。
  • 在線教育:生成虛擬講師的動畫,使在線課程更具吸引力,提升學(xué)生的學(xué)習(xí)興趣和參與度。
  • 虛擬現(xiàn)實與增強現(xiàn)實:在VR和AR應(yīng)用中創(chuàng)建虛擬角色,提供更為真實的互動體驗,增強用戶的沉浸感。
閱讀原文
? 版權(quán)聲明
蟬鏡AI數(shù)字人

相關(guān)文章

蟬鏡AI數(shù)字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        欧美成人女星排行榜| 91麻豆国产精品久久| 蜜桃传媒麻豆第一区在线观看| 欧美性大战久久久久久久| 一区二区三区国产| 日本精品一级二级| 日韩精品一级二级| 欧美成人猛片aaaaaaa| 岛国一区二区三区| 亚洲自拍与偷拍| 日韩欧美三级在线| 国产精品 欧美精品| 亚洲久草在线视频| 亚洲精品在线免费观看视频| 不卡的电视剧免费网站有什么| 亚洲一区二区美女| 日韩精品一区二区三区老鸭窝| 成年人国产精品| 日韩av一区二区在线影视| 久久九九久精品国产免费直播| 91免费看片在线观看| 免费看黄色91| 成人欧美一区二区三区白人| 欧美精品久久天天躁| 国产电影一区二区三区| 亚洲超碰97人人做人人爱| 国产亚洲欧美在线| 91精品黄色片免费大全| 成人a级免费电影| 免费在线观看一区| 一区二区三区中文字幕电影| 欧美精品一区二区三区很污很色的| 色天天综合色天天久久| 国产成人午夜电影网| 日本怡春院一区二区| 一区二区三区在线视频播放| 日本一区二区三区四区在线视频| 91麻豆精品91久久久久久清纯| 91视频免费看| av福利精品导航| 国产精品亚洲专一区二区三区| 日韩成人dvd| 亚洲午夜激情av| 亚洲欧美激情小说另类| 国产精品毛片久久久久久久| 久久午夜羞羞影院免费观看| 日韩一区二区在线播放| 4hu四虎永久在线影院成人| 欧美视频在线不卡| 91麻豆123| 色婷婷综合中文久久一本| 成人激情动漫在线观看| 成人在线一区二区三区| 国产精品99久久久久久久vr | 国产成人在线视频免费播放| 石原莉奈在线亚洲二区| 亚洲大尺度视频在线观看| 亚洲精品自拍动漫在线| 亚洲精品成人少妇| 亚洲视频网在线直播| 国产精品久久久久久亚洲伦| 中文字幕一区二区三区视频 | 国产精品人人做人人爽人人添| 综合激情成人伊人| 日韩精品一区二区在线| 国内精品久久久久影院薰衣草| 欧美日韩一区二区在线视频| 91视频精品在这里| 99久久综合99久久综合网站| 成人免费观看男女羞羞视频| caoporm超碰国产精品| 色老汉一区二区三区| 欧美婷婷六月丁香综合色| 欧美三级日韩在线| 欧美一区二区三区婷婷月色| 精品国产一区二区精华| 国产视频911| 中文字幕亚洲一区二区va在线| 亚洲三级免费观看| 香港成人在线视频| 国产在线看一区| eeuss国产一区二区三区| 欧美三级韩国三级日本一级| 日韩视频一区二区| 亚洲国产精品v| 香蕉成人啪国产精品视频综合网| 精品在线免费视频| 97精品国产97久久久久久久久久久久 | 亚洲色图.com| 日本中文在线一区| 成人性生交大片| 欧美性一二三区| 久久久欧美精品sm网站| 一区二区在线观看视频| 九九精品一区二区| 欧美在线不卡视频| 久久影视一区二区| 亚洲永久精品国产| 成人午夜看片网址| 91精品久久久久久蜜臀| 中文字幕综合网| 韩国中文字幕2020精品| 在线免费亚洲电影| 国产精品区一区二区三| 蜜臀久久99精品久久久画质超高清| 色综合一个色综合| 国产亚洲精品aa午夜观看| 日韩高清在线一区| 欧美在线视频日韩| 国产女同性恋一区二区| 卡一卡二国产精品 | 水野朝阳av一区二区三区| 成人国产精品免费网站| 日韩免费视频线观看| 亚洲午夜三级在线| 99精品1区2区| 国产精品欧美一区喷水| 激情成人综合网| 91麻豆精品国产| 婷婷国产v国产偷v亚洲高清| 日本精品免费观看高清观看| 国产精品国产三级国产三级人妇 | 91麻豆精品国产自产在线| 亚洲精品视频在线观看网站| 成人性色生活片| 2020日本不卡一区二区视频| 美女久久久精品| 精品卡一卡二卡三卡四在线| 免费观看在线综合| 精品盗摄一区二区三区| 久久国产乱子精品免费女| 日韩亚洲欧美一区| 免费人成精品欧美精品| 日韩精品一区二区三区视频在线观看| 亚洲va欧美va人人爽| 欧美肥妇毛茸茸| 免费在线看成人av| 精品剧情在线观看| 国产盗摄视频一区二区三区| 亚洲国产精品ⅴa在线观看| av一本久道久久综合久久鬼色| 亚洲婷婷国产精品电影人久久| 91在线一区二区三区| 一二三区精品视频| 欧美精品电影在线播放| 麻豆国产一区二区| 久久综合国产精品| 国产精品 欧美精品| 亚洲另类色综合网站| 欧美男生操女生| 黄网站免费久久| 亚洲天堂2014| 欧美肥妇bbw| 高清在线成人网| 亚洲综合在线观看视频| 欧美裸体一区二区三区| 黄页视频在线91| 亚洲精品中文在线观看| 日韩三级伦理片妻子的秘密按摩| 精品一区二区av| 亚洲欧洲精品一区二区三区不卡| 欧美综合一区二区| 精品亚洲成av人在线观看| 日韩伦理免费电影| 精品日韩在线一区| 91国产精品成人| 国产高清在线精品| 亚洲一线二线三线视频| 久久久国产一区二区三区四区小说| a美女胸又www黄视频久久| 日韩精品每日更新| 中文字幕在线不卡国产视频| 欧美日本在线播放| 国产精品自拍毛片| 亚洲国产精品一区二区久久| 久久免费偷拍视频| 777a∨成人精品桃花网| 色av成人天堂桃色av| 国产精品自拍在线| 蜜臀av性久久久久蜜臀aⅴ四虎| 中文字幕精品综合| 欧美成人激情免费网| 欧美丝袜自拍制服另类| 波多野结衣在线aⅴ中文字幕不卡| 日韩不卡一区二区三区| 一二三四社区欧美黄| 最新热久久免费视频| 日韩精品一区国产麻豆| 欧美日韩国产成人在线91| 波多野结衣中文一区| 久久黄色级2电影| 亚洲午夜电影在线| 亚洲色图视频免费播放| 久久久久88色偷偷免费| 日韩欧美国产午夜精品| 欧美日韩国产色站一区二区三区| 色综合天天做天天爱| 91年精品国产| 91麻豆国产福利在线观看| 91一区二区三区在线观看|