国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

Hallo3

AI工具10個月前發(fā)布 AI工具集
673 0 0

Hallo3 – 復(fù)旦聯(lián)合百度開源的高動態(tài)與真實感肖像動畫生成框架

Hallo3是復(fù)旦大學(xué)與百度公司聯(lián)合推出的一款基于擴散變換器網(wǎng)絡(luò)(Diffusion Transformer Networks)的肖像圖像動畫技術(shù),能夠生成極具動態(tài)感和真實感的視頻。該技術(shù)借助于預(yù)訓(xùn)練的變換器視頻生成模型,成功克服了現(xiàn)有方法在處理非正面視角、動態(tài)對象渲染及沉浸式背景生成過程中的挑戰(zhàn)。

Hallo3是什么

Hallo3由復(fù)旦大學(xué)與百度公司共同開發(fā),采用擴散變換器網(wǎng)絡(luò)技術(shù),專注于肖像圖像的動畫處理,能夠生成高度真實與動態(tài)的視頻內(nèi)容。該系統(tǒng)基于經(jīng)過預(yù)訓(xùn)練的變換器視頻生成模型,有效解決了當前技術(shù)在非正面視角、動態(tài)對象渲染和背景生成方面的各種難題。Hallo3運用新的視頻骨干網(wǎng)絡(luò),設(shè)計身份參考網(wǎng)絡(luò)以確保視頻序列中面部特征的一致性,并結(jié)合語音音頻條件和幀機制,實現(xiàn)由音頻驅(qū)動的連續(xù)視頻生成。實驗結(jié)果表明,Hallo3在生成多角度的逼真肖像方面表現(xiàn)卓越,能夠適應(yīng)復(fù)雜的姿勢和動態(tài)場景,創(chuàng)造平滑且真實的動畫效果。

Hallo3

Hallo3的主要功能

  • 多視角動畫生成:突破傳統(tǒng)方法的限制,能夠從多種視角(如正面、側(cè)面、俯視或仰視)生成動畫肖像。
  • 動態(tài)對象渲染:有效處理肖像周圍的動態(tài)元素,如人物手持物品的自然,增強視頻的真實感。
  • 沉浸式背景生成:創(chuàng)建具有動態(tài)效果的背景場景,如篝火或繁忙街道,增強整體的沉浸體驗。
  • 身份一致性保持:在視頻序列中保持肖像的身份一致性,確保長時間動畫中面部特征的準確識別。
  • 語音驅(qū)動的動畫:通過語音音頻驅(qū)動面部表情和嘴唇動作,實現(xiàn)高度同步的自然動畫效果。

Hallo3的技術(shù)原理

  • 預(yù)訓(xùn)練的變換器視頻生成模型
    • 基礎(chǔ)架構(gòu):CogVideoX模型作為基礎(chǔ)架構(gòu),通過3D變分自編碼器(VAE)壓縮視頻數(shù)據(jù),將潛在變量與文本嵌入結(jié)合,利用專家變換器網(wǎng)絡(luò)進行處理。
    • 條件機制:引入文本提示(ctext)、語音音頻條件(caudio)和身份外觀條件(cid)三種條件機制,通過交叉注意力(cross-attention)和自適應(yīng)層歸一化(adaLN)整合這些信息。
  • 身份參考網(wǎng)絡(luò)
    • 3D VAE和變換器層:結(jié)合因果3D VAE和42層變換器層的身份參考網(wǎng)絡(luò),從參考圖像中提取身份特征,嵌入去噪潛在代碼中,利用自注意力機制增強模型對身份信息的表示和長期保持。
    • 特征融合:將參考網(wǎng)絡(luò)生成的視覺特征與去噪網(wǎng)絡(luò)特征融合,確保長時間序列中的面部動畫保持一致性和連貫性。
  • 語音音頻條件
    • 音頻嵌入:利用wav2vec框架提取音頻特征,為每幀生成特定的音頻嵌入,并通過線性變換層將其轉(zhuǎn)化為適合模型的表示。
    • 交叉注意力機制:在去噪網(wǎng)絡(luò)中,交叉注意力機制將音頻嵌入與潛在編碼進行交互,提升生成輸出的相關(guān)性,確保模型有效捕捉音頻信號。
  • 視頻外推:通過將生成視頻的最后幾幀作為后續(xù)片段生成的輸入,利用3D VAE處理幀,實現(xiàn)時間一致的長視頻推理。
  • 訓(xùn)練與推理
    • 訓(xùn)練過程:分為兩個階段,第一階段專注于生成具有身份一致性的視頻;第二階段則擴展至音頻驅(qū)動的視頻生成,結(jié)合音頻注意力模塊。
    • 推理過程:模型根據(jù)參考圖像、驅(qū)動音頻、文本提示和幀進行輸入,生成具有身份一致性和嘴唇同步的視頻。

Hallo3的項目地址

Hallo3的應(yīng)用場景

  • 游戲開發(fā):為游戲角色生成動態(tài)肖像動畫,使其表現(xiàn)更為自然,提升玩家的游戲體驗。
  • 電影制作:創(chuàng)造逼真的角色動畫,增強電影和動畫的視覺表現(xiàn)力及沉浸感。
  • 社交媒體:為用戶提供動態(tài)頭像,使個人資料更加生動有趣,提升社交媒體的個性化體驗。
  • 在線教育:生成虛擬講師的動畫,使在線課程更具吸引力,提升學(xué)生的學(xué)習(xí)興趣和參與度。
  • 虛擬現(xiàn)實與增強現(xiàn)實:在VR和AR應(yīng)用中創(chuàng)建虛擬角色,提供更為真實的互動體驗,增強用戶的沉浸感。
閱讀原文
? 版權(quán)聲明
蟬鏡AI數(shù)字人

相關(guān)文章

蟬鏡AI數(shù)字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        亚洲一区二区影院| 欧美一区二区三区公司| 欧美电影一区二区| 亚洲va欧美va人人爽| 91麻豆精品国产91久久久使用方法 | 亚洲欧美日韩国产中文在线| 91在线观看污| 亚洲国产精品天堂| 精品卡一卡二卡三卡四在线| 成人免费高清在线| 婷婷一区二区三区| 国产欧美日产一区| 欧美揉bbbbb揉bbbbb| 极品少妇一区二区三区精品视频| 欧美国产日韩亚洲一区| 欧美影视一区二区三区| 国模无码大尺度一区二区三区| 亚洲欧美综合在线精品| 欧美一级免费观看| 99精品欧美一区二区三区小说| 日韩精品电影在线观看| 18涩涩午夜精品.www| 日韩一区二区不卡| 91美女福利视频| 黑人巨大精品欧美一区| 亚洲3atv精品一区二区三区| 国产精品视频观看| 精品久久久久久久一区二区蜜臀| 日本久久电影网| 国产69精品久久久久777| 人人超碰91尤物精品国产| 国产精品久久久久aaaa樱花| 精品三级在线看| 欧美日韩久久不卡| 一本久久综合亚洲鲁鲁五月天 | 日本一道高清亚洲日美韩| 亚洲欧美韩国综合色| 国产午夜亚洲精品午夜鲁丝片| 制服.丝袜.亚洲.另类.中文| 一本一道综合狠狠老| 国产69精品久久久久毛片| 精品一区免费av| 日本aⅴ精品一区二区三区| 亚洲午夜av在线| 亚洲欧美激情一区二区| 中文字幕制服丝袜成人av| 国产亚洲人成网站| 久久亚洲精华国产精华液| 日韩欧美中文字幕精品| 欧美一区二区三区在线电影| 51精品国自产在线| 91精品啪在线观看国产60岁| 91精品啪在线观看国产60岁| 9191国产精品| 日韩欧美高清一区| 久久视频一区二区| 久久久精品黄色| 国产亚洲午夜高清国产拍精品| 久久精品一区二区三区av| xf在线a精品一区二区视频网站| 日韩欧美在线一区二区三区| 51精品视频一区二区三区| 欧美成人三级在线| 久久蜜桃av一区二区天堂| 国产午夜精品美女毛片视频| 国产日韩欧美麻豆| 亚洲天堂福利av| 亚洲高清免费一级二级三级| 日韩精品一区第一页| 久久99久国产精品黄毛片色诱| 久久电影国产免费久久电影 | 国产综合色精品一区二区三区| 久久99国产精品尤物| 国产91丝袜在线播放0| aa级大片欧美| 欧美日本免费一区二区三区| 日韩欧美电影在线| 中文字幕av一区二区三区免费看 | 亚洲国产精品v| 亚洲一区视频在线| 久久精品国产亚洲a| 成人免费va视频| 欧美精品亚洲二区| 久久精品视频在线免费观看| 亚洲精品国产一区二区精华液| 午夜精品一区二区三区免费视频 | 久色婷婷小香蕉久久| 风间由美一区二区三区在线观看| 91高清视频在线| 日韩一卡二卡三卡四卡| 国产精品区一区二区三区 | 亚洲精品久久久久久国产精华液| 亚洲成人黄色小说| 国产成人精品影视| 在线成人av网站| 国产精品不卡一区二区三区| 日本中文字幕一区二区视频| 91伊人久久大香线蕉| 日韩欧美在线不卡| 亚洲精品国产无套在线观 | 天天色 色综合| 粉嫩av一区二区三区在线播放| 欧美日韩综合在线| 中文字幕不卡在线| 久久国产精品第一页| 欧美日韩精品一区二区三区蜜桃 | 精品国产一区二区三区久久久蜜月| 亚洲素人一区二区| 黄一区二区三区| 91精品国产综合久久久蜜臀粉嫩| 自拍偷自拍亚洲精品播放| 久久激情五月婷婷| 欧美日韩午夜影院| 亚洲品质自拍视频网站| 高清在线不卡av| 精品国产凹凸成av人网站| 亚洲成人在线观看视频| 一本久久a久久精品亚洲| 国产视频在线观看一区二区三区 | 欧美影院午夜播放| 亚洲欧洲av色图| 不卡视频在线看| 久久久久久久久岛国免费| 麻豆91在线看| 日韩欧美亚洲国产精品字幕久久久 | 国产一区二区精品久久| 正在播放亚洲一区| 亚洲国产一区二区三区| 日本乱人伦aⅴ精品| 亚洲一线二线三线久久久| 色综合久久88色综合天天6| 亚洲欧洲精品一区二区三区不卡 | 国产一区二区三区在线观看免费 | 欧美色网站导航| 亚洲天堂中文字幕| 91丨九色porny丨蝌蚪| 国产精品你懂的| 99视频国产精品| 亚洲美女屁股眼交| 欧美视频一二三区| 日本中文字幕一区二区视频| 日韩精品一区二区三区在线| 激情综合色综合久久| 久久蜜桃香蕉精品一区二区三区| 国产精品自拍一区| 中文字幕在线播放不卡一区| 一本一道综合狠狠老| 偷拍自拍另类欧美| 亚洲精品一区二区三区香蕉| 国产成人精品亚洲日本在线桃色 | 亚洲自拍偷拍网站| 欧美丝袜丝nylons| 日本va欧美va瓶| 久久九九久久九九| 色婷婷综合久色| 蜜桃精品视频在线| 国产精品无遮挡| 欧美色精品在线视频| 精品亚洲成av人在线观看| 中文字幕一区不卡| 欧美一区二区福利在线| 99精品1区2区| 日韩不卡一区二区| 国产精品久久久久aaaa| 日韩亚洲国产中文字幕欧美| 成人激情开心网| 美腿丝袜亚洲综合| 亚洲女人的天堂| 2021中文字幕一区亚洲| 91福利资源站| 国产成人夜色高潮福利影视| 一二三四社区欧美黄| 国产午夜精品一区二区三区四区| 欧美天堂亚洲电影院在线播放| 国产一本一道久久香蕉| 午夜国产精品一区| 国产精品久久久久影院亚瑟| 日韩一区二区三区视频| 色94色欧美sute亚洲线路二| 国产高清精品网站| 麻豆一区二区三区| 亚洲一区av在线| 自拍偷拍亚洲综合| 国产日产欧美一区二区视频| 日韩精品综合一本久道在线视频| 色网站国产精品| 99国产精品一区| 国产成人午夜高潮毛片| 免费高清在线一区| 日日夜夜免费精品视频| 一级日本不卡的影视| 国产精品久久二区二区| 久久精品网站免费观看| 欧美精品一区二区三区久久久| 欧美日韩精品一区二区在线播放| 91色九色蝌蚪| av激情亚洲男人天堂| 成人国产一区二区三区精品| 国产麻豆精品95视频| 激情国产一区二区|