国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

ActAnywhere

AI工具11個月前發布 AI工具集
873 0 0

ActAnywhere是什么

ActAnywhere是斯坦福大學與Adobe Research的研究者們聯合開發的一款視頻生成模型,專注于視頻背景的自動生成,尤其是在需要將前景主體(如人類角色)與新背景無縫融合的場景中。此模型在電影制作及視覺效果(VFX)行業中表現出色,能夠高效地創建與前景主體相匹配的視頻背景,顯著減少了傳統手動合成所需的時間和精力。

ActAnywhere

官方項目主頁:https://actanywhere.github.io/

Arxiv論文地址:https://arxiv.org/abs/2401.10822

主要功能

  • 前景與背景的完美融合:該模型能夠根據前景主體的動態與外觀,自動生成與之相匹配的背景,使得二者之間的互動顯得自然流暢。
  • 基于條件幀的背景生成:用戶可以提供一幅描述新場景的圖像(條件幀),ActAnywhere將基于該圖像生成相應的視頻背景。這使用戶能夠指定特定的背景元素,例如特定的建筑物、自然景觀或室內環境。
  • 時間一致性:利用時間自注意力機制,ActAnywhere確保生成的視頻在時間上保持一致性,包括相機、光照變化及陰影效果。
  • 自監督學習:ActAnywhere通過在大規模人類-場景交互視頻數據集上進行自監督訓練,能夠在沒有人工標注的情況下自我學習如何生成視頻背景。
  • 零樣本學習能力:此模型在未進行額外訓練的情況下,能夠對新的、未見過的數據(如非人類主體)進行生成,顯示出其在背景生成策略上的通用性。

ActAnywhere的工作原理

ActAnywhere

ActAnywhere通過以下步驟和組件生成具有高度真實感和時間連貫性的視頻背景:

  1. 數據準備
    • 采用前景主體分割算法(如Mask R-CNN)從輸入視頻中提取前景主體的分割序列(S)及相應的掩膜(M)。
    • 引入一個條件幀(c),該幀描述所需生成的背景,可以是背景圖像或包含前景與背景的復合幀。
  2. 特征編碼
    • 使用預訓練的變分自編碼器(VAE)對前景主體分割序列進行編碼,得到潛在特征(?S)。
    • 將前景掩膜序列下采樣并與潛在特征對齊,以確保特征維度匹配。
  3. 擴散過程
    • 在訓練階段,利用VAE編碼器將原始視頻幀編碼為潛在表示(Z),然后在正向擴散中逐步添加高斯噪聲。
    • 在測試階段,潛在表示(Z0)初始化為高斯噪聲,并通過逆向擴散過程逐步去噪,以生成最終的視頻幀。
  4. 時間注意力機制
    • 在去噪的U-Net模型中插入模塊,這些模塊包括特征投影層和1D時間自注意力模塊,以確保時間上的連貫性。
    • 通過CLIP圖像編碼器提取條件幀的特征(Fc),并將其注入U-Net的交叉注意力層中,以確保生成的視頻背景與條件幀保持一致。
  5. 訓練目標
    • 使用簡化的擴散目標進行訓練,旨在預測添加的噪聲,通過最小化預測噪聲與真實噪聲之間的差異來優化模型。
  6. 數據增強與處理
    • 在訓練過程中,為應對不完美的分割掩膜,應用隨機矩形裁剪和圖像腐蝕操作。
    • 在測試階段,通過隨機丟棄分割、掩膜或條件幀來實現無分類器的引導。
  7. 模型訓練
    • 在大規模人類-場景交互視頻數據集(HiC+)上進行訓練,該數據集包含240萬個視頻。
    • 使用AdamW優化器,設定學習率為3e-5,凍結共享的VAE和CLIP編碼器,僅微調U-Net。
  8. 生成過程
    • 在測試階段,將前景主體序列和條件幀輸入訓練好的模型,模型將生成與前景主體相協調的視頻背景。

ActAnywhere的應用場景

  • 視頻背景替換:ActAnywhere能夠將視頻中的前景主體放置于全新的背景中,這在電影制作、廣告、虛擬現實(VR)和增強現實(AR)等領域尤為有用。例如,可以將演員置于虛構場景中,或在不實際拍攝的情況下模擬特定環境。
  • 視覺效果增強:在視覺效果(VFX)制作中,ActAnywhere可用于生成復雜的背景效果,如動態天氣變化、光影效果及人群互動,而無需實際拍攝這些元素。
  • 創意內容制作:藝術家和內容創作者可以利用ActAnywhere快速嘗試并實現他們的創意構想,例如將角色置于不同的歷史時期或未來世界,或與虛構生物互動。
  • 教育與培訓:在教育領域,ActAnywhere可用于創建模擬場景,幫助學生更好地理解復雜概念或歷史,或用于安全培訓,模擬緊急情況。
  • 游戲與娛樂:游戲開發者可以使用ActAnywhere生成動態背景,為玩家提供更豐富、更真實的游戲體驗。同時,它也可以應用于電影預告片、音樂視頻及其他娛樂內容的制作。

常見問題

  • ActAnywhere可以用于哪些類型的視頻? ActAnywhere適用于各種類型的視頻,無論是電影、廣告還是教育視頻,都能有效生成合適的背景。
  • 使用ActAnywhere需要什么樣的技術背景? 雖然ActAnywhere具有強大的自動化能力,但用戶需具備一定的技術基礎,以便更好地理解和使用該工具。
  • 是否需要額外的硬件支持? 為了獲得最佳效果,建議使用高性能的計算設備,因為視頻生成過程需要處理大量的數據和模型計算。
閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        欧美国产综合色视频| 欧美性猛交一区二区三区精品| 国产一区在线观看麻豆| 欧美三级在线视频| 国产精品对白交换视频| 久久久久高清精品| 国产成人精品在线看| 一本一本大道香蕉久在线精品 | 欧美伊人久久大香线蕉综合69| 91福利在线免费观看| 亚洲美女精品一区| 国产99一区视频免费| 精品欧美乱码久久久久久| 国产一区91精品张津瑜| 亚洲欧美激情插| 日韩一区二区高清| 99视频一区二区| 亚洲一区二区三区视频在线播放| 日韩精品一区二区三区蜜臀| 国产成人福利片| 亚洲h动漫在线| 中文av一区二区| 欧美一卡二卡在线观看| 国内精品伊人久久久久av影院| 亚洲国产精品二十页| 欧美人xxxx| 99r国产精品| 激情伊人五月天久久综合| 尤物视频一区二区| 国产喷白浆一区二区三区| 欧美日韩成人综合天天影院 | 在线观看日韩电影| 欧美日韩一区二区三区四区| 久久99热这里只有精品| 亚洲精品国产成人久久av盗摄| 日韩欧美国产一区二区三区 | 国产激情视频一区二区在线观看 | 国产一区二区不卡老阿姨| 亚洲精品videosex极品| 久久婷婷国产综合国色天香| 欧美精品一二三四| 日本丶国产丶欧美色综合| 成人性视频免费网站| 蜜桃91丨九色丨蝌蚪91桃色| 亚洲香肠在线观看| 亚洲一区二区三区免费视频| 自拍偷在线精品自拍偷无码专区| 亚洲一区二区在线观看视频| 国产精品国产三级国产普通话99 | 精品动漫一区二区三区在线观看| 在线区一区二视频| 色欧美日韩亚洲| 欧美午夜电影一区| 欧美做爰猛烈大尺度电影无法无天| 国产**成人网毛片九色 | 亚洲国产精品自拍| 亚洲美女电影在线| 亚洲国产欧美日韩另类综合| 亚洲乱码国产乱码精品精的特点| 国产精品美女视频| 亚洲三级电影全部在线观看高清| 中文字幕一区二区三| 国产精品高潮久久久久无| 国产精品三级视频| 伊人夜夜躁av伊人久久| 亚洲一区二区三区国产| 亚洲va欧美va天堂v国产综合| 一区二区欧美在线观看| 亚洲综合成人在线| 日本成人超碰在线观看| 激情五月婷婷综合网| 国产一区二区伦理片| 成人国产精品免费网站| 91在线高清观看| 欧美午夜理伦三级在线观看| 欧美四级电影在线观看| 欧美精品v国产精品v日韩精品| 欧美日韩一级二级| 日韩欧美的一区| 国产精品国产a级| 夜夜爽夜夜爽精品视频| 亚洲成a人片综合在线| 免费av网站大全久久| 国产成人在线观看免费网站| 不卡大黄网站免费看| 欧美性生交片4| 日韩一级精品视频在线观看| 国产网站一区二区| 一区二区欧美在线观看| 久久精品国产99国产精品| 国产精品1区2区| 91行情网站电视在线观看高清版| 欧美一区二视频| 亚欧色一区w666天堂| 久久99精品国产.久久久久久| 国产91精品一区二区| 欧美日韩国产在线观看| 欧美经典一区二区| 亚洲国产三级在线| 国产精品一区二区你懂的| 91福利小视频| 欧美高清在线一区二区| 亚洲福利一区二区| 成人黄色国产精品网站大全在线免费观看| 色婷婷激情久久| 夜夜揉揉日日人人青青一国产精品| 亚洲国产sm捆绑调教视频 | 国产成人亚洲综合a∨婷婷| 在线免费观看日本欧美| 国产无遮挡一区二区三区毛片日本| 亚洲国产成人91porn| 94-欧美-setu| 国产精品人成在线观看免费| 免费日本视频一区| 欧美色图一区二区三区| 国产精品日韩成人| 国产福利不卡视频| 精品毛片乱码1区2区3区| 婷婷一区二区三区| 欧美在线制服丝袜| 成人免费在线观看入口| 福利一区二区在线| 国产亚洲成av人在线观看导航 | 亚洲日本va在线观看| 国产在线视频一区二区三区| 在线免费精品视频| 亚洲伦理在线免费看| 国产成人精品免费在线| 日韩欧美国产一区二区三区 | 国产精品色哟哟| 一本色道久久加勒比精品| 久久久国产精华| 国产自产高清不卡| 久久蜜桃一区二区| 韩国欧美国产一区| 2024国产精品视频| 国产在线精品一区二区不卡了| 91精品国产综合久久小美女 | 亚洲图片另类小说| 国产大片一区二区| 久久综合九色综合欧美亚洲| 蜜芽一区二区三区| 亚洲精品在线免费播放| 韩国女主播一区| 欧美国产禁国产网站cc| 99re热视频精品| 亚洲午夜三级在线| 欧美男女性生活在线直播观看| 午夜欧美一区二区三区在线播放| 欧美日韩国产精品成人| 日韩1区2区日韩1区2区| 欧美大黄免费观看| 成人久久视频在线观看| 中文字幕一区av| 欧美影片第一页| 日本不卡一二三| 久久久久久99精品| 色婷婷精品久久二区二区蜜臂av| 亚洲一区二区视频在线| 欧美一级xxx| 成人不卡免费av| 性欧美大战久久久久久久久| 欧美一级精品在线| 99久久精品费精品国产一区二区| 91亚洲精华国产精华精华液| 亚洲综合丝袜美腿| 日韩美女天天操| 99在线精品免费| 免费欧美高清视频| 国产精品网站在线播放| 91精品欧美久久久久久动漫| 国产**成人网毛片九色| 午夜a成v人精品| 成人欧美一区二区三区小说| 日韩欧美资源站| 91国内精品野花午夜精品| 精品在线免费视频| 亚洲午夜精品在线| 欧美激情在线看| 91麻豆精品国产自产在线| 99精品国产99久久久久久白柏| 久久国产欧美日韩精品| 亚洲国产一区二区三区| 中文一区二区在线观看| 欧美大尺度电影在线| 欧美伊人久久久久久久久影院| 粉嫩av一区二区三区在线播放| 美女任你摸久久| 日韩国产欧美在线观看| 亚洲一区影音先锋| 尤物视频一区二区| 亚洲免费电影在线| 中文字幕制服丝袜一区二区三区 | 九一九一国产精品| 亚洲第一久久影院| 亚洲精品视频在线观看免费| 欧美国产激情二区三区| 久久―日本道色综合久久| 日韩欧美综合一区| 日韩午夜激情免费电影|