国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

ActAnywhere

AI工具11個月前發布 AI工具集
873 0 0

ActAnywhere是什么

ActAnywhere是斯坦福大學與Adobe Research的研究者們聯合開發的一款視頻生成模型,專注于視頻背景的自動生成,尤其是在需要將前景主體(如人類角色)與新背景無縫融合的場景中。此模型在電影制作及視覺效果(VFX)行業中表現出色,能夠高效地創建與前景主體相匹配的視頻背景,顯著減少了傳統手動合成所需的時間和精力。

ActAnywhere

官方項目主頁:https://actanywhere.github.io/

Arxiv論文地址:https://arxiv.org/abs/2401.10822

主要功能

  • 前景與背景的完美融合:該模型能夠根據前景主體的動態與外觀,自動生成與之相匹配的背景,使得二者之間的互動顯得自然流暢。
  • 基于條件幀的背景生成:用戶可以提供一幅描述新場景的圖像(條件幀),ActAnywhere將基于該圖像生成相應的視頻背景。這使用戶能夠指定特定的背景元素,例如特定的建筑物、自然景觀或室內環境。
  • 時間一致性:利用時間自注意力機制,ActAnywhere確保生成的視頻在時間上保持一致性,包括相機、光照變化及陰影效果。
  • 自監督學習:ActAnywhere通過在大規模人類-場景交互視頻數據集上進行自監督訓練,能夠在沒有人工標注的情況下自我學習如何生成視頻背景。
  • 零樣本學習能力:此模型在未進行額外訓練的情況下,能夠對新的、未見過的數據(如非人類主體)進行生成,顯示出其在背景生成策略上的通用性。

ActAnywhere的工作原理

ActAnywhere

ActAnywhere通過以下步驟和組件生成具有高度真實感和時間連貫性的視頻背景:

  1. 數據準備
    • 采用前景主體分割算法(如Mask R-CNN)從輸入視頻中提取前景主體的分割序列(S)及相應的掩膜(M)。
    • 引入一個條件幀(c),該幀描述所需生成的背景,可以是背景圖像或包含前景與背景的復合幀。
  2. 特征編碼
    • 使用預訓練的變分自編碼器(VAE)對前景主體分割序列進行編碼,得到潛在特征(?S)。
    • 將前景掩膜序列下采樣并與潛在特征對齊,以確保特征維度匹配。
  3. 擴散過程
    • 在訓練階段,利用VAE編碼器將原始視頻幀編碼為潛在表示(Z),然后在正向擴散中逐步添加高斯噪聲。
    • 在測試階段,潛在表示(Z0)初始化為高斯噪聲,并通過逆向擴散過程逐步去噪,以生成最終的視頻幀。
  4. 時間注意力機制
    • 在去噪的U-Net模型中插入模塊,這些模塊包括特征投影層和1D時間自注意力模塊,以確保時間上的連貫性。
    • 通過CLIP圖像編碼器提取條件幀的特征(Fc),并將其注入U-Net的交叉注意力層中,以確保生成的視頻背景與條件幀保持一致。
  5. 訓練目標
    • 使用簡化的擴散目標進行訓練,旨在預測添加的噪聲,通過最小化預測噪聲與真實噪聲之間的差異來優化模型。
  6. 數據增強與處理
    • 在訓練過程中,為應對不完美的分割掩膜,應用隨機矩形裁剪和圖像腐蝕操作。
    • 在測試階段,通過隨機丟棄分割、掩膜或條件幀來實現無分類器的引導。
  7. 模型訓練
    • 在大規模人類-場景交互視頻數據集(HiC+)上進行訓練,該數據集包含240萬個視頻。
    • 使用AdamW優化器,設定學習率為3e-5,凍結共享的VAE和CLIP編碼器,僅微調U-Net。
  8. 生成過程
    • 在測試階段,將前景主體序列和條件幀輸入訓練好的模型,模型將生成與前景主體相協調的視頻背景。

ActAnywhere的應用場景

  • 視頻背景替換:ActAnywhere能夠將視頻中的前景主體放置于全新的背景中,這在電影制作、廣告、虛擬現實(VR)和增強現實(AR)等領域尤為有用。例如,可以將演員置于虛構場景中,或在不實際拍攝的情況下模擬特定環境。
  • 視覺效果增強:在視覺效果(VFX)制作中,ActAnywhere可用于生成復雜的背景效果,如動態天氣變化、光影效果及人群互動,而無需實際拍攝這些元素。
  • 創意內容制作:藝術家和內容創作者可以利用ActAnywhere快速嘗試并實現他們的創意構想,例如將角色置于不同的歷史時期或未來世界,或與虛構生物互動。
  • 教育與培訓:在教育領域,ActAnywhere可用于創建模擬場景,幫助學生更好地理解復雜概念或歷史,或用于安全培訓,模擬緊急情況。
  • 游戲與娛樂:游戲開發者可以使用ActAnywhere生成動態背景,為玩家提供更豐富、更真實的游戲體驗。同時,它也可以應用于電影預告片、音樂視頻及其他娛樂內容的制作。

常見問題

  • ActAnywhere可以用于哪些類型的視頻? ActAnywhere適用于各種類型的視頻,無論是電影、廣告還是教育視頻,都能有效生成合適的背景。
  • 使用ActAnywhere需要什么樣的技術背景? 雖然ActAnywhere具有強大的自動化能力,但用戶需具備一定的技術基礎,以便更好地理解和使用該工具。
  • 是否需要額外的硬件支持? 為了獲得最佳效果,建議使用高性能的計算設備,因為視頻生成過程需要處理大量的數據和模型計算。
閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        国产成人免费高清| 舔着乳尖日韩一区| 亚洲精品中文字幕在线观看| 成人在线综合网站| 中文字幕一区二区三区在线不卡 | 久久先锋影音av鲁色资源网| 久久99精品久久久久| 国产精品美女视频| 欧美精品v日韩精品v韩国精品v| 老色鬼精品视频在线观看播放| 日韩午夜激情电影| 福利视频网站一区二区三区| 一区二区日韩电影| 精品欧美久久久| www.视频一区| 麻豆精品视频在线观看免费| 国产欧美精品一区二区色综合| 91视频观看视频| 日本亚洲视频在线| 亚洲欧洲日产国码二区| 欧美电影一区二区| 99久久久精品| 久久99精品国产麻豆不卡| 综合久久一区二区三区| 欧美电影免费观看完整版| 91免费在线看| 国产美女主播视频一区| 亚洲国产一区二区三区| 国产日韩v精品一区二区| 欧美女孩性生活视频| 成人av在线电影| 久久电影网站中文字幕 | 精品久久国产字幕高潮| 在线观看中文字幕不卡| 夫妻av一区二区| 美女视频一区二区| 首页综合国产亚洲丝袜| 1区2区3区国产精品| 久久久久久久av麻豆果冻| 51精品久久久久久久蜜臀| 色悠悠亚洲一区二区| 成人美女在线观看| 国产一区二区三区香蕉| 免费观看在线综合| 日韩高清国产一区在线| 夜夜嗨av一区二区三区网页| 亚洲欧美偷拍卡通变态| 中文字幕日本乱码精品影院| 日本一区二区三级电影在线观看| 精品精品欲导航| 日韩亚洲欧美中文三级| 欧美精品亚洲一区二区在线播放| 欧美色视频一区| 在线不卡中文字幕| 91麻豆精品国产91久久久资源速度 | 人禽交欧美网站| 天天综合天天综合色| 亚洲成人资源网| 首页欧美精品中文字幕| 日本午夜一本久久久综合| 亚洲国产精品人人做人人爽| 一区二区三区视频在线观看| 一区二区三区欧美激情| 亚洲黄色小视频| 亚洲第一主播视频| 日韩av午夜在线观看| 看电影不卡的网站| 国产一区二区三区高清播放| 国产成人精品一区二区三区四区| 国产乱国产乱300精品| 国产91精品免费| 91麻豆国产精品久久| 欧美午夜精品免费| 日韩欧美国产小视频| 久久这里只有精品首页| 中文字幕欧美三区| 亚洲精品国产无天堂网2021| 日日摸夜夜添夜夜添精品视频 | 欧美日韩国产影片| 欧美一卡二卡三卡| 国产视频一区二区三区在线观看 | 国产亚洲精品精华液| 中文字幕一区二区视频| 亚洲成人免费视频| 国产盗摄一区二区| 91美女片黄在线| 日韩一级高清毛片| 亚洲三级在线看| 六月丁香综合在线视频| 成人av免费在线| 欧美一级免费大片| 亚洲欧洲精品一区二区三区不卡| 亚洲永久精品国产| 国产精品亚洲午夜一区二区三区 | 久久成人18免费观看| 成人激情小说网站| 欧美电影影音先锋| 日韩伦理电影网| 美女性感视频久久| 91在线云播放| 国产午夜精品在线观看| 亚洲国产毛片aaaaa无费看| 国产一区二区三区在线看麻豆| 在线观看视频一区二区| 久久久久久久久久久久久女国产乱| 亚洲一区二区av电影| 成人avav影音| 久久久美女艺术照精彩视频福利播放| 亚洲激情第一区| 成人黄色综合网站| 精品福利av导航| 日韩激情视频在线观看| 欧美性猛交xxxxxx富婆| 国产精品灌醉下药二区| 国产一区二三区| 欧美不卡一区二区| 首页综合国产亚洲丝袜| 色老头久久综合| 国产精品乱码一区二三区小蝌蚪| 看国产成人h片视频| 欧美美女视频在线观看| 亚洲黄色在线视频| 色久优优欧美色久优优| 最新日韩在线视频| 成人av电影在线| 国产精品另类一区| 国产大陆精品国产| 国产亚洲美州欧州综合国 | 蜜臀av一区二区| 日韩欧美精品在线| 久久66热偷产精品| 日韩亚洲欧美成人一区| 美女mm1313爽爽久久久蜜臀| 日韩一区二区三区四区| 日韩福利视频导航| 69精品人人人人| 久久成人麻豆午夜电影| 精品国产成人在线影院 | 91精品国产入口在线| 免播放器亚洲一区| 精品久久久久一区| 国产成人高清在线| 国产精品久久网站| 91久久人澡人人添人人爽欧美| 亚洲人成精品久久久久久| 色婷婷激情一区二区三区| 亚洲综合男人的天堂| 欧美丰满一区二区免费视频| 看片的网站亚洲| 欧美激情自拍偷拍| 色吊一区二区三区| 美女视频一区在线观看| 欧美国产激情一区二区三区蜜月| 99视频一区二区| 亚洲高清在线视频| 日韩欧美高清在线| voyeur盗摄精品| 亚洲成av人片在线观看无码| 日韩精品一区二区三区蜜臀 | 欧美另类videos死尸| 麻豆91小视频| 国产精品美日韩| 4438成人网| 不卡影院免费观看| 日本成人在线视频网站| 久久色在线视频| 色哟哟在线观看一区二区三区| 日日夜夜免费精品视频| 国产精品美女久久久久久久久久久| 在线亚洲免费视频| 国产美女视频一区| 亚洲成a人v欧美综合天堂下载| 久久久99精品免费观看不卡| 色婷婷精品大视频在线蜜桃视频| 免费成人在线网站| 一区二区三区日韩| 国产午夜精品理论片a级大结局 | 亚洲男人的天堂在线观看| 欧美一区二区三区四区高清| 91在线免费视频观看| 国产一区二区在线看| 亚洲成人av一区二区三区| 国产精品久久久久aaaa樱花| 日韩一区二区高清| 欧洲精品一区二区| 成人18视频日本| 国产综合色在线视频区| 日本伊人色综合网| 亚洲国产日韩一区二区| 国产精品乱子久久久久| 欧美精品一区二区不卡| 91精品国产综合久久福利软件| 91麻豆免费观看| 波多野结衣中文字幕一区| 蜜桃视频第一区免费观看| 亚洲一区二区三区自拍| 亚洲女人的天堂| 国产精品久久午夜| 欧美激情中文字幕一区二区| 亚洲精品一区二区三区影院 |