DisPose – 北大等多所高校推出的增強人物圖像控制動畫質(zhì)量的技術(shù)

DisPose是什么

DisPose是由北京大學(xué)、中國科學(xué)技術(shù)大學(xué)、清華大學(xué)和香港科技大學(xué)的研究團(tuán)隊聯(lián)合開發(fā)的一項先進(jìn)技術(shù)，旨在提升人物圖像動畫的質(zhì)量。該技術(shù)通過從骨骼姿態(tài)及參考圖像中提取有效的控制信號，實現(xiàn)高效的動畫控制，而無需額外的密集輸入。DisPose將姿態(tài)控制分為場引導(dǎo)和關(guān)鍵點對應(yīng)，生成密集的場以提供區(qū)域級的指導(dǎo)，同時具備對不同體型的良好適應(yīng)性。此外，DisPose還包含一個即插即用的混合ControlNet模塊，能夠顯著改善現(xiàn)有模型生成視頻的質(zhì)量和一致性。

DisPose的主要功能

• 場引導(dǎo)：通過骨骼姿態(tài)生成密集的場，為視頻生成提供區(qū)域級的動作一致性。
• 關(guān)鍵點對應(yīng)：從參考圖像中提取與姿態(tài)關(guān)鍵點相對應(yīng)的擴(kuò)散特征，確保身份信息的一致性。
• 即插即用模塊：此模塊可無縫集成到現(xiàn)有的人物動畫模型中，而無需調(diào)整現(xiàn)有模型參數(shù)。
• 質(zhì)量與一致性提升：混合ControlNet的設(shè)計使得生成視頻的質(zhì)量和外觀的一致性得到提升。
• 無需額外密集輸入：該技術(shù)無需依賴額外的深度圖等密集輸入，降低了對參考角色與驅(qū)動視頻之間身體形狀差異的敏感性。

DisPose的技術(shù)原理

• 場估計：
  • 稀疏場：DWpose通過關(guān)鍵點追蹤估計骨骼姿態(tài)，以軌跡圖的形式表示位移。
  • 密集場：條件傳播（CMP）利用稀疏場和參考圖像來預(yù)測密集場，提供更為細(xì)致的信號。
• 關(guān)鍵點特征提取：借助預(yù)訓(xùn)練的圖像擴(kuò)散模型提取參考圖像的DIFT特征，并與關(guān)鍵點進(jìn)行對應(yīng)，生成關(guān)鍵點特征圖。
• 混合ControlNet：特別設(shè)計的混合ControlNet在訓(xùn)練過程中會不斷更新，無需凍結(jié)現(xiàn)有模型的其他部分，從而便于將場引導(dǎo)和關(guān)鍵點對應(yīng)功能無縫集成到現(xiàn)有動畫模型中。
• 特征融合：
  • 通過特征融合層將稀疏和密集特征結(jié)合，生成最終的場引導(dǎo)信號。
  • 利用多尺度點編碼器將關(guān)鍵點特征與U-Net編碼器的中間特征結(jié)合，增強特征之間的語義對應(yīng)。
• 控制信號集成：將場引導(dǎo)和關(guān)鍵點對應(yīng)作為額外的控制信號，注入到潛在的視頻擴(kuò)散模型中，以生成精準(zhǔn)的人物圖像動畫。

DisPose的項目地址

• 項目官網(wǎng)：lihxxx.github.io/DisPose
• GitHub倉庫：https://github.com/lihxxx/DisPose
• arXiv技術(shù)論文：https://arxiv.org/pdf/2412.09349

DisPose的應(yīng)用場景

• 藝術(shù)創(chuàng)作：藝術(shù)家可以利用DisPose創(chuàng)作出具有特定動作和表情的動態(tài)藝術(shù)作品，如動態(tài)繪畫和數(shù)字雕塑。
• 社交媒體：在社交媒體平臺上，用戶可以生成個性化的動態(tài)頭像或動態(tài)表情，增加互動的趣味性。
• 數(shù)字人和虛擬偶像：通過DisPose創(chuàng)建并控制虛擬角色的動作和表情，廣泛應(yīng)用于直播、視頻會議或作為虛擬偶像進(jìn)行表演。
• 電影制作：在電影后期制作中，利用該技術(shù)生成或修改角色的動作，顯著提升制作效率。
• 虛擬現(xiàn)實（VR）和增強現(xiàn)實（AR）：在VR和AR應(yīng)用中，生成可以與用戶互動的虛擬角色，提供更加自然和真實的互動體驗。

常見問題

• DisPose適合哪些類型的項目？：DisPose適用于藝術(shù)創(chuàng)作、社交媒體互動、數(shù)字人和虛擬偶像的制作、電影后期以及VR/AR應(yīng)用等多個領(lǐng)域。
• 使用DisPose需要哪些前提條件？：用戶需要具備一定的技術(shù)基礎(chǔ)，了解骨骼動畫和圖像處理的相關(guān)知識。
• DisPose是否支持不同的動畫模型？：是的，DisPose設(shè)計為即插即用的模塊，可以與多種現(xiàn)有的人物動畫模型兼容使用。
• 如何獲取DisPose的最新動態(tài)？：用戶可以通過訪問DisPose的官方網(wǎng)站和GitHub倉庫獲取相關(guān)信息和更新。