Pippo – Meta 推出的單圖生成多視角高清人像視頻模型

Pippo是什么

Pippo是由Meta Reality Labs開發的一款先進的圖像到視頻生成模型，能夠從單張照片生成1K分辨率的多視角高清晰度人像視頻。該模型采用了多視角擴散變換器，并在30億張人像圖像上進行了預訓練，隨后在2500張專業捕捉的圖像上進行了后訓練。Pippo的關鍵技術包括ControlMLP模塊，旨在注入像素對齊的條件，以及注意力偏差技術，使其在推理時能夠生成比訓練時多出5倍以上的視角。該模型還引入了重投影誤差，以評估多視角生成的3D一致性。

Pippo的主要功能

• 多視角生成：Pippo可以從單張全身或面部照片生成多視角的高清視頻，支持全身、面部或頭部的生成需求。
• 高效內容生成：借助多視角擴散變換器，Pippo能夠生成多達5倍于訓練視角的視頻內容。
• 高分辨率支持：Pippo實現了1K分辨率下的一致多視角人像生成，為用戶提供更清晰的視覺體驗。
• 空間錨點與ControlMLP：通過ControlMLP模塊的像素對齊條件，如Plücker射線和空間錨點，實現更優異的3D一致性。
• 自動補全細節：在處理單目視頻時，Pippo能夠自動填補缺失的細節，例如鞋子、面部或頸部等。

Pippo的技術原理

• 多階段訓練策略：
  • 預訓練階段：Pippo首先在30億張未標注的人像圖像上進行預訓練，以捕獲豐富的特征信息。
  • 中間訓練階段：在高質量工作室數據集上，模型聯合生成多個視角的圖像，利用低分辨率視圖進行去噪，并通過淺層MLP粗略編碼目標相機。
  • 后訓練階段：在高分辨率下對少量視圖進行去噪，引入像素對齊控制（如空間錨點和Plücker射線），確保3D一致性。
• 像素對齊控制（ControlMLP模塊）：通過ControlMLP模塊注入的像素對齊條件，如Plücker射線和空間錨點，確保在推理階段固定為任意位置。
• 注意力偏差技術：在推理階段，Pippo引入了注意力偏差技術，使模型能夠生成比訓練階段多出5倍以上的視角。
• 3D一致性評估指標：Pippo采用改進的3D一致性評估指標——重投影誤差（Re-projection Error），用于評估多視角生成的3D一致性。

Pippo的項目地址

• 項目官網：https://yashkant.github.io/pippo/
• Github倉庫：https://github.com/facebookresearch/pippo
• 技術論文：https://yashkant.github.io/pippo/pippo.pdf

Pippo的應用場景

• 虛擬現實（VR）和增強現實（AR）：Pippo能夠生成高質量的多視角人像視頻，適用于VR和AR環境中的虛擬角色創建，增強用戶的沉浸體驗。
• 影視制作：在影視后期制作中，Pippo可快速生成多視角的特效鏡頭，顯著降低拍攝成本和時間。
• 視頻會議：通過從單張照片生成多視角視頻，Pippo可以為遠程參與者提供更自然的交互體驗，提升會議的效果。
• 游戲開發：Pippo可用于生成游戲中的角色動畫，提升游戲的視覺效果和玩家的沉浸感。
• 社交媒體和內容創作：內容創作者可以使用Pippo生成多視角視頻，為社交媒體平臺提供更豐富且吸引人的內容。

常見問題

• Pippo支持哪些類型的輸入照片？：用戶可以提供全身或面部的照片，Pippo能夠根據這些圖片生成多視角視頻。
• 生成的視頻質量如何？：Pippo生成的視頻可達到1K分辨率，確保高清晰度和多視角體驗。
• 使用Pippo需要哪些技術背景？：Pippo的使用相對簡單，但對于模型的深入理解和應用可能需要一定的技術背景。
• Pippo是否支持實時生成？：目前，Pippo主要用于離線生成視頻，對于實時生成的支持還需進一步開發。