TANGLED – 上?？拼舐摵先A中科大等推出的3D發型生成方法

TANGLED是什么

TANGLED是由上海科技大學、Deemos Technology和華中科技大學共同研發的一種創新型3D發型生成技術，能夠從各種風格和角度的圖像中生成高質量的3D發絲。該技術通過三個核心步驟實現：首先，利用多樣性的MultiHair數據集提供豐富的發型樣本；其次，借助多視圖線稿的擴散框架，通過線稿特征的交叉注意力機制捕捉發型的拓撲結構；最后，采用參數化后處理模塊修復復雜發型（如辮子）的細節。TANGLED不僅提升了發型的真實感和多樣性，還支持文化包容性數字角色的創建，為動畫和增強現實等領域開辟了新的應用可能。

TANGLED的主要功能

• 多樣化發型生成：能夠處理各種復雜發型，包括辮子、卷發和傳統發型等。
• 支持多視圖輸入：接受單視圖或多視圖圖像作為輸入，靈活應對不同需求。
• 靈活的輸入風格：支持多種輸入形式，如照片、手繪草圖、卡通和油畫，滿足不同應用場景的需求。
• 文化包容性：特別關注那些未被充分代表的發型紋理（如卷曲和辮子），致力于生成具有文化意義的發型。
• 高效集成：生成的3D發型可以直接嵌入現有的計算機圖形流程中，如Blender和Unreal Engine。

TANGLED的技術原理

• NeuraPressMultiHair數據集：包含457種多樣化的發型，標注了74個屬性，重點關注復雜和具有文化意義的發型。數據集通過多視圖渲染和線稿提取增強多樣性，同時用GPT-4生成詳細的文本標注。
• 擴散框架：基于多視圖線稿的擴散模型，線稿特征用于捕捉發型的拓撲結構（如發絲密度和分界線）。通過DINOv2提取線稿特征，并利用交叉注意力機制將其整合到擴散模型中，隨機混合不同視角的線稿特征，提高模型對多種輸入風格和視角的適應性。
• 參數化后處理模塊：針對復雜發型（如辮子）設計的參數化建模和修復技術。利用Frenet-Serret框架生成辮子的幾何結構，并基于注意力機制自然融入發型中。同時，應用Laplacian平滑技術減少高頻噪聲，確保發型的幾何連貫性和視覺效果。

TANGLED的項目地址

• 項目官網：https://sites.google.com/view/tangled
• arXiv技術論文：https://arxiv.org/pdf/2502.06392v1

TANGLED的應用場景

• 文化包容性虛擬角色創建：生成多樣化發型，支持來自不同文化背景的虛擬角色設計。
• 動畫發型設計：從草圖生成3D發型，顯著提升動畫制作效率。
• 增強現實（AR）發型預覽：結合AR技術，讓用戶能夠虛擬試戴各種發型。
• 虛擬試妝應用：幫助用戶在購買前預覽發型效果，提升用戶體驗。
• 基于草圖的3D發絲編輯：通過修改草圖快速調整發型，適用于創意設計領域。