突破視覺邊界：北航與VAST聯手推出MV-Adapter，輕松生成多視角圖像

面向通用多視圖生成的第一個適配器解決方案。

原標題：讓多視角圖像生成更輕松！北航和VAST推出MV-Adapter
文章來源：機器之心
內容字數：6996字

MV-Adapter: 多視角一致性圖像生成的創新解決方案

近年來，隨著2D/3D內容創作和世界模型的興起，多視角圖像生成成為計算機視覺領域的熱門研究方向。為了解決現有方法在生成高分辨率圖像和支持大規模基礎模型方面的局限性，北京航空航天大學、VAST及上海交通大學的研究團隊提出了MV-Adapter，這是第一個面向通用多視圖生成任務的適配器解決方案。

1. MV-Adapter的核心功能

MV-Adapter通過高效的新型注意力架構和統一的條件編碼器，在不修改基礎模型的情況下，實現了多視圖一致性和參考圖像主體相關性的高效建模。其主要功能包括：

• 支持生成768分辨率的多視角圖像，達到目前最高水平。
• 兼容定制的文生圖模型和潛在一致性模型，提升多視圖生成的可控性。
• 支持從單張圖像生成多視角圖像，并具備高ID一致性。
• 可根據已知幾何信息生成高質量的3D貼圖。

2. 技術創新與設計

MV-Adapter的設計包括通用條件引導器和解耦的注意力層。條件引導器能夠同時編碼相機和幾何信息，使得生成過程更加精準。解耦的注意力層通過復制現有的自注意力層，確保新層可以學習幾何信息，而不干擾原有模型的特征空間。

3. 實驗與效果評估

實驗結果表明，MV-Adapter在多視圖生成的質量和一致性方面優于現有方法。其生成的3D貼圖質量及推理速度均達到SOTA水平。此外，消融實驗驗證了MV-Adapter的訓練效率和并行注意力架構的有效性。

4. 未來展望

MV-Adapter不僅提供了一種高效的多視角生成框架，還為未來在物理或時序知識建模等新領域的研究提供了靈活的實現路徑。該技術的廣泛應用將進一步推動計算機視覺領域的進步。

欲了解更多技術細節和實驗結果，請參考原文鏈接和項目主頁。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺