ViTPose

ViTPose – 基于 Transformer 架構的人體姿態估計模型

ViTPose是什么

ViTPose 是一種利用 Transformer 架構進行人體姿態估計的先進模型。該模型以標準視覺 Transformer 為基礎，通過對輸入圖像進行切塊處理并將其送入 Transformer 模塊，提取出圖像特征，最終通過解碼器將這些特征轉化為熱圖，實現對人體關鍵點的高精度定位。ViTPose 提供多種規模的版本，例如 ViTPose-B、ViTPose-L 和 ViTPose-H，用戶可以根據具體需求進行選擇。在 MS COCO 等數據集上，ViTPose 展現了其出色的性能，證明了視覺 Transformer 在姿態估計任務中的巨大潛力。此外，改進版本 ViTPose+ 進一步拓展了模型的應用范圍，涵蓋了動物和人體等多種姿態估計任務，顯著提高了性能和適用性。

ViTPose

ViTPose的主要功能

關鍵點定位：能夠識別圖像中人體的多個關鍵點，如關節、手和腳，廣泛應用于分析、虛擬現實以及人機交互等領域。
簡潔的模型架構：采用常規視覺 Transformer 作為骨干網絡進行特征提取，結合簡易的解碼器將特征解碼為熱圖，確保關鍵點的高精度定位。其結構簡潔，便于實現和擴展。
強大的可擴展性：通過調整 Transformer 的層數和頭數等超參數，模型參數可從 100M 擴展到 1B，以適應不同規模的任務需求，同時保持高效能。
高度靈活：在訓練過程中具有靈活性，支持多種預訓練及微調策略，能夠處理多種輸入分辨率和注意力類型，適應多種姿態估計任務。
知識遷移能力：大模型的知識可以通過簡單的知識令牌輕松遷移到小模型，進一步增強了模型的實用性和靈活性。

ViTPose的技術原理

視覺 Transformer：ViTPose 采用標準的非分層視覺 Transformer 作為特征提取的骨干網絡。輸入圖像首先被切分成多個小塊（patches），每個小塊嵌入到高維空間中，形成 tokens。這些 tokens 經過多個 Transformer 層處理，每一層都包含多頭自注意力（Multi-head Self-Attention,MHSA）和前饋網絡（Feed-Forward Network,FFN）。
特征提取：經過 Transformer 層的處理后，輸出的特征圖蘊含豐富的語義信息，能夠有效捕捉圖像中人體關鍵點的特征。
熱圖預測：ViTPose 的解碼器將編碼器輸出的特征圖轉化為熱圖，熱圖中的每個像素值表示該位置是某個關鍵點的概率。解碼器有兩種選擇：
- 標準解碼器：采用轉置卷積（transposed convolution）進行上采樣，并通過預測層生成熱圖。
- 簡單解碼器：直接使用雙線性插值進行上采樣，生成熱圖。
模型知識遷移：ViTPose 的知識可以通過簡單的知識令牌（knowledge token）遷移到小模型，進一步增強模型的靈活性和實用性。
領先性能：ViTPose 在多個姿態估計數據集上達到了新的最先進（SOTA）水平和帕累托前沿。