CMU等提出超實用「模型泛化性」指標，分布外準確率提升6% | ICML 2024 Oral

原標題：CMU等提出超實用「模型泛化性」指標，分布外準確率提升6% | ICML 2024 Oral
文章來源：新智元
內容字數：6404字

深度學習模型泛化能力評估新方法：基于最低公共祖先距離 (LCA)

1. 引言：偽相關特征與泛化能力的挑戰

現有的深度學習分類模型常常過度依賴訓練數據中的偽相關特征，導致在分布外(OOD)數據上泛化能力下降。傳統的準確率指標(Accuracy-on-the-Line)難以有效衡量不同類型模型(如視覺模型VM和視覺語言模型VLM)的泛化性能。

2. LCA距離：一種新的泛化性評估指標

卡內基梅隆大學等機構的研究人員提出了一種基于類層次結構中最低公共祖先距離(LCA Distance)的泛化能力評估方法。LCA距離衡量兩個類別在語義層次結構(如WordNet)中的距離，較小的LCA距離表示模型預測的類別與真實類別在語義上更接近，即使預測錯誤，也體現了模型對語義特征的關注，更符合人類先驗知識。

3. LCA距離的優勢與有效性

LCA距離有效地解決了傳統Accuracy-on-the-Line指標的局限性。實驗表明，LCA距離與模型在OOD測試集上的性能具有更強的線性相關性，尤其在視覺語言模型(VLM)上表現突出，彌合了VM和VLM在泛化性能評估上的差異。 LCA距離不僅能有效預測模型的泛化性能，還能揭示VLM泛化能力更強的內在原因：VLM學習到的特征分布更符合人類語義定義。

4. 基于LCA距離的軟標簽訓練

研究人員利用LCA距離構建軟標簽(Soft Labels)，為語義上接近的類別賦予更高的權重，引導模型關注語義一致的特征，減少對偽相關特征的依賴。實驗結果表明，基于LCA距離的軟標簽訓練顯著提升了模型在OOD測試集上的準確率，最高可達6%，且不會影響在訓練數據上的性能。

5. 隱式層次結構的構建與LCA距離的普適性

為了解決并非所有數據集都具有預定義類層次結構的問題，研究人員提出了一種自動構建隱式層次結構的方法，通過特征提取和層次聚類生成類別關系的層次結構，并在此基礎上計算LCA距離。實驗結果表明，使用隱式層次結構計算的LCA距離在泛化性能預測和提升方面與基于WordNet的層次結構具有類似效果，證明了LCA距離的普適性。

6. 結論與展望

LCA距離作為一種統一的泛化性指標，具有計算高效、不受模型結構和參數影響等優點。基于LCA距離的軟標簽訓練方法以及對VLM泛化能力的解釋，為提升深度學習模型的泛化能力提供了新的思路和方法。未來，LCA距離有望應用于更多與語義對齊相關的任務，并進一步推動深度學習模型的魯棒性和可解釋性。