基于反事實(shí)學(xué)習(xí)的新型聯(lián)邦學(xué)習(xí)框架。

原標(biāo)題：聯(lián)邦學(xué)習(xí)中的辛普森悖論，浙大提出反事實(shí)學(xué)習(xí)新框架FedCFA
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：7437字

浙江大學(xué)研究團(tuán)隊(duì)提出FedCFA：基于反事實(shí)學(xué)習(xí)的聯(lián)邦學(xué)習(xí)框架

本文介紹了浙江大學(xué)人工智能研究所研究團(tuán)隊(duì)提出的FedCFA框架，該框架旨在解決聯(lián)邦學(xué)習(xí)中因數(shù)據(jù)異質(zhì)性導(dǎo)致的辛普森悖論問(wèn)題，并已被AAAI 2025接收。FedCFA通過(guò)在客戶端本地生成反事實(shí)樣本，使本地?cái)?shù)據(jù)分布更接近全局分布，從而提高模型的準(zhǔn)確性。

1. 聯(lián)邦學(xué)習(xí)中的辛普森悖論

聯(lián)邦學(xué)習(xí)允許多個(gè)客戶端在不共享數(shù)據(jù)的情況下協(xié)同訓(xùn)練模型，但客戶端數(shù)據(jù)異質(zhì)性（Non-IID）會(huì)導(dǎo)致辛普森悖論：局部數(shù)據(jù)趨勢(shì)一致，但全局?jǐn)?shù)據(jù)趨勢(shì)相反。這使得聚合的全局模型無(wú)法準(zhǔn)確反映所有客戶端的數(shù)據(jù)分布，影響模型準(zhǔn)確性。例如，在貓狗圖像分類任務(wù)中，如果每個(gè)客戶端的數(shù)據(jù)都顯示淺色動(dòng)物是貓，深色動(dòng)物是狗，則聚合模型可能錯(cuò)誤地將顏色與類別關(guān)聯(lián)。

2. 反事實(shí)學(xué)習(xí)的應(yīng)用

反事實(shí)學(xué)習(xí)通過(guò)生成與現(xiàn)實(shí)數(shù)據(jù)不同的虛擬樣本，探索不同條件下的模型行為，幫助模型更好地理解數(shù)據(jù)中的因果關(guān)系，避免學(xué)習(xí)到虛假的關(guān)聯(lián)。在聯(lián)邦學(xué)習(xí)中，反事實(shí)學(xué)習(xí)可緩解辛普森悖論，使全局模型更準(zhǔn)確地反映整體數(shù)據(jù)分布。

3. FedCFA框架簡(jiǎn)介

FedCFA框架的核心思想是利用反事實(shí)學(xué)習(xí)來(lái)解決聯(lián)邦學(xué)習(xí)中的辛普森悖論。它通過(guò)在客戶端生成與全局平均數(shù)據(jù)對(duì)齊的反事實(shí)樣本，使本地?cái)?shù)據(jù)分布更接近全局分布，從而避免模型學(xué)習(xí)到錯(cuò)誤的特征-標(biāo)簽關(guān)聯(lián)。FedCFA包含以下關(guān)鍵步驟：

4. 全局平均數(shù)據(jù)集的構(gòu)建

FedCFA利用中心極限定理構(gòu)建全局平均數(shù)據(jù)集，近似全局?jǐn)?shù)據(jù)分布。具體步驟包括：1. 本地平均數(shù)據(jù)集計(jì)算：每個(gè)客戶端將本地?cái)?shù)據(jù)集隨機(jī)劃分為多個(gè)子集，計(jì)算每個(gè)子集的平均值，生成本地平均數(shù)據(jù)集；2. 全局平均數(shù)據(jù)集計(jì)算：服務(wù)器端聚合來(lái)自多個(gè)客戶端的本地平均數(shù)據(jù)，計(jì)算全局平均數(shù)據(jù)集。

5. 反事實(shí)變換模塊

反事實(shí)變換模塊在端側(cè)生成與全局?jǐn)?shù)據(jù)對(duì)齊的反事實(shí)樣本。該模塊包括：1. 特征提取；2. 選擇關(guān)鍵特征（梯度大小）；3. 生成反事實(shí)樣本（用全局平均數(shù)據(jù)特征替換可替換特征因子）。為了提高反事實(shí)樣本的質(zhì)量，F(xiàn)edCFA 引入了因子去相關(guān)損失，減少提取出的特征因子之間的相關(guān)性。

6. 因子去相關(guān)損失

為了確保每個(gè)特征因子只攜帶單一信息，F(xiàn)edCFA 引入了因子去相關(guān)損失 (FDC)，通過(guò)計(jì)算每對(duì)特征之間的皮爾遜相關(guān)系數(shù)，并將其作為正則化項(xiàng)加入到總損失函數(shù)中，減少特征之間的相關(guān)性。

7. 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，在具有辛普森悖論的數(shù)據(jù)集上，F(xiàn)edCFA 的全局模型精度高于 FedAvg 和 FedMix，并且達(dá)到目標(biāo)精度所需的通信輪數(shù)更少。這證明了 FedCFA 在緩解辛普森悖論和提高聯(lián)邦學(xué)習(xí)模型準(zhǔn)確性方面的有效性。

8. 總結(jié)

FedCFA 框架通過(guò)巧妙地結(jié)合反事實(shí)學(xué)習(xí)和聯(lián)邦學(xué)習(xí)，有效地解決了聯(lián)邦學(xué)習(xí)中數(shù)據(jù)異質(zhì)性導(dǎo)致的辛普森悖論問(wèn)題，為提高聯(lián)邦學(xué)習(xí)模型的準(zhǔn)確性和魯棒性提供了一種新的思路。該研究成果為未來(lái)聯(lián)邦學(xué)習(xí)的研究提供了重要的參考價(jià)值。

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)