最近學(xué)強(qiáng)化的過(guò)程中，總是遇到“拒絕采樣”這個(gè)概念，我嘗試科普一下，爭(zhēng)取用最大白話的方式讓每個(gè)感興趣的同學(xué)都理解其中思想。

原標(biāo)題：LLM實(shí)踐系列-細(xì)聊LLM的拒絕采樣
文章來(lái)源：智猩猩GenAI
內(nèi)容字?jǐn)?shù)：4727字

拒絕采樣的概念及其在生成式AI中的應(yīng)用

隨著生成式AI的快速發(fā)展，拒絕采樣這一概念逐漸引起了大家的關(guān)注。本文將通過(guò)簡(jiǎn)單易懂的語(yǔ)言對(duì)拒絕采樣進(jìn)行闡釋，并探討其在大型語(yǔ)言模型（LLM）中的應(yīng)用。

1. 拒絕采樣的基本原理

拒絕采樣最早源于統(tǒng)計(jì)學(xué)，是一種從復(fù)雜目標(biāo)概率分布中生成隨機(jī)樣本的方法。當(dāng)直接從目標(biāo)分布中采樣困難時(shí)，采用一個(gè)易于采樣的提議分布，并根據(jù)某種接受概率來(lái)決定是否接受樣本。其過(guò)程主要包括：選擇提議分布、確定縮放常數(shù)、生成樣本并進(jìn)行接受檢測(cè)。

2. 拒絕采樣的關(guān)鍵要素

拒絕采樣包括幾個(gè)重要要素：首先，提議分布應(yīng)該易于采樣并覆蓋目標(biāo)分布；其次，需找到一個(gè)縮放常數(shù)，以確保提議分布包裹住目標(biāo)分布；最后，需要有方法來(lái)判斷樣本是否符合目標(biāo)分布。

3. LLM中的拒絕采樣

在LLM中，拒絕采樣的過(guò)程較為簡(jiǎn)單。模型針對(duì)給定的提示生成多個(gè)候選響應(yīng)，然后使用獎(jiǎng)勵(lì)模型（reward_model）篩選出高質(zhì)量的響應(yīng)。這一過(guò)程可以被視為對(duì)提議分布的反復(fù)采樣，最終得到符合最佳語(yǔ)言模型的樣本。

4. 統(tǒng)計(jì)學(xué)與LLM的映射關(guān)系

統(tǒng)計(jì)學(xué)中的拒絕采樣和LLM的拒絕采樣之間有相似之處。兩者均需要易于采樣的提議分布和有效的接受標(biāo)準(zhǔn)。然而，LLM面臨的挑戰(zhàn)在于如何確保反復(fù)采樣能夠覆蓋最佳語(yǔ)言模型的表達(dá)方式。

5. RLHF與拒絕采樣的結(jié)合

在強(qiáng)化學(xué)習(xí)與人類反饋（RLHF）的框架下，優(yōu)化目標(biāo)并非是單純獲得最佳語(yǔ)言模型，而是使獎(jiǎng)勵(lì)模型與參考模型共同認(rèn)可的模型。因此，雖然LLM進(jìn)行多次采樣，但仍需通過(guò)迭代來(lái)接近最優(yōu)目標(biāo)分布。

總結(jié)

拒絕采樣作為一種有效的采樣方法，雖然沒(méi)有應(yīng)用具體的策略優(yōu)化算法，但其核心思想與RLHF相通。通過(guò)對(duì)原始模型的反復(fù)采樣，結(jié)合獎(jiǎng)勵(lì)模型的反饋，最終能夠達(dá)到更接近最佳語(yǔ)言模型的效果。

聯(lián)系作者

文章來(lái)源：智猩猩GenAI
作者微信：
作者簡(jiǎn)介：智猩猩旗下矩陣賬號(hào)之一，聚焦大模型開(kāi)啟的通用人工智能浪潮。