代碼/模型/訓(xùn)練數(shù)據(jù)全開源

原標題：Llama模仿Diffusion多模態(tài)漲分30%！不卷數(shù)據(jù)不燒卡，只需共享注意力分布
文章來源：量子位
內(nèi)容字數(shù)：3008字

跨界學(xué)習(xí)：Stable Diffusion賦能多模態(tài)大模型，性能提升30%

近日，中國研究員聯(lián)合DeepMind團隊的研究成果《Lavender: Diffusion Instruction Tuning》引發(fā)關(guān)注。該研究巧妙地利用Stable Diffusion的圖像生成能力，提升了多模態(tài)大模型（如Llama-3.2）的視覺理解能力，在多模態(tài)問答任務(wù)中取得了顯著進展，性能提升高達30%。

1. 傳統(tǒng)多模態(tài)模型的困境

傳統(tǒng)的視覺語言模型（VLM）在處理視覺信息時常常面臨諸多挑戰(zhàn)：數(shù)據(jù)不足、容易過擬合、細節(jié)捕捉能力差等，導(dǎo)致其“視覺理解能力”欠佳。這就像一個考試前突擊的“學(xué)渣”，難以取得好成績。

2. Lavender：Stable Diffusion的“跨界教學(xué)”

為了解決這個問題，研究團隊提出了一種創(chuàng)新的解決方案：借鑒Stable Diffusion的注意力機制，讓它來“教”多模態(tài)大模型如何“看圖說話”。這種“跨界教學(xué)”方法主要分為三步：

1. 拜師學(xué)藝：VLM通過輕量級對齊網(wǎng)絡(luò)（Aligner）模仿Stable Diffusion的交叉注意力機制，學(xué)習(xí)其“看圖”技巧。

2. 高效補課：僅使用13萬樣本（常規(guī)數(shù)據(jù)量的2.5%）和8塊GPU進行一天的訓(xùn)練，實現(xiàn)了高效的模型優(yōu)化，避免了大規(guī)模數(shù)據(jù)和算力的消耗。

3. 防偏科秘籍：利用LoRA技術(shù)，在保留原模型能力的基礎(chǔ)上，針對性地提升模型在薄弱環(huán)節(jié)的性能，避免過擬合，增強模型的魯棒性。

3. 顯著的性能提升

實驗結(jié)果表明，經(jīng)過Lavender后的Llama-3.2在16項視覺-語言任務(wù)中均取得了顯著的性能提升。即使在小模型賽道上，也超過了SOTA模型50%。更令人驚訝的是，在醫(yī)學(xué)問答任務(wù)（WorldMedQA）中，性能提升甚至達到了68%，展現(xiàn)了其強大的泛化能力。

4. 核心技術(shù)亮點

Lavender的核心技術(shù)亮點在于：

1. 注意力對齊：利用MSE損失函數(shù)，將Stable Diffusion的高效注意力機制遷移到VLM中，提升視覺理解精度。

2. 知識蒸餾：無需海量標注數(shù)據(jù)，直接從圖像生成模型中蒸餾視覺知識，實現(xiàn)了高效的小樣本學(xué)習(xí)。

3. LoRA與注意力約束：利用LoRA技術(shù)避免過擬合，增強模型的魯棒性，提升模型在分布外任務(wù)上的表現(xiàn)。

5. 開源與應(yīng)用

該研究成果的代碼、模型和訓(xùn)練數(shù)據(jù)均已開源，方便其他研究者進行復(fù)現(xiàn)和改進。Lavender的視覺理解能力在多種應(yīng)用場景中得到了驗證，例如表格和圖表信息提取、復(fù)雜圖形理解以及多語言問答等，展現(xiàn)了其強大的實用價值。

6. 未來展望

研究團隊認為，高效、輕量的模型優(yōu)化比無腦堆參數(shù)更有未來，Lavender的成功為多模態(tài)大模型的優(yōu)化提供了新的思路和方法。

聯(lián)系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關(guān)注科技行業(yè)新突破