趙晨旭：非標(biāo)模態(tài)的多模態(tài)大語言模型如何模擬人類主觀感受

中國品牌在全球化傳播中，需要理解不同文化背景下不同群體的情感反應(yīng)，并采用全球消費(fèi)者可接受的方式講述品牌故事和傳播文化。

原標(biāo)題：趙晨旭：非標(biāo)模態(tài)的多模態(tài)大語言模型如何模擬人類主觀感受
文章來源：AI前線
內(nèi)容字?jǐn)?shù)：9239字

明略科技：利用多模態(tài)大模型模擬人類主觀感受

本文總結(jié)了明略科技在AICon全球人工智能開發(fā)與應(yīng)用大會上關(guān)于“非標(biāo)模態(tài)的多模態(tài)大語言模型如何模擬人類主觀感受”的演講內(nèi)容。演講的核心在于利用AI技術(shù)模擬人類主觀感受，這對于全球化品牌傳播至關(guān)重要，因?yàn)槲幕尘安町悓?dǎo)致消費(fèi)者對同一內(nèi)容的情感反應(yīng)各不相同。

1. 挑戰(zhàn)與價值：模擬人類主觀感受的難點(diǎn)

演講首先指出，即使是參數(shù)眾多的現(xiàn)有大語言模型也難以捕捉人類主觀感受。目前的研究主要依靠側(cè)面觀察，存在局限性。真正理解人類主觀感受需要從不同用戶的視角出發(fā)，分析其自發(fā)的情緒反應(yīng)，這面臨著如何定義和獲取主觀感知指標(biāo)、如何采集有效數(shù)據(jù)以及如何實(shí)現(xiàn)AI模擬主觀感知能力等三大挑戰(zhàn)。然而，成功模擬人類主觀感受的價值巨大，它能更準(zhǔn)確地理解和預(yù)測消費(fèi)者對產(chǎn)品或內(nèi)容的反應(yīng)，從而提升品牌傳播效果。

2. Video-SME數(shù)據(jù)集：構(gòu)建主觀多模態(tài)數(shù)據(jù)

為了解決現(xiàn)有數(shù)據(jù)集的局限性，明略科技構(gòu)建了大規(guī)模視頻主觀多模態(tài)評估數(shù)據(jù)集Video-SME。該數(shù)據(jù)集通過收集腦電波和眼動追蹤數(shù)據(jù)，分析受試者對視頻內(nèi)容的認(rèn)知理解程度。它包含豐富的模態(tài)，并設(shè)計了主觀任務(wù)（預(yù)測認(rèn)知、情緒和眼動注視比例）和客觀任務(wù)（開放性文本生成），以更準(zhǔn)確地捕捉和分析主觀感受。數(shù)據(jù)集還考慮了受眾個體差異，例如性別和年齡。

3. 超圖多模態(tài)大語言模型(HMLLM): 模擬主觀感受的技術(shù)手段

明略科技自研的超圖多模態(tài)大語言模型HMLLM，利用超圖理論連接視頻幀間的復(fù)雜關(guān)系，并通過訓(xùn)練和推理兩個階段，模擬人類主觀感受。訓(xùn)練階段分為客觀部分（訓(xùn)練語言模型）和主觀部分（超圖學(xué)習(xí)模塊，考慮觀眾信息）。推理階段則根據(jù)提示直接給出答案，包括客觀描述和主觀描述（例如不同性別和年齡段觀眾的認(rèn)知和情緒反應(yīng)）。模型能夠通過熱力圖展示觀眾注意力分布，揭示不同人群對同一畫面內(nèi)容的關(guān)注點(diǎn)差異。

4. 評測結(jié)果與應(yīng)用場景：模型的有效性和應(yīng)用前景

實(shí)驗(yàn)結(jié)果表明，HMLLM在Video-SME及其他數(shù)據(jù)集上均取得了優(yōu)異的成績，優(yōu)于商用模型。該模型能夠準(zhǔn)確識別視頻內(nèi)容并預(yù)測不同人群的主觀反應(yīng)。明略科技基于此開發(fā)了產(chǎn)品Adeff，能夠從主觀和客觀兩個維度對廣告內(nèi)容進(jìn)行評測，幫助品牌主理解廣告元素對受眾的影響，降低廣告投放風(fēng)險，提升廣告效果。該技術(shù)在廣告創(chuàng)意評測、消費(fèi)者行為分析等領(lǐng)域具有廣泛的應(yīng)用前景。

5. 總結(jié)：未來展望

演講總結(jié)指出，機(jī)器模擬人類主觀感受具有重大意義，是AI技術(shù)發(fā)展的重要方向。HMLLM的成功為該領(lǐng)域提供了新的可能性，未來隨著大模型的不斷優(yōu)化，AI在模擬人類主觀感受方面將取得更多突破，為人工智能的發(fā)展開辟新的道路。明略科技已公開論文和代碼，并對外開放數(shù)據(jù)集，以促進(jìn)該領(lǐng)域的研究和發(fā)展。

聯(lián)系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實(shí)踐案例，助你全面擁抱AIGC。