小模型如何進(jìn)行上下文學(xué)習(xí)？字節(jié)跳動 & 華東師大聯(lián)合提出自進(jìn)化文本識別器

AIGC動態(tài)歡迎閱讀

原標(biāo)題：小模型如何進(jìn)行上下文學(xué)習(xí)？字節(jié)跳動 & 華東師大聯(lián)合提出自進(jìn)化文本識別器

關(guān)鍵字：上下文,模型,樣本,場景,字節(jié)跳動

文章來源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：4315字

內(nèi)容摘要：機(jī)器之心專欄機(jī)器之心編輯部我們都知道，大語言模型（LLM）能夠以一種無需模型微調(diào)的方式從少量示例中學(xué)習(xí)，這種方式被稱為「上下文學(xué)習(xí)」（In-context Learning）。這種上下文學(xué)習(xí)現(xiàn)象目前只能在大模型上觀察到。比如 GPT-4、Llama 等大模型在非常多的領(lǐng)域中都表現(xiàn)出了杰出的性能，但還是有很多場景受限于資源或者實(shí)時(shí)性要求較高，無法使用大模型。那么，常規(guī)大小的模型是否具備這種能力呢？為了探索小模型的上下文學(xué)習(xí)能力，字節(jié)和華東師大的研究團(tuán)隊(duì)在場景文本識別任務(wù)上進(jìn)行了研究。目前，在實(shí)際應(yīng)用場景中，場景文本識別面臨著多種挑戰(zhàn)：不同的場景、文字排版、形變、光照變化、字跡模糊、字體多樣性等，因此很難訓(xùn)練一個(gè)能應(yīng)對所有場景的統(tǒng)一的文本識別模型。一個(gè)直接的解決辦法是收集相應(yīng)的數(shù)據(jù)，然后在具體場景下對模型進(jìn)行微調(diào)。但是這一過程需要重新訓(xùn)練模型，計(jì)算量很大，而且需要針對不同場景需要保存多個(gè)模型權(quán)…

原文鏈接：點(diǎn)此閱讀原文：小模型如何進(jìn)行上下文學(xué)習(xí)？字節(jié)跳動 & 華東師大聯(lián)合提出自進(jìn)化文本識別器

聯(lián)系作者

文章來源：機(jī)器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺