AIGC動態歡迎閱讀

原標題：小模型如何進行上下文學習？字節跳動 & 華東師大聯合提出自進化文本識別器

關鍵字：上下文,模型,樣本,場景,字節跳動

文章來源：機器之心

內容字數：4315字

內容摘要：機器之心專欄機器之心編輯部我們都知道，大語言模型（LLM）能夠以一種無需模型微調的方式從少量示例中學習，這種方式被稱為「上下文學習」（In-context Learning）。這種上下文學習現象目前只能在大模型上觀察到。比如 GPT-4、Llama 等大模型在非常多的領域中都表現出了杰出的性能，但還是有很多場景受限于資源或者實時性要求較高，無法使用大模型。那么，常規大小的模型是否具備這種能力呢？為了探索小模型的上下文學習能力，字節和華東師大的研究團隊在場景文本識別任務上進行了研究。目前，在實際應用場景中，場景文本識別面臨著多種挑戰：不同的場景、文字排版、形變、光照變化、字跡模糊、字體多樣性等，因此很難訓練一個能應對所有場景的統一的文本識別模型。一個直接的解決辦法是收集相應的數據，然后在具體場景下對模型進行微調。但是這一過程需要重新訓練模型，計算量很大，而且需要針對不同場景需要保存多個模型權…

原文鏈接：點此閱讀原文：小模型如何進行上下文學習？字節跳動 & 華東師大聯合提出自進化文本識別器

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺