AIGC動態歡迎閱讀

原標題：OCR終結了？曠視提出支持文檔級OCR的多模態大模型，支持中英文，已開源！
關鍵字：詞表,模型,視覺,能力,圖片
文章來源：量子位
內容字數：2522字

內容摘要：

國科大&曠視團隊 投稿量子位 | 公眾號 QbitAI想將一份文檔圖片轉換成Markdown格式？
以往這一任務需要文本識別、布局檢測和排序、公式表格處理、文本清洗等多個步驟——
這一次，只需一句話命令，多模態大模型Vary直接端到端輸出結果：
無論是中英文的大段文字：
還是包含了公式的文檔圖片：
又或是手機頁面截圖：
甚至可以將圖片中的表格轉換成latex格式：
當然，作為多模大模型，通用能力的保持也是必須的：
Vary表現出了很大的潛力和極高的上限，OCR可以不再需要冗長的pipline，直接端到端輸出，且可以按用戶的prompt輸出不同的格式如latex 、word 、markdown。
通過大模型極強的語言先驗，這種架構還可以避免OCR中的易錯字，比如“杠桿”和“杜桿”等， 對于模糊文檔，也有望在語言先驗的幫助下實現更強的OCR效果。
項目一出，引發了不少網友的關注，有網友看后直呼“kill the game！”
那么這樣的效果，是如何做到的呢？
受大模型啟發打造目前的多模態大模型幾乎都是用CLIP作為Vision Encoder或者說視覺詞表。確實，在400M圖像文本對訓練的

原文鏈接：OCR終結了？曠視提出支持文檔級OCR的多模態大模型，支持中英文，已開源！

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破