Granite-Docling-258M – IBM推出的輕量級視覺語言模型

Granite-Docling-258M – IBM推出的輕量級視覺語言模型

Granite-Docling-258M：IBM 推出的一款輕量級視覺語言模型，專為高效文檔轉換而生，能以機器可讀格式完美復刻文檔布局、表格與公式。

Granite-Docling-258M：文檔轉換的革新者

IBM 隆重推出 Granite-Docling-258M，一款開創(chuàng)性的輕量級視覺語言模型，旨在徹底改變文檔轉換的效率與精度。這款模型能夠將各類文檔，無論是掃描件還是電子版，轉換成機器易于理解的格式，并且在轉換過程中，對原始文檔的布局、表格、公式等關鍵元素進行一絲不茍的保留。僅擁有 25800 萬（258M）參數(shù)的 Granite-Docling-258M，在保持卓越性能的同時，提供了出色的成本效益。它還具備強大的多語言處理能力，能夠輕松駕馭語、中文、日語等多種語言的文檔。通過使用 DocTags 格式，模型能夠以極高的準確性描述文檔結構，有效避免信息丟失。此外，Granite-Docling-258M 與 Docling 庫的無縫集成，賦予了用戶強大的定制化能力和出色的錯誤處理機制，使其成為企業(yè)級文檔處理的理想選擇，為文檔處理領域注入了新的活力。

Granite-Docling-258M 的核心能力

• 精準的文檔解析能力：模型能夠精確識別并解析文檔中的文字、表格、數(shù)學公式、圖表等多種元素，為后續(xù)的深度處理奠定堅實、準確的數(shù)據(jù)基礎。
• 忠實的結構化轉換：在將文檔轉換為電子格式的過程中，模型能夠完整地保留原始文檔的布局和整體結構，確保轉換后的文檔與原文高度一致，極大地方便了閱讀和進一步的編輯工作。
• 全方位的多模態(tài)輸入支持：模型能夠同時處理圖像和文本輸入，這意味著它能夠應對掃描文檔、手寫筆記以及各類電子文檔等多種形式的文檔，極大地拓展了其應用的可能性。
• 跨越語言的文檔處理：具備強大的多語言處理能力，能夠輕松應對不同語言的文檔，為跨國企業(yè)和多語言工作環(huán)境下的文檔處理提供了極大的便利。
• 高效的數(shù)據(jù)提取效率：支持快速從文檔中提取關鍵信息和結構化數(shù)據(jù)，顯著提升工作效率，并大幅減少人工處理所需的時間。
• 靈活多樣的輸出格式：支持將文檔轉換為多種主流格式，例如 Markdown、HTML、JSON 等，用戶可以根據(jù)自身需求選擇最適合的格式進行后續(xù)的應用和處理。
• 深度定制化的靈活性：通過與 Docling 庫的深度集成，用戶能夠根據(jù)特定的業(yè)務需求定制文檔處理流程，實現(xiàn)個性化的文檔轉換和分析功能。
• 企業(yè)級應用穩(wěn)定性：經過精心優(yōu)化，模型在處理文檔時表現(xiàn)出更高的穩(wěn)定性，能夠有效減少錯誤和異常情況的發(fā)生，非常適合在企業(yè)級環(huán)境中進行大規(guī)模部署和應用。

Granite-Docling-258M 的技術支撐

• 先進的模型架構：
  • 強大的視覺編碼器：采用 siglip2-base-patch16-512 作為視覺編碼器，能夠高效地處理圖像輸入，從中提取關鍵的視覺特征。
  • 智能的視覺語言連接器：基于像素洗牌投影器（pixel shuffle projector）技術，能夠將提取到的視覺特征與語言模型進行無縫連接，實現(xiàn)視覺與語言信息的深度融合。
  • 穩(wěn)健的語言模型基礎：基于 Granite 165M 的語言模型，能夠準確地處理和生成自然語言文本，確保文檔內容的準確轉換。
• DocTags：文檔的通用語言：DocTags 是一種通用的標記語言，能夠精準地描述文檔中的各種元素，如圖表、表格、公式等，并能夠清晰地表達它們之間的上下文關系和具置。DocTags 格式優(yōu)化了 LLM 的可讀性，使得模型輸出的文檔能夠直接轉換為 Markdown、HTML 或 JSON 等格式，極大地便利了后續(xù)的處理和應用。
• 精心打造的訓練數(shù)據(jù)：訓練數(shù)據(jù)涵蓋了公開數(shù)據(jù)集以及內部合成數(shù)據(jù)集，例如 SynthCodeNet（用于代碼片段）、SynthFormulaNet（用于數(shù)學公式）、SynthChartNet（用于圖表）以及 DoclingMatix（用于真實文檔頁面）。通過高質量、標注精確的數(shù)據(jù)，模型能夠更深入地學習文檔的結構與內容，從而顯著提升轉換的準確性和穩(wěn)定性。

Granite-Docling-258M 的項目資源

• 官方項目網站：https://www.ibm.com/new/announcements/granite-docling-end-to-end-document-conversion
• HuggingFace 模型庫：https://huggingface.co/ibm-granite/granite-docling-258M
• 在線體驗平臺：https://huggingface.co/spaces/ibm-granite/granite-docling-258m-demo

Granite-Docling-258M 的廣泛應用場景

• 企業(yè)文檔數(shù)字化管理：模型能夠快速將傳統(tǒng)的紙質文檔轉化為數(shù)字格式，極大地便利了文檔的存儲、檢索和管理，從而顯著提升企業(yè)整體的工作效率。
• 學術研究的加速器：在處理海量學術文獻時，模型能夠提供高效的轉換和分析能力，為研究人員快速獲取和解讀資料提供強有力的支持。
• 檔案的數(shù)字化轉型：在精準轉換歷史檔案方面表現(xiàn)出色，確保信息的高度完整性，為長期保存和便捷查詢奠定基礎。
• 教育領域的效率提升：教師可以利用模型快速整理和分發(fā)教學資料，學生也能便捷地獲取電子版學習材料，優(yōu)化教學和學習體驗。
• 打破語言壁壘的多語言文檔處理：對于跨國企業(yè)而言，模型能夠輕松處理各種語言的文檔，消除語言障礙，促進全球范圍內的交流與合作。