LongCite是什么

LongCite是清華大學推出的一項創新項目，旨在提高大型語言模型（LLMs）在處理長文本問答任務時的可信性和可驗證性。該項目通過生成細致的句子級引用，使用戶能夠核實模型的回答是否準確。其核心組成部分包括LongBench-Cite評估基準、CoF自動化數據構建流程、LongCite-45k數據集，以及基于該數據集訓練的LongCite-8B和LongCite-9B模型。這些模型能夠理解長篇內容并提供準確的回答，附帶直接可查閱的文本引用，從而增強信息的透明度與可靠性。

LongCite的主要功能

• 細致引用生成：LongCite允許語言模型在回答長文本問題時生成精確到句子級別的引用，使用戶能直接追溯到原文的具體內容。
• 提升回答的準確性：LongCite確保模型的回答更忠實于原文，減少模型產生“幻覺”（即生成與原文不符的信息）的可能性。
• 增強可驗證性：用戶可以根據模型提供的細致引用驗證回答的真實性和準確性，從而提高模型輸出的可信度。
• 自動化數據構建：LongCite利用CoF（從粗到細）流程，自動生成帶有細粒度引用的高質量長文本問答數據，為模型訓練提供豐富的標注資源。
• 評測基準：LongCite引入LongBench-Cite評測基準，專門用于評估模型在長文本問答中生成引用的能力，包括引用的正確性和質量。

LongCite的技術原理

• 長文本處理能力：LongCite支持超長上下文窗口的大型語言模型（如GLM-4-9B-1M，Gemini 1.5等），能夠處理和理解數萬字的文本內容。
• 細致引用生成：LongCite訓練模型生成精確到句子級別的引用，使每個回答都能追溯到原文的具體句子，從而提升回答的可驗證性。
• 自動化數據構建流程（CoF）：通過自指導（Self-Instruct）方法，從長文本中自動生成問題和答案對。該流程從長文本中檢索與答案相關的句子塊，并生成塊級引用，隨后提取支持每個陳述的具體句子，以生成句子級引用。
• 監督式微調（Supervised Fine-Tuning， SFT）：基于CoF流程生成的帶有細粒度引用的高質量數據集對大型語言模型進行微調，以提升模型在長文本問答任務中的表現。

LongCite的項目地址

• GitHub倉庫：https://github.com/THUDM/LongCite
• HuggingFace模型庫：https://huggingface.co/THUDM
• arXiv技術論文：https://arxiv.org/pdf/2409.02897

LongCite的應用場景

• 學術研究：研究人員和學者可以使用LongCite查詢大量文獻資料，并獲取帶有引用的詳細答案，以支持其研究工作。
• 法律咨詢：法律專業人員利用LongCite分析法律文件，獲取具體的法律條款或案例引用，以輔助法律分析和案件研究。
• 金融分析：金融分析師和投資者借助LongCite理解復雜的金融報告和市場研究，獲取關鍵數據和趨勢的準確引用。
• 醫療咨詢：醫療專業人員依賴LongCite查詢醫學文獻，獲取基于最新研究成果的診斷和治療建議的引用。
• 新聞報道：記者和新聞機構使用LongCite驗證報道中的信息，確保發布的新聞內容準確無誤，并提供可靠的來源引用。

常見問題

• LongCite如何提高問答的可信性？通過生成細粒度的句子級引用，用戶可以直接核實模型的回答與原文的一致性，從而提高問答的可信性。
• LongCite支持哪些類型的文本？LongCite能夠處理超長上下文的文本，適用于各種長文本材料，例如學術論文、法律文件、金融報告等。
• 如何獲取LongCite的模型和數據？用戶可以通過訪問LongCite的GitHub倉庫和HuggingFace模型庫獲取相關模型和數據集。
• LongCite的應用范圍有哪些？LongCite適用于學術研究、法律咨詢、金融分析、醫療咨詢以及新聞報道等多個領域。