LongCite

LongCite是什么

LongCite是清華大學(xué)推出的一項創(chuàng)新項目，旨在提高大型語言模型（LLMs）在處理長文本問答任務(wù)時的可信性和可驗證性。該項目通過生成細致的句子級引用，使用戶能夠核實模型的回答是否準(zhǔn)確。其核心組成部分包括LongBench-Cite評估基準(zhǔn)、CoF自動化數(shù)據(jù)構(gòu)建流程、LongCite-45k數(shù)據(jù)集，以及基于該數(shù)據(jù)集訓(xùn)練的LongCite-8B和LongCite-9B模型。這些模型能夠理解長篇內(nèi)容并提供準(zhǔn)確的回答，附帶直接可查閱的文本引用，從而增強信息的透明度與可靠性。

LongCite的主要功能

• 細致引用生成：LongCite允許語言模型在回答長文本問題時生成精確到句子級別的引用，使用戶能直接追溯到原文的具體內(nèi)容。
• 提升回答的準(zhǔn)確性：LongCite確保模型的回答更忠實于原文，減少模型產(chǎn)生“幻覺”（即生成與原文不符的信息）的可能性。
• 增強可驗證性：用戶可以根據(jù)模型提供的細致引用驗證回答的真實性和準(zhǔn)確性，從而提高模型輸出的可信度。
• 自動化數(shù)據(jù)構(gòu)建：LongCite利用CoF（從粗到細）流程，自動生成帶有細粒度引用的高質(zhì)量長文本問答數(shù)據(jù)，為模型訓(xùn)練提供豐富的標(biāo)注資源。
• 評測基準(zhǔn)：LongCite引入LongBench-Cite評測基準(zhǔn)，專門用于評估模型在長文本問答中生成引用的能力，包括引用的正確性和質(zhì)量。

LongCite的技術(shù)原理

• 長文本處理能力：LongCite支持超長上下文窗口的大型語言模型（如GLM-4-9B-1M，Gemini 1.5等），能夠處理和理解數(shù)萬字的文本內(nèi)容。
• 細致引用生成：LongCite訓(xùn)練模型生成精確到句子級別的引用，使每個回答都能追溯到原文的具體句子，從而提升回答的可驗證性。
• 自動化數(shù)據(jù)構(gòu)建流程（CoF）：通過自指導(dǎo)（Self-Instruct）方法，從長文本中自動生成問題和答案對。該流程從長文本中檢索與答案相關(guān)的句子塊，并生成塊級引用，隨后提取支持每個陳述的具體句子，以生成句子級引用。
• 監(jiān)督式微調(diào)（Supervised Fine-Tuning， SFT）：基于CoF流程生成的帶有細粒度引用的高質(zhì)量數(shù)據(jù)集對大型語言模型進行微調(diào)，以提升模型在長文本問答任務(wù)中的表現(xiàn)。

LongCite的項目地址

• GitHub倉庫：https://github.com/THUDM/LongCite
• HuggingFace模型庫：https://huggingface.co/THUDM
• arXiv技術(shù)論文：https://arxiv.org/pdf/2409.02897

LongCite的應(yīng)用場景

• 學(xué)術(shù)研究：研究人員和學(xué)者可以使用LongCite查詢大量文獻資料，并獲取帶有引用的詳細答案，以支持其研究工作。
• 法律咨詢：法律專業(yè)人員利用LongCite分析法律文件，獲取具體的法律條款或案例引用，以輔助法律分析和案件研究。
• 金融分析：金融分析師和投資者借助LongCite理解復(fù)雜的金融報告和市場研究，獲取關(guān)鍵數(shù)據(jù)和趨勢的準(zhǔn)確引用。
• 醫(yī)療咨詢：醫(yī)療專業(yè)人員依賴LongCite查詢醫(yī)學(xué)文獻，獲取基于最新研究成果的診斷和治療建議的引用。
• 新聞報道：記者和新聞機構(gòu)使用LongCite驗證報道中的信息，確保發(fā)布的新聞內(nèi)容準(zhǔn)確無誤，并提供可靠的來源引用。

常見問題

• LongCite如何提高問答的可信性？通過生成細粒度的句子級引用，用戶可以直接核實模型的回答與原文的一致性，從而提高問答的可信性。
• LongCite支持哪些類型的文本？LongCite能夠處理超長上下文的文本，適用于各種長文本材料，例如學(xué)術(shù)論文、法律文件、金融報告等。
• 如何獲取LongCite的模型和數(shù)據(jù)？用戶可以通過訪問LongCite的GitHub倉庫和HuggingFace模型庫獲取相關(guān)模型和數(shù)據(jù)集。
• LongCite的應(yīng)用范圍有哪些？LongCite適用于學(xué)術(shù)研究、法律咨詢、金融分析、醫(yī)療咨詢以及新聞報道等多個領(lǐng)域。