谷歌推出的評估大模型能力的基準測試

產品名稱：FACTS Grounding
產品簡介：FACTS Grounding是谷歌DeepMind推出的評估大型語言模型（LLMs）能力的基準測試，衡量模型根據給定上下文生成事實準確且無捏造信息的文本的能力。FACTS Grounding測試集包含1719個跨多個領域的示例，要求模型響應必須基于長達32000個token的文檔，涵蓋摘要、問答和改寫等任務。
詳細介紹：

FACTS Grounding是什么

FACTS Grounding是谷歌DeepMind推出的評估大型語言模型（LLMs）能力的基準測試，衡量模型根據給定上下文生成事實準確且無捏造信息的文本的能力。FACTS Grounding測試集包含1719個跨多個領域的示例，要求模型響應必須基于長達32000個token的文檔，涵蓋摘要、問答和改寫等任務。評估用Gemini、GPT-4o和Claude三款模型，分兩個階段：資格評估和事實準確性評估，增強模型的信任度和應用范圍。

FACTS Grounding的主要功能

• 評估語言模型的事實準確性：評估大型語言模型（LLMs）在給定上下文的情況下生成事實準確文本的能力。
• 避免“幻覺”（捏造信息）：測試模型是否能避免生成與給定文檔不相符的虛假信息，即“幻覺”。
• 長形式響應的評估：要求模型能夠處理長達32k令牌的文檔，并基于此生成長形式的響應。
• 多領域覆蓋：數據集覆蓋金融、科技、零售、醫療和法律等多個領域，評估模型在不同領域的應用能力。

FACTS Grounding的技術原理

• 長形式輸入處理：評估模型處理長達32k令牌的文檔的能力，要求模型能理解和合成長文本信息生成響應。
• 上下文相關性：模型生成與給定用戶提示和上下文文檔緊密相關的文本，確保響應完全基于提供的文檔內容。
• 自動化評審系統：用自動化評審模型（如Gemini 1.5 Pro、GPT-4o和Claude 3.5 Sonnet）評估生成的文本是否滿足用戶請求，且是否完全基于提供的文檔。
• 兩階段評估流程：
  • 資格評估：判斷模型的響應是否滿足用戶請求。
  • 事實準確性評估：評估響應是否完全基于提供的文檔，即評估是否存在“幻覺”（捏造信息）。
• 聚合評分機制：聚合多個評審模型的結果減少單一模型的偏見，提高評估的準確性和可靠性。

FACTS Grounding的項目地址

• 項目官網：https://deepmind.google/discover/blog/facts-grounding
• 技術論文：https://storage.googleapis.com/deepmind-media/FACTS/FACTS_grounding

FACTS Grounding的應用場景

• 信息檢索與問答系統：在問答系統中，根據給定的文檔或上下文提供準確的答案。
• 內容摘要與生成：模型生成文檔的摘要，理解長篇文檔并準確提煉關鍵信息。
• 文檔改寫與重述：在需要根據原始文檔重述或改寫內容的場景中，確保改寫后的內容保持事實的準確性。
• 自動化客戶服務：在客戶服務領域，提供基于特定信息或政策文檔的準確回答，提高服務效率和質量。
• 教育與研究：在教育領域，幫助學生和研究人員快速準確地獲取信息，輔助學習和研究工作。