SimpleQA是OpenAI推出的一款基準測試工具，旨在評估大型語言模型在回答簡短、基于事實的問題上的能力。該工具包含4326個設計獨特的問題，每個問題都有唯一的正確答案，便于評分。盡管面向最先進的大型語言模型，如o1-preview和Claude Sonnet 3.5，SimpleQA的挑戰性仍然很高，這些模型的準確率不足50%。所有問題經過兩位標注員的驗證，以確保參的準確性和時效性。SimpleQA不僅可以評估模型的事實性回答能力，還能夠測量模型的自我評估能力，從而推動更可靠和可信賴的語言模型的發展。

SimpleQA是什么

SimpleQA是由OpenAI推出的一個基準測試平臺，專門用于評估大型語言模型在解答簡短、尋求事實問題時的表現。該測試包含4326個問題，問題設計為僅存在一個正確答案，極易進行評分。SimpleQA以其高難度著稱，即使是當前最先進的模型如o1-preview和Claude Sonnet 3.5的準確率也低于50%。所有問題經過兩名標注員的驗證，確保參的準確性和時效性。通過SimpleQA，可以有效評估模型在回答事實性問題方面的能力，并測量其自我認知水平，以及對自己回答準確性的自我評估能力。SimpleQA的數據集涵蓋多個主題，包括歷史、科學及藝術等，致力于推動更為可靠和可信賴的語言模型的發展。

主要功能

• 評估事實性回答能力： SimpleQA專注于測試語言模型在回答簡短、基于事實的問題時的能力，問題均設計為僅有一個正確答案。
• 挑戰性問題設計： 問題通過對抗性收集，針對如GPT-4等前沿模型，確保測試的高挑戰性。
• 易于評分： 問題的設計使得答案易于評定，答案被分類為正確、錯誤或未嘗試。
• 模型自我認知評估： 評估模型是否具備“知道自己知道什么”的能力，衡量其自我認知水平。
• 校準測量： 評估模型對回答準確性的自信程度，以判斷模型是否能夠準確評估其回答。

技術原理

• 數據收集與驗證： 由AI訓練師創建問題和答案對，并由另一名AI訓練師驗證答案，確保一致性和準確性。
• 高標準問題篩選： 所有問題需滿足特定標準，包括單一答案、答案隨時間不變、有證據支持、具挑戰性，并且截至2023年可回答。
• 質量控制： 通過ChatGPT分類器檢測問題是否違反標準，以提高問題質量。
• 多樣性和覆蓋： 基于ChatGPT對問題主題和答案類型的分類，確保數據集的多樣性。
• 評分機制： 利用提示的ChatGPT分類器對模型的回答進行評分，判斷其正確性、錯誤性或未嘗試性。
• 性能評估： 比較模型在SimpleQA上的表現，評估其在回答事實性問題方面的能力。
• 校準評估： 詢問模型對其答案的置信度，并與實際準確性進行對比，評估模型的校準能力。

項目地址

• 項目官網：openai.com/index/introducing-simpleqa
• GitHub倉庫：https://github.com/openai/simple-evals/
• 技術論文：https://cdn.openai.com/papers/simpleqa.pdf

應用場景

• 模型開發與測試： 開發者可以利用SimpleQA來測試和對比不同語言模型的性能，特別是在處理事實性問題的準確性和可靠性方面。
• 研究與學術： 研究人員可通過SimpleQA探索和發表關于語言模型在事實性回答能力方面的研究，推動自然語言處理領域的學術發展。
• 教育工具： 在教育領域，該工具可用作評估教學輔助工具性能的手段，幫助教師了解并選擇最適合學生學習需求的語言模型。
• 信息檢索系統： 在構建或優化搜索引擎和信息檢索系統時，SimpleQA可用于評估和提升系統對用戶查詢的響應質量和準確性。
• 問答系統： 對于問答系統的開發，SimpleQA提供標準化的測試集，以幫助開發者評估和改善系統的回答質量。