英偉達新對話QA模型準確度超GPT-4，卻遭吐槽：無權重代碼意義不大

AIGC動態歡迎閱讀

原標題：英偉達新對話QA模型準確度超GPT-4，卻遭吐槽：無權重代碼意義不大
關鍵字：模型,研究者,數據,上下文,指令
文章來源：機器之心
內容字數：7875字

內容摘要：

機器之心報道
編輯：大盤雞、杜偉昨天，Meta、紐約大學的研究者用「自我獎勵方法」，讓大模型自己生成自己的微調數據，從而在 Llama 2 70B 的迭代微調后超越了 GPT-4。今天，英偉達的全新對話 QA 模型「ChatQA-70B」在不使用任何 GPT 模型數據的情況下，在 10 個對話 QA 數據集上的平均得分略勝于 GPT-4。一年多來，ChatGPT 及后續產品引發了生產和研究社區中構建問答（QA）模型的范式轉變。尤其是在實際應用中，QA 模型在以下情況成為首選：
用戶能夠以對話方式與 QA 模型進行交互，并可以輕松提出后續問題；
通才模型能夠以零樣本方式生成答案，無需針對數據集進行微調，同時媲美微調專家模型的準確度；
QA 模型能夠在開放域或長文檔設置中集成檢索到的證據塊，提供的上下文比 LLM 的上下文窗口長得多。
不過對于研究界而言，構建一個能夠媲美 GPT-4 等 SOTA 黑箱模型準確度的對話 QA 模型仍是一個巨大挑戰。
近日，在英偉達的一篇論文中，研究者提出了一個具有 GPT-4 級別準確度的白箱對話 QA 模型 ChatQA 70B。他們采用了兩階段指令調優

原文鏈接：英偉達新對話QA模型準確度超GPT-4，卻遭吐槽：無權重代碼意義不大

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺