微軟發布 Orca 2 LLM，表現優于 10 倍參數模型

AIGC動態歡迎閱讀

原標題：微軟發布 Orca 2 LLM，表現優于 10 倍參數模型
關鍵字：解讀,模型,提示,老師,基準
文章來源：AI前線
內容字數：2887字

內容摘要：

作者 | Anthony Alford 譯者 | 明知山 策劃 | 丁曉昀
微軟發布 Orca 2 LLM，這是 Llama 2 的一個調優版本，性能與包含 10 倍參數的模型相當，甚至更好。Orca 2 使用了一個合成訓練數據集和一項稱為 Prompt Erasure（提示詞擦除） 的新技術來實現這一性能。
Orca 2 使用了師生模式的訓練方案，其中一個較大、較強的 LLM 作為另一個較小的 LLM（學生）的老師，老師的目標是提升學生的性能，使其與更大模型的性能相媲美。微軟的訓練技術教會較小的模型多種推理技巧，并教其如何為特定任務選擇最有效的技巧。為此，老師被賦予了復雜的提示詞來觸發某種推理行為。不過，在一種被稱為 Prompt Erasure 的方案中，學生只得到任務要求和期望的響應，而不是老師的提示詞。在基準測試中，一個擁有 13B 參數的 Orca 2 模型的表現超過了一個 13B 參數的基準 Llama 2 模型，提升了 47.54%。而一個擁有 7B 參數的 Orca 2 模型在推理任務方面與一個擁有 70B 參數的 Llama 2 模型相當，甚至更好。
盡管像 Cha

原文鏈接：微軟發布 Orca 2 LLM，表現優于 10 倍參數模型

聯系作者

文章來源：AI前線
作者微信：ai-front
作者簡介：面向AI愛好者、開發者和科學家，提供AI領域技術資訊、一線業界實踐案例、搜羅整理業界技術分享干貨、AI論文解讀。每周一節技術分享公開課，助力你全面擁抱人工智能技術。