微軟教小模型推理進階版：Orca 2性能媲美10倍參數模型，已開源

AIGC動態歡迎閱讀

原標題：微軟教小模型推理進階版：Orca 2性能媲美10倍參數模型，已開源

關鍵字：模型,研究者,任務,能力,策略

文章來源：機器之心

內容字數：7673字

內容摘要：機器之心報道機器之心編輯部站在巨人的肩膀上會讓你看的更遠，而通過讓大規模語言模型來「教」較小規模的語言模型進行推理，也會是事半功倍的效果。如你我所見，像 GPT-4、PaLM 等前沿語言模型已經展現了出色的推理能力，例如回答復雜問題、生成解釋，甚至解決需要多步推理的問題，這些能力曾被認為是 AI 無法達到的。這樣的能力在較小的語言模型中并不明顯，因此現在的挑戰就是如何利用對大型語言模型不斷增長的知識，進而提升較小模型的能力。之前微軟研究院推出了 Orca，它是擁有 130 億參數的語言模型，通過模仿更強大 LLM 的逐步推理過程，展現了強大的推理能力。現在研究者再接再厲推出了 Orca 2，繼續探索如何通過改進訓練信號來提升較小語言模型的推理能力。論文地址：https://arxiv.org/pdf/2311.11045.pdfHugging Face 地址 1：https://huggi…

原文鏈接：點此閱讀原文：微軟教小模型推理進階版：Orca 2性能媲美10倍參數模型，已開源

聯系作者

文章來源：機器之心

作者微信：almosthuman2014

作者簡介：專業的人工智能媒體和產業服務平臺