32K上下文，Mistral 7B v0.2 基模型突然開源了

AIGC動態歡迎閱讀

原標題：32K上下文，Mistral 7B v0.2 基模型突然開源了
關鍵字：模型,微軟,人工智能,智能,公司
文章來源：機器之心
內容字數：3478字

內容摘要：

機器之心報道
編輯：蛋醬剛剛，Mistral AI 的模型又更新了。
這次開源一如既往地「突然」，是在一個叫做 Cerebral Valley 的黑客松活動上公布的。PPT 一翻頁，全場都舉起了手機拍照：這次開源的 Mistral 7B v0.2 Base Model ，是 Mistral-7B-Instruct-v0.2 背后的原始預訓練模型，后者屬于該公司的「Mistral Tiny」系列。
此次更新主要包括三個方面：
將 8K 上下文提到了 32K；
Rope Theta = 1e6；
取消滑動窗口。下載鏈接：https://models.mistralcdn.com/mistral-7b-v0-2/mistral-7B-v0.2.tar
更新之后的性能對比是這樣的：場外觀眾迅速跟進。有人評價說：「Mistral 7B 已經是同尺寸級別中最好的模型，這次改進是一個巨大的進步。 我將盡快在這個模型上重新訓練當前的許多微調。」Mistral AI 的第一個 7B 模型發布于 2023 年 9 月，在多個基準測試中實現了優于 Llama 2 13B 的好成績，讓 Mistral AI

原文鏈接：32K上下文，Mistral 7B v0.2 基模型突然開源了

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺