350億參數(shù)、開放權重，Transformer作者創(chuàng)業(yè)后推出新大模型

AIGC動態(tài)歡迎閱讀

原標題：350億參數(shù)、開放權重，Transformer作者創(chuàng)業(yè)后推出新大模型
關鍵字：模型,報告,上下文,語言,工具
文章來源：機器之心
內(nèi)容字數(shù)：4628字

內(nèi)容摘要：

機器之心報道
編輯：杜偉開源大語言模型宇宙又來了一個強勁對手。Transformer 作者參與創(chuàng)立的 Cohere 公司推出的大模型Command-R 在可擴展、RAG和工具使用三個方面具有顯著的優(yōu)勢。今天，由 Transformer 作者之一 Aidan Gomez 參與創(chuàng)立的人工智能初創(chuàng)公司 Cohere 迎來了自家大模型的發(fā)布。
Cohere 推出的模型名為「Command-R」，參數(shù)量為 35B，它是一個針對大規(guī)模生產(chǎn)工作負載的全新大語言模型研究版本。該模型屬于「可擴展」模型類別，能夠平衡高效率和高精度， 使企業(yè)用戶超越概念驗證，進入生產(chǎn)階段。作為一種生成模型，Command-R 針對檢索增強生成（RAG）等長上下文任務以及使用外部 API 和工具進行了優(yōu)化。該模型旨在與自家行業(yè)領先的嵌入（Embed）和重新排序（Rerank）模型配合使用，為 RAG 應用程序提供一流的集成，并在企業(yè)用例中具有出色表現(xiàn)。
就其架構而言，Command-R 是一種使用優(yōu)化后 transformer 架構的自回歸語言模型。在預訓練后，模型使用監(jiān)督微調(diào)（SFT）和偏好訓練使自身與人類偏好保持一致，并

原文鏈接：350億參數(shù)、開放權重，Transformer作者創(chuàng)業(yè)后推出新大模型

聯(lián)系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務平臺