三個程序員奮戰(zhàn)三天重寫推理堆棧，Grok-2 mini直接提速兩倍，馬斯克親發(fā)賀電

AIGC動態(tài)歡迎閱讀

原標題：三個程序員奮戰(zhàn)三天重寫推理堆棧，Grok-2 mini直接提速兩倍，馬斯克親發(fā)賀電
關鍵字：模型,吞吐量,語言,速度,系統(tǒng)
文章來源：機器之心
內(nèi)容字數(shù)：0字

內(nèi)容摘要：

機器之心報道
機器之心編輯部一直在用 Grok-2 的用戶可能察覺到，這兩天，它好像變快了：上周，xAI 發(fā)布了 Grok-2 機器人，并在 X 平臺上以每月 8 美元的價格提供服務。
用戶的感覺也不是錯覺，Grok-2 的兩個版本 Grok-2 和 Grok-2 mini（后者功能更弱但速度更快），確實都提高了分析信息和輸出回復的速度。
xAI 的開發(fā)人員 Igor Babuschkin 發(fā)布了一條動態(tài)，揭示了這次提速背后的原因：正如這條動態(tài)所說，他和 xAI 的另外兩名開發(fā)人員 Lianmin Zheng 和 Saeed Maleki 奮戰(zhàn)了三天，用 SGLang 重寫了推理技術棧。這次奮戰(zhàn)的結果很理想：在評價人工智能模型性能的第三方 Lmsys Chatbot Arena 排行榜更新中，Grok-2 主模型在 6686 次投票中獲得了 1293 分的成績。這使得 Grok-2 成為世界上最強人工智能模型中的第二名，與谷歌的 Gemini-1.5 Pro 模型并列，僅次于 OpenAI 的最新版本 ChatGPT-4o，且超越了 GPT-4o（2024 年 5 月）。圖源：ht

原文鏈接：三個程序員奮戰(zhàn)三天重寫推理堆棧，Grok-2 mini直接提速兩倍，馬斯克親發(fā)賀電

聯(lián)系作者

文章來源：機器之心
作者微信：
作者簡介：