3140參數Grok-1推理加速3.8倍，PyTorch+HuggingFace版來了

AIGC動態歡迎閱讀

原標題：3140參數Grok-1推理加速3.8倍，PyTorch+HuggingFace版來了
關鍵字：騰訊,模型,參數,大小,量子
文章來源：量子位
內容字數：3445字

內容摘要：

明敏 發自 凹非寺量子位 | 公眾號 QbitAI馬斯克說到做到開源Grok-1，開源社區一片狂喜。
但基于Grok-1做改動or商用，都還有點難題：
Grok-1使用Rust+JAX構建，對于習慣Python+PyTorch+HuggingFace等主流軟件生態的用戶上手門檻高。
△圖注：Grok登上GitHub熱度榜世界第一Colossal-AI團隊最新成果，解大家燃眉之急，提供方便易用的Python+PyTorch+HuggingFace Grok-1，能將推理時延加速近4倍！
現在，模型已在HuggingFace、ModelScope上發布。
HuggingFace下載鏈接：https://huggingface.co/hpcai-tech/grok-1
ModelScope下載鏈接：https://www.modelscope.cn/models/colossalai/grok-1-pytorch/summary
性能優化結合Colossal-AI在AI大模型系統優化領域的豐富積累，已迅速支持對Grok-1的張量并行。
在單臺8H800 80GB服務器上，推理性能相比JAX、

原文鏈接：3140參數Grok-1推理加速3.8倍，PyTorch+HuggingFace版來了

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破