AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：3140參數(shù)Grok-1推理加速3.8倍，PyTorch+HuggingFace版來(lái)了
關(guān)鍵字：騰訊,模型,參數(shù),大小,量子
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：3445字

內(nèi)容摘要：

明敏 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI馬斯克說(shuō)到做到開(kāi)源Grok-1，開(kāi)源社區(qū)一片狂喜。
但基于Grok-1做改動(dòng)or商用，都還有點(diǎn)難題：
Grok-1使用Rust+JAX構(gòu)建，對(duì)于習(xí)慣Python+PyTorch+HuggingFace等主流軟件生態(tài)的用戶(hù)上手門(mén)檻高。
△圖注：Grok登上GitHub熱度榜世界第一Colossal-AI團(tuán)隊(duì)最新成果，解大家燃眉之急，提供方便易用的Python+PyTorch+HuggingFace Grok-1，能將推理時(shí)延加速近4倍！
現(xiàn)在，模型已在HuggingFace、ModelScope上發(fā)布。
HuggingFace下載鏈接：https://huggingface.co/hpcai-tech/grok-1
ModelScope下載鏈接：https://www.modelscope.cn/models/colossalai/grok-1-pytorch/summary
性能優(yōu)化結(jié)合Colossal-AI在AI大模型系統(tǒng)優(yōu)化領(lǐng)域的豐富積累，已迅速支持對(duì)Grok-1的張量并行。
在單臺(tái)8H800 80GB服務(wù)器上，推理性能相比JAX、

原文鏈接：3140參數(shù)Grok-1推理加速3.8倍，PyTorch+HuggingFace版來(lái)了

聯(lián)系作者

文章來(lái)源：量子位
作者微信：QbitAI
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破