AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：老黃給H100“打雞血”：英偉達(dá)推出大模型加速包，Llama2推理速度翻倍

關(guān)鍵字：模型,公告,速度,批處理,量子

文章來(lái)源：量子位

內(nèi)容字?jǐn)?shù)：3838字

內(nèi)容摘要：克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI大模型的推理速度，僅僅一個(gè)月就提高了一倍！英偉達(dá)近日官宣給H100推出了“雞血包”——專(zhuān)用于LLM推理的加速程序。或許這下可以不用空等明年才能交付的GH200了。GPU的運(yùn)算能力一直影響著大模型的表現(xiàn)，無(wú)論是硬件提供者還是使用者都希望能算得更快些。而作為大模型背后硬件的最大供應(yīng)商，英偉達(dá)一直在研究怎么給大模型硬件加速。通過(guò)與多家AI公司合作，英偉…

原文鏈接：點(diǎn)此閱讀原文：老黃給H100“打雞血”：英偉達(dá)推出大模型加速包，Llama2推理速度翻倍

聯(lián)系作者

文章來(lái)源：量子位

作者微信：QbitAI

作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破