Groq發(fā)布超快LLM引擎，速度讓英偉達(dá)望塵莫及

AIGC動態(tài)歡迎閱讀

原標(biāo)題：Groq發(fā)布超快LLM引擎，速度讓英偉達(dá)望塵莫及
關(guān)鍵字：語音,模型,開發(fā)者,速度,引擎
文章來源：AI范兒
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

點(diǎn)擊上方藍(lán)字關(guān)注我們“Groq公司最新推出的LLM引擎在速度和智能化方面取得突破，其響應(yīng)速度達(dá)到每秒1256.54個token，遠(yuǎn)超Nvidia GPU，為AI應(yīng)用部署提供了新的選擇。Groq公司在AI領(lǐng)域取得了顯著進(jìn)展，其最新推出的大型語言模型（LLM）引擎在速度和智能化方面實(shí)現(xiàn)了重大突破。Groq上周低調(diào)發(fā)布了這項新功能，其響應(yīng)速度達(dá)到了每秒1256.54個token，這一速度幾乎是即時的，且據(jù)Groq稱，是Nvidia等公司的GPU芯片所無法匹敵的。
Groq的這一成就標(biāo)志著AI處理能力的一個新里程碑。公司網(wǎng)站引擎默認(rèn)使用的是Meta公司的開源Llama3-8b-8192 LLM，用戶還可以選擇更大的Llama3-70b，以及一些Gemma（Google）和Mistral模型，未來還將支持更多模型。這種快速且靈活的體驗(yàn)對于開發(fā)者和普通用戶來說都非常重要，它展示了LLM機(jī)器人的潛力。
Groq的CEO Jonathan Ross在接受《華爾街日報》采訪時表示，一旦人們發(fā)現(xiàn)在Groq的快速引擎上使用LLM是多么容易，LLM的使用率將會進(jìn)一步提高。例如，在一次演示中，Groq幾乎是

原文鏈接：Groq發(fā)布超快LLM引擎，速度讓英偉達(dá)望塵莫及

聯(lián)系作者

文章來源：AI范兒
作者微信：AI_Insights
作者簡介：AI領(lǐng)域四大媒體之一。 智能未來，始于Prompt！