運(yùn)行LIama2得8400萬(wàn)元！最快AI推理芯片成本推算引熱議

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：運(yùn)行LIama2得8400萬(wàn)元！最快AI推理芯片成本推算引熱議
關(guān)鍵字：騰訊,芯片,模型,價(jià)格,峰會(huì)
文章來(lái)源：量子位
內(nèi)容字?jǐn)?shù)：3617字

內(nèi)容摘要：

白交 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI想實(shí)現(xiàn)史上最快大模型推理，得要1171萬(wàn)美元（8410萬(wàn)元）？？？
同等項(xiàng)目下，使用英偉達(dá)GPU成本只需30萬(wàn)美元……
關(guān)于最強(qiáng)AI芯片易主Groq，可能得讓再飛一會(huì)兒了。
這兩天，Groq驚艷亮相。它以號(hào)稱“性價(jià)比高英偉達(dá)100倍”的芯片，實(shí)現(xiàn)每秒500tokens大模型生成，感受不到任何延遲。外加谷歌TPU團(tuán)隊(duì)這樣一個(gè)高精尖人才Buff，讓不少人直呼：英偉達(dá)要被碾壓了……
喧囂過(guò)后開始出現(xiàn)一些理智討論，其中主要還是針對(duì)Groq的效益成本問(wèn)題。
網(wǎng)友粗略一算，現(xiàn)在演示Demo就需要568塊芯片，花費(fèi)1171萬(wàn)美元。
于是乎，業(yè)內(nèi)業(yè)外各界人士不約而同地展開了一場(chǎng)算術(shù)。
甚至出現(xiàn)了位分析師，拿著表格現(xiàn)身說(shuō)法……
并感嘆了句：OK，everybody is doing public math this week.
不過(guò)Groq也第一時(shí)間在社交網(wǎng)絡(luò)上進(jìn)行了回應(yīng)。
“每個(gè)人都在做數(shù)學(xué)”參與到Groq成本問(wèn)題討論的，有計(jì)算機(jī)學(xué)生，也有同提供推理服務(wù)的云廠商，甚至還有Groq前員工大戰(zhàn)現(xiàn)員工……好不熱鬧。
摘取幾個(gè)有代表性的，我們來(lái)看看大家

原文鏈接：運(yùn)行LIama2得8400萬(wàn)元！最快AI推理芯片成本推算引熱議

聯(lián)系作者

文章來(lái)源：量子位
作者微信：QbitAI
作者簡(jiǎn)介：追蹤人工智能新趨勢(shì)，關(guān)注科技行業(yè)新突破