AI芯片競爭白熱化!Meta官宣最新AI推理芯片!性能提升300%,支撐Llama高負載計算
AIGC動態(tài)歡迎閱讀
原標(biāo)題:AI芯片競爭白熱化!Meta官宣最新AI推理芯片!性能提升300%,支撐Llama高負載計算
關(guān)鍵字:芯片,硬件,模型,編譯器,方面
文章來源:夕小瑤科技說
內(nèi)容字?jǐn)?shù):3433字
內(nèi)容摘要:
夕小瑤科技說 原創(chuàng)作者 | Zicy在算力為王的大模型時代,AI技術(shù)“三巨頭”:微軟,谷歌,Meta,在自研芯片領(lǐng)域卷的是熱火朝天。
最早是微軟,在去年宣布基于臺積電5nm技術(shù)制造了Azure Maia 100及Azure Cobalt 100芯片。前幾天,谷歌也發(fā)布了自研數(shù)據(jù)中心芯片Axion,以應(yīng)對高昂的AI競賽成本。
這次Meta又有了大動作,發(fā)布第二代芯片Meta Training and Inference Accelerator v2(MTIAv2)。
話不多說,先來看看MTIAv2的硬件表現(xiàn)。
容量、計算、帶寬翻倍在工藝和性能方面,相比于Meta去年5月推出的MTIAv1采用的臺積電7nm芯片,MTIAv2則換上了臺積電5nm芯片,頻率從800MHz提升到1.35GHz,稠密算力達到上一代的近3.5倍,稀疏算力達到上一代的近7倍,INT8精度下達到708TFLOPS。
這主要得益于稀疏計算的流水線相關(guān)的體系結(jié)構(gòu)的改進,以及本地PE存儲、片上SRAM以及LPDDR5容量的翻倍,并將其帶寬增加到3.5倍。
能耗方面,從25W提升到了90W。值得一提的是,英偉達H100的功耗約
原文鏈接:AI芯片競爭白熱化!Meta官宣最新AI推理芯片!性能提升300%,支撐Llama高負載計算
聯(lián)系作者
文章來源:夕小瑤科技說
作者微信:xixiaoyaoQAQ
作者簡介:專業(yè)、有趣、深度價值導(dǎo)向的科技媒體。聚集30萬AI工程師、研究員,覆蓋500多家海內(nèi)外機構(gòu)投資人,互聯(lián)網(wǎng)大廠中高管和AI公司創(chuàng)始人。一線作者來自清北、國內(nèi)外頂級AI實驗室和大廠,兼?zhèn)涿翡J的行業(yè)嗅覺和洞察深度。商務(wù)合作:zym5189