為AI加速而生：英特爾的至強(qiáng)，現(xiàn)在能跑200億參數(shù)大模型了

AIGC動態(tài)2年前 (2023)發(fā)布機(jī)器之心

AIGC動態(tài)歡迎閱讀

原標(biāo)題：為AI加速而生：英特爾的至強(qiáng)，現(xiàn)在能跑200億參數(shù)大模型了
關(guān)鍵字：英特爾,性能,處理器,模型,負(fù)載
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：8487字

內(nèi)容摘要：

機(jī)器之心報道
編輯：澤南實用化 AI 算力又升上了一個新臺階。
在人工智能的應(yīng)用領(lǐng)域，出現(xiàn)了一些讓人始料未及的趨勢：很多傳統(tǒng)企業(yè)開始選擇在 CPU 平臺上落地和優(yōu)化 AI 應(yīng)用。
例如制造領(lǐng)域在高度精細(xì)且較為耗時的瑕疵檢測環(huán)節(jié)，就導(dǎo)入了 CPU 及其他產(chǎn)品組合，來構(gòu)建橫跨「云-邊-端」的 AI?缺陷檢測方案，代替?zhèn)鹘y(tǒng)的人工瑕疵檢測方式。
再比如亞信科技就在自家 OCR-AIRPA 方案中采用了 CPU 作為硬件平臺，實現(xiàn)了從 FP32 到 INT8/BF16 的量化，從而在可接受的精度損失下，增加吞吐量并加速推理。將人工成本降至原來的 1/5 到 1/9，效率還提升了約 5-10 倍。
在處理 AI 制藥領(lǐng)域最重要的算法——AlphaFold2 這類大型模型上，CPU 同樣也「加入群聊」。從去年開始，CPU 便使 AlphaFold2 端到端的通量提升到了原來的 23.11 倍；而現(xiàn)如今，CPU 讓這個數(shù)值再次提升 3.02 倍。
上述這些 CPU，都有個共同的名字——至強(qiáng)，即英特爾? 至強(qiáng)? 可擴(kuò)展處理器。
為什么這些 AI 任務(wù)的推理能用 CPU，而不是只考慮由 GPU 或 AI

原文鏈接：為AI加速而生：英特爾的至強(qiáng)，現(xiàn)在能跑200億參數(shù)大模型了