深度網(wǎng)絡(luò)數(shù)據(jù)編碼新突破，上交大SPARK登上計(jì)算機(jī)體系結(jié)構(gòu)頂會(huì)

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：深度網(wǎng)絡(luò)數(shù)據(jù)編碼新突破，上交大SPARK登上計(jì)算機(jī)體系結(jié)構(gòu)頂會(huì)
關(guān)鍵字：精度,模型,數(shù)據(jù),方案,硬件
文章來(lái)源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：9417字

內(nèi)容摘要：

機(jī)器之心專欄
機(jī)器之心編輯部隨著深度神經(jīng)網(wǎng)絡(luò)（DNNs）模型在規(guī)模和復(fù)雜性上的迅速增長(zhǎng)，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)處理方法面臨著嚴(yán)峻的挑戰(zhàn)。現(xiàn)有的神經(jīng)網(wǎng)絡(luò)壓縮技術(shù)在處理參數(shù)規(guī)模大、精度要求高的神經(jīng)網(wǎng)絡(luò)模型時(shí)效率低下，無(wú)法滿足現(xiàn)有應(yīng)用的需求。
數(shù)值量化是神經(jīng)網(wǎng)絡(luò)模型壓縮的一種有效手段。在模型推理過(guò)程中，低位寬（比特）數(shù)據(jù)的存取和計(jì)算可以大幅度節(jié)省存儲(chǔ)空間、訪存帶寬與計(jì)算負(fù)載，從而降低推理延遲和能耗。當(dāng)前，大多數(shù)量化技術(shù)的位寬在 8bit。更為激進(jìn)的量化算法，必須要修改硬件的操作粒度與數(shù)據(jù)流特征，才能在真實(shí)推理時(shí)獲得接近理論的收益。比如混合精度量化，激活數(shù)據(jù)的量化等方案。一方面，這些方案會(huì)顯式增加 book-keeping 存儲(chǔ)開銷和硬件邏輯，使得實(shí)際收益下降 [1,2,3]。另一方面，一些方案利用分布特征對(duì)量化范圍和粒度做約束，來(lái)減小上述硬件開銷 [4,5]。但其精度損失也受到不同模型和參數(shù)分布的影響，無(wú)法滿足現(xiàn)有應(yīng)用的需求。
為此，本文的研究者提出了 SPARK 技術(shù)，一種可擴(kuò)展細(xì)粒度混合精度編碼的軟硬件協(xié)同設(shè)計(jì)。其核心優(yōu)勢(shì)如下：
固有比特冗余：SPARK 不對(duì)模型進(jìn)行壓縮，而是剔除數(shù)據(jù)表示中固有

原文鏈接：深度網(wǎng)絡(luò)數(shù)據(jù)編碼新突破，上交大SPARK登上計(jì)算機(jī)體系結(jié)構(gòu)頂會(huì)

聯(lián)系作者

文章來(lái)源：機(jī)器之心
作者微信：almosthuman2014
作者簡(jiǎn)介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺(tái)