基于牛頓求根法，新算法實現(xiàn)并行訓(xùn)練和評估RNN，帶來超10倍增速

AIGC動態(tài)歡迎閱讀

原標(biāo)題：基于牛頓求根法，新算法實現(xiàn)并行訓(xùn)練和評估RNN，帶來超10倍增速

關(guān)鍵字：序列,算子,矩陣,模型,方法

文章來源：機(jī)器之心

內(nèi)容字?jǐn)?shù)：7120字

內(nèi)容摘要：機(jī)器之心報道編輯：Panda W人們普遍認(rèn)為 RNN 是無法并行化的，因為其本質(zhì)上的序列特性：其狀態(tài)依賴于前一狀態(tài)。這使得人們難以用長序列來訓(xùn)練 RNN。近日，一種新算法的出現(xiàn)打破了這一慣常認(rèn)知，可以并行化 RNN 和 NeuralODE 等非線性序列模型的評估和訓(xùn)練，從而為相關(guān)研究和開發(fā)帶來顯著的速度提升。過去十年來，深度學(xué)習(xí)領(lǐng)域發(fā)展迅速，其一大主要推動力便是并行化。通過 GPU 和 TPU 等…

原文鏈接：點此閱讀原文：基于牛頓求根法，新算法實現(xiàn)并行訓(xùn)練和評估RNN，帶來超10倍增速

聯(lián)系作者

文章來源：機(jī)器之心

作者微信：almosthuman2014

作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺