PyTorch 2.2大更新！集成FlashAttention-2，性能提升2倍

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：PyTorch 2.2大更新！集成FlashAttention-2，性能提升2倍
關(guān)鍵字：版本,內(nèi)核,性能,分布式,多維
文章來(lái)源：新智元
內(nèi)容字?jǐn)?shù)：5180字

內(nèi)容摘要：

新智元報(bào)道編輯：alan
【新智元導(dǎo)讀】新的一年，PyTorch也迎來(lái)了重大更新，PyTorch 2.2集成了FlashAttention-2和AOTInductor等新特性，計(jì)算性能翻倍。新的一年，PyTorch也迎來(lái)了重大更新！
繼去年十月份的PyTorch大會(huì)發(fā)布了2.1版本之后，全世界各地的521位開(kāi)發(fā)者貢獻(xiàn)了3628個(gè)提交，由此形成了最新的PyTorch 2.2版本。
新的版本集成了FlashAttention-2，使得scaled_dot_product_attention （SDPA）相較于之前的版本有了約2倍的性能提升。
PyTorch 2.2還引入了一個(gè)新的TorchInductor提前擴(kuò)展，稱為 AOTInductor，旨在為非python服務(wù)器端編譯和部署PyTorch程序。
PyTorch中的torch.distributed支持了一個(gè)叫做device_mesh的新抽象，用于初始化和表示ProcessGroups。
另外，PyTorch 2.2提供了一個(gè)標(biāo)準(zhǔn)化的、可配置的日志記錄機(jī)制，——TORCH_LOGS。
PyTorch 2.2還對(duì)torch.compi

原文鏈接：PyTorch 2.2大更新！集成FlashAttention-2，性能提升2倍

聯(lián)系作者

文章來(lái)源：新智元
作者微信：AI_era
作者簡(jiǎn)介：智能+中國(guó)主平臺(tái)，致力于推動(dòng)中國(guó)從互聯(lián)網(wǎng)+邁向智能+新紀(jì)元。重點(diǎn)關(guān)注人工智能、機(jī)器人等前沿領(lǐng)域發(fā)展，關(guān)注人機(jī)融合、人工智能和機(jī)器人對(duì)人類社會(huì)與文明進(jìn)化的影響，領(lǐng)航中國(guó)新智能時(shí)代。