<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        Yandex 開源?LLM 訓(xùn)練工具,可節(jié)省高達?20% 的?GPU 資源

        AIGC動態(tài)1年前 (2024)發(fā)布 AI前線
        363 0 0

        Yandex 開源?LLM 訓(xùn)練工具,可節(jié)省高達?20% 的?GPU 資源

        AIGC動態(tài)歡迎閱讀

        原標題:Yandex 開源?LLM 訓(xùn)練工具,可節(jié)省高達?20% 的?GPU 資源
        關(guān)鍵字:華為,小米,字節(jié)跳動,模型,通信
        文章來源:AI前線
        內(nèi)容字數(shù):0字

        內(nèi)容摘要:


        2024 年 6 月 11 日,莫斯科跨國科技公司 Yandex 最近推出了一種用于訓(xùn)練大型語言模型 (LLM) 的開源方法 YaFSDP, 用于增強 GPU 通信并減少 LLM 訓(xùn)練中的內(nèi)存使用量。
        LLM 訓(xùn)練依賴于組織成集群的大量 GPU,互連的圖形處理器陣列可以執(zhí)行訓(xùn)練具有數(shù)十億個參數(shù)的模型所需的大量計算。在集群中的處理器之間分配計算需要不斷通信,這通常會成為“瓶頸”,減慢訓(xùn)練過程并導(dǎo)致計算能力的低效使用。
        為了克服這一瓶頸,Yandex 開發(fā)人員創(chuàng)建了 YaFSDP,來改善 GPU 通信并優(yōu)化學(xué)習(xí)速度和性能的方法。
        YaFSDP 的工作原理是消除 GPU 通信效率低下的問題,從而優(yōu)化網(wǎng)絡(luò)使用率并減少內(nèi)存負載。它確保訓(xùn)練時只需要必要的處理器內(nèi)存,并使 GPU 交互不間斷,從而促進進一步的優(yōu)化,例如最大限度地減少處理器通信時間。這可以顯著提高性能和內(nèi)存效率。
        YaFSDP 是 FSDP 的增強版,在 LLM 訓(xùn)練中最耗通信的階段(如預(yù)訓(xùn)練、對齊和微調(diào))中,其表現(xiàn)優(yōu)于 FSDP (Fully Sharded Data Parallel,全切片數(shù)據(jù)并行)方法。
        官方表示,與 FSDP


        原文鏈接:Yandex 開源?LLM 訓(xùn)練工具,可節(jié)省高達?20% 的?GPU 資源

        聯(lián)系作者

        文章來源:AI前線
        作者微信:ai-front
        作者簡介:面向AI愛好者、開發(fā)者和科學(xué)家,提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實踐案例,助你全面擁抱AIGC。

        閱讀原文
        ? 版權(quán)聲明
        蟬鏡AI數(shù)字人

        相關(guān)文章

        蟬鏡AI數(shù)字人

        暫無評論

        暫無評論...
        主站蜘蛛池模板: 国产精品亚洲а∨天堂2021| 伊人久久五月丁香综合中文亚洲| 在线播放国产不卡免费视频| 国产午夜免费福利红片| 亚洲国产AV一区二区三区四区| 大地资源免费更新在线播放 | 亚洲国产一成久久精品国产成人综合 | 日韩一区二区三区免费体验| 亚洲一区二区三区国产精华液| 成人无码区免费A片视频WWW | 美女视频黄频a免费大全视频 | 亚洲产国偷V产偷V自拍色戒| 国产成人免费AV在线播放| 亚洲成av人片在线观看无码不卡| 日韩电影免费在线观看中文字幕| 婷婷亚洲久悠悠色悠在线播放| 最近2019免费中文字幕6| 亚洲一区精彩视频| 国产在线19禁免费观看国产 | 亚洲无人区一区二区三区| 永久免费A∨片在线观看| 亚洲国产精品久久久久婷婷软件 | 亚洲AⅤ无码一区二区三区在线| 亚洲国产免费综合| 亚洲自偷自拍另类12p| 免费无码精品黄AV电影| 久久亚洲精品无码av| 伊伊人成亚洲综合人网7777| 4399影视免费观看高清直播| 亚洲精品成a人在线观看夫| 亚洲午夜av影院| 亚洲精品视频在线观看免费| 久久精品国产亚洲AV未满十八| 国产亚洲欧洲Aⅴ综合一区 | 四虎影院永久免费观看| 国产日韩AV免费无码一区二区| 亚洲一区二区三区亚瑟| 国产精品亚洲不卡一区二区三区 | 亚洲中文字幕乱码熟女在线| 亚洲日韩国产成网在线观看| 2015日韩永久免费视频播放|