国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

剛剛,DeepSeek開源MoE訓練、推理EP通信庫DeepEP,真太Open了!

AIGC動態7個月前發布 機器之心
521 0 0

模型層優化MoE之外,算力基礎設施也一起升級

剛剛,DeepSeek開源MoE訓練、推理EP通信庫DeepEP,真太Open了!

原標題:剛剛,DeepSeek開源MoE訓練、推理EP通信DeepEP,真太Open了!
文章來源:機器之心
內容字數:3878字

DeepSeek開源周:高效MoE通信庫DeepEP震撼發布

上周五,DeepSeek宣布開啟為期一周的開源活動,計劃連續開源五個軟件庫。繼首個項目FlashMLA(一款用于Hopper GPU的高效MLA解碼核)獲得近8k星標后,DeepSeek于今日開源了第二個項目——DeepEP,一個專為混合專家模型(MoE)訓練和推理優化的通信庫,短短數小時內星標已破千。

1. DeepEP:高效MoE通信的利器

在分布式訓練環境中,尤其對于MoE模型,高效的數據傳遞至關重要。DeepEP旨在解決MoE模型中“專家并行”導致的負載不均衡問題,它通過以下幾個方面提升了效率:

  1. 高效優化的All-to-All通信。
  2. 支持NVLink和RDMA的節點內/跨節點通信。
  3. 訓練及推理預填充階段的高吞吐量計算核心。
  4. 推理解碼階段的低延遲計算核心。
  5. 原生支持FP8數據分發。
  6. 靈活控制GPU資源,實現計算與通信的高效重疊。

這些優化有效減少了數據傳輸瓶頸,提升了處理速度,并避免了計算和通信的互相等待。

2. DeepEP的性能與創新

DeepEP在Hopper架構的H800 GPU上進行了測試,分別測試了常規內核(使用NVLink和RDMA)和低延遲內核(純RDMA)。測試結果顯示,DeepEP在處理大規模MoE模型時,展現出顯著的性能提升。值得注意的是,DeepEP使用了未公開的PTX指令ld.global.nc.L1::no_allocate.L2::256B,雖然存在未定義行為的風險,但在Hopper架構上測試有效,并大幅提升性能。用戶可在遇到兼容性問題時選擇禁用此指令。

3. 開源的意義與質疑的回應

DeepEP的開源,連同之前的FlashMLA,一定程度上回應了此前對DeepSeek技術的質疑。一些人曾質疑DeepSeek-R1的性能提升是通過模型蒸餾而非技術創新實現的,也有人質疑其低報了訓練所需的GPU數量。DeepEP的開源,以及其在MoE模型通信方面的顯著優化,為DeepSeek的技術實力提供了有力證明,體現了其在AI基礎設施方面的技術創新。

4. 未來展望

DeepSeek開源周仍在繼續,此次DeepEP的發布展現了其在MoE模型優化方面的深厚技術積累。文章結尾處,作者對DeepSeek接下來的開源項目進行了預告,并以“Real OPENAI has born!”作為結尾,表達了對DeepSeek未來發展的期待。


聯系作者

文章來源:機器之心
作者微信:
作者簡介:專業的人工智能媒體和產業服務平臺

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        国产成人8x视频一区二区| 欧美精品一区二区三区蜜臀| 91啪九色porn原创视频在线观看| 国产欧美一区二区精品忘忧草| 久久国产精品免费| 国产欧美精品一区| 97se亚洲国产综合自在线不卡| 亚洲免费在线视频一区 二区| 成人国产亚洲欧美成人综合网| 亚洲色欲色欲www| 欧美日韩免费电影| 国产在线播精品第三| 亚洲男帅同性gay1069| 91精品国产高清一区二区三区蜜臀 | 久久久久9999亚洲精品| 菠萝蜜视频在线观看一区| 亚洲国产精品久久久久婷婷884| 日韩一区二区高清| 色综合久久久网| 久久不见久久见免费视频1| 国产精品美女久久久久久久| 3atv一区二区三区| 99精品1区2区| 国产激情视频一区二区三区欧美 | 欧美经典一区二区| 欧美日韩久久久| 成人爱爱电影网址| 男女男精品视频| 亚洲综合精品久久| 中文字幕av不卡| 精品国产乱码久久久久久图片 | 国产欧美精品一区| 欧美日韩国产综合久久| 成人精品亚洲人成在线| 久久av中文字幕片| 午夜伦欧美伦电影理论片| 国产精品每日更新在线播放网址| 日韩欧美一级片| 在线电影一区二区三区| 91福利国产成人精品照片| 国产suv精品一区二区6| 精品一区二区三区欧美| 日韩电影网1区2区| 午夜精品成人在线视频| 亚洲成a人片在线不卡一二三区| 亚洲欧美一区二区在线观看| 日本一区二区三区四区在线视频| 精品日韩在线观看| 日韩一区二区三区三四区视频在线观看| 91免费视频观看| 99久久er热在这里只有精品15| 成人一区二区三区中文字幕| 国产一二精品视频| 国产老女人精品毛片久久| 国产精品自拍三区| 成人综合在线视频| www.66久久| 91丨九色丨国产丨porny| 91麻豆自制传媒国产之光| 不卡av在线免费观看| 波多野结衣精品在线| av激情成人网| 色成人在线视频| 欧美网站一区二区| 91精品一区二区三区久久久久久 | 国产亚洲精品免费| 国产婷婷精品av在线| 国产精品毛片大码女人 | 久久色.com| 精品粉嫩超白一线天av| 久久久久久久久久电影| 国产精品理伦片| 亚洲激情一二三区| 亚洲一区在线看| 久久精品国产亚洲高清剧情介绍| 国内精品第一页| 成人精品视频.| 欧美午夜精品久久久久久孕妇| 欧美精品xxxxbbbb| 国产欧美精品在线观看| 一区二区三区在线视频免费| 欧美a一区二区| 99麻豆久久久国产精品免费| 欧美日韩在线观看一区二区| 精品国精品自拍自在线| 1区2区3区国产精品| 日韩 欧美一区二区三区| 国产成人精品综合在线观看 | 欧美美女bb生活片| 精品伦理精品一区| 亚洲精品美腿丝袜| 精品一区二区三区免费播放| 91在线观看地址| 欧美r级在线观看| 亚洲另类色综合网站| 九色综合国产一区二区三区| 91福利在线观看| 久久精品欧美日韩| 日本亚洲视频在线| 色婷婷国产精品| 国产欧美日韩一区二区三区在线观看| 夜夜爽夜夜爽精品视频| 国产在线观看一区二区| 欧美高清dvd| 一区二区免费在线播放| 懂色av一区二区在线播放| 日韩一级成人av| 亚洲国产精品精华液网站| 99在线热播精品免费| 久久久久一区二区三区四区| 日韩高清不卡一区二区| 91国在线观看| 国产精品盗摄一区二区三区| 国产乱一区二区| 欧美一级高清片| 日本午夜精品一区二区三区电影| 日本精品裸体写真集在线观看| 中文字幕免费在线观看视频一区| 国产一区二区91| 精品电影一区二区三区| 青青草国产成人99久久| 91精品国产综合久久久久久久| 亚洲成人福利片| 欧美在线小视频| 有坂深雪av一区二区精品| 色综合天天综合网国产成人综合天| 国产午夜精品一区二区三区四区 | 国产suv一区二区三区88区| 精品区一区二区| 麻豆视频观看网址久久| 欧美一区二区三区在线电影| 蜜臀国产一区二区三区在线播放| 911精品国产一区二区在线| 五月婷婷色综合| 日韩三级在线观看| 久久97超碰色| 国产亚洲女人久久久久毛片| 高清成人在线观看| 国产精品久久久久久福利一牛影视| av影院午夜一区| 亚洲国产一区二区a毛片| 91精品国产综合久久久久久漫画| 蜜臀av在线播放一区二区三区| 久久久国产午夜精品| 成人av网在线| 午夜国产不卡在线观看视频| 精品福利一区二区三区免费视频| 成人涩涩免费视频| 一区二区三区91| 精品女同一区二区| 成人av网站免费观看| 午夜精品久久久久影视| 欧美一区二区三区免费观看视频 | 国产激情视频一区二区在线观看| 国产农村妇女毛片精品久久麻豆| 成人免费视频caoporn| 中文在线资源观看网站视频免费不卡| 东方欧美亚洲色图在线| 国产精品久久毛片| 一本到高清视频免费精品| 亚洲一区二区三区中文字幕在线| 欧美一区二区三区男人的天堂| 丁香天五香天堂综合| 亚洲国产精品嫩草影院| 欧美变态tickle挠乳网站| 9色porny自拍视频一区二区| 五月婷婷另类国产| 精品第一国产综合精品aⅴ| 国产精品亚洲一区二区三区妖精| 夜夜揉揉日日人人青青一国产精品 | 欧美大胆人体bbbb| 成人激情校园春色| 香蕉影视欧美成人| 国产亚洲精品bt天堂精选| 欧美日韩1234| 99久久精品免费看国产| 奇米亚洲午夜久久精品| 亚洲乱码日产精品bd| 久久这里只精品最新地址| 欧美日韩视频在线第一区| 大胆亚洲人体视频| 久久精品999| 亚洲成人手机在线| 中文字幕一区二| 久久综合av免费| 日韩一区二区精品葵司在线| 欧美综合在线视频| 本田岬高潮一区二区三区| 精品一区二区综合| 免费成人av在线播放| 亚洲在线成人精品| 亚洲日本在线天堂| 国产精品全国免费观看高清| 精品国产伦一区二区三区观看体验| 欧美日本一区二区三区四区| 在线视频综合导航| 91一区一区三区| 一本久久综合亚洲鲁鲁五月天| 91原创在线视频| 色域天天综合网|