国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片

剛剛,DeepSeek開源MoE訓練、推理EP通信庫DeepEP,真太Open了!

AIGC動態7個月前發布 機器之心
521 0 0

模型層優化MoE之外,算力基礎設施也一起升級

剛剛,DeepSeek開源MoE訓練、推理EP通信庫DeepEP,真太Open了!

原標題:剛剛,DeepSeek開源MoE訓練、推理EP通信DeepEP,真太Open了!
文章來源:機器之心
內容字數:3878字

DeepSeek開源周:高效MoE通信庫DeepEP震撼發布

上周五,DeepSeek宣布開啟為期一周的開源活動,計劃連續開源五個軟件庫。繼首個項目FlashMLA(一款用于Hopper GPU的高效MLA解碼核)獲得近8k星標后,DeepSeek于今日開源了第二個項目——DeepEP,一個專為混合專家模型(MoE)訓練和推理優化的通信庫,短短數小時內星標已破千。

1. DeepEP:高效MoE通信的利器

在分布式訓練環境中,尤其對于MoE模型,高效的數據傳遞至關重要。DeepEP旨在解決MoE模型中“專家并行”導致的負載不均衡問題,它通過以下幾個方面提升了效率:

  1. 高效優化的All-to-All通信。
  2. 支持NVLink和RDMA的節點內/跨節點通信。
  3. 訓練及推理預填充階段的高吞吐量計算核心。
  4. 推理解碼階段的低延遲計算核心。
  5. 原生支持FP8數據分發。
  6. 靈活控制GPU資源,實現計算與通信的高效重疊。

這些優化有效減少了數據傳輸瓶頸,提升了處理速度,并避免了計算和通信的互相等待。

2. DeepEP的性能與創新

DeepEP在Hopper架構的H800 GPU上進行了測試,分別測試了常規內核(使用NVLink和RDMA)和低延遲內核(純RDMA)。測試結果顯示,DeepEP在處理大規模MoE模型時,展現出顯著的性能提升。值得注意的是,DeepEP使用了未公開的PTX指令ld.global.nc.L1::no_allocate.L2::256B,雖然存在未定義行為的風險,但在Hopper架構上測試有效,并大幅提升性能。用戶可在遇到兼容性問題時選擇禁用此指令。

3. 開源的意義與質疑的回應

DeepEP的開源,連同之前的FlashMLA,一定程度上回應了此前對DeepSeek技術的質疑。一些人曾質疑DeepSeek-R1的性能提升是通過模型蒸餾而非技術創新實現的,也有人質疑其低報了訓練所需的GPU數量。DeepEP的開源,以及其在MoE模型通信方面的顯著優化,為DeepSeek的技術實力提供了有力證明,體現了其在AI基礎設施方面的技術創新。

4. 未來展望

DeepSeek開源周仍在繼續,此次DeepEP的發布展現了其在MoE模型優化方面的深厚技術積累。文章結尾處,作者對DeepSeek接下來的開源項目進行了預告,并以“Real OPENAI has born!”作為結尾,表達了對DeepSeek未來發展的期待。


聯系作者

文章來源:機器之心
作者微信:
作者簡介:專業的人工智能媒體和產業服務平臺

閱讀原文
? 版權聲明
蟬鏡AI數字人

相關文章

蟬鏡AI數字人

暫無評論

暫無評論...
国产精品亚洲mnbav网站_成人午夜亚洲精品无码网站_日韩va亚洲va欧洲va国产_亚洲欧洲精品成人久久曰影片
<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        国产在线国偷精品免费看| 亚洲444eee在线观看| 国产精品每日更新在线播放网址| 奇米影视在线99精品| 欧亚一区二区三区| 亚洲大片一区二区三区| 欧美人伦禁忌dvd放荡欲情| 日本欧美在线看| 久久网这里都是精品| 91一区一区三区| 亚洲成a人片在线观看中文| 日韩欧美在线综合网| 国产成人三级在线观看| 1024成人网| 欧美欧美欧美欧美首页| 国产在线视频一区二区| 亚洲免费电影在线| 欧美草草影院在线视频| 不卡免费追剧大全电视剧网站| 亚洲色图制服诱惑 | 菠萝蜜视频在线观看一区| 欧美一区二区三区视频在线 | 欧美日韩精品福利| 韩日精品视频一区| 一区二区高清在线| 日韩欧美在线不卡| 91久久精品国产91性色tv | 99精品欧美一区| 日本不卡免费在线视频| 欧美激情一区二区三区全黄| 欧美日韩国产精品自在自线| www.日韩精品| 国产一区二区三区综合| 午夜精品福利一区二区三区蜜桃| 国产精品国产三级国产aⅴ中文| 日韩午夜小视频| 91在线观看一区二区| 国产精品一二三四| 久久99国产精品久久| 亚洲mv大片欧洲mv大片精品| 国产精品女主播av| 久久久精品影视| 精品国产一区二区三区av性色 | jizz一区二区| 韩国女主播成人在线| 爽好多水快深点欧美视频| 亚洲人成网站色在线观看| 中文字幕第一页久久| 精品欧美久久久| 日韩三级在线免费观看| 欧美一区二区三区免费在线看 | 日韩视频123| 欧美一区二区三区成人| 在线不卡a资源高清| 欧美日韩综合在线| 欧美色区777第一页| 欧美午夜视频网站| 欧美日韩综合不卡| 欧美日韩国产经典色站一区二区三区 | 久久精品亚洲精品国产欧美| 欧美va在线播放| 久久久久久久久久看片| 久久婷婷综合激情| 国产精品美女久久久久aⅴ国产馆 国产精品美女久久久久av爽李琼 国产精品美女久久久久高潮 | 精品视频在线免费观看| 色吧成人激情小说| 色综合一个色综合| 欧美性大战久久久久久久| 精品视频1区2区| 日韩女优视频免费观看| 久久综合狠狠综合久久综合88| 国产色产综合产在线视频| 久久久三级国产网站| 国产精品视频你懂的| 亚洲免费观看在线视频| 亚洲成av人片| 国产一区二区免费在线| 99久久综合99久久综合网站| 欧洲精品一区二区三区在线观看| 在线成人av影院| 日本一区二区免费在线| 亚洲电影中文字幕在线观看| 蜜桃久久久久久久| 成人国产精品免费观看视频| 欧美在线不卡视频| 欧美va亚洲va在线观看蝴蝶网| 中文字幕日本不卡| 日本午夜一区二区| 99热99精品| 日韩免费观看高清完整版| 欧美激情一区二区三区四区| 无码av中文一区二区三区桃花岛| 国产在线精品视频| 欧美日韩专区在线| 国产欧美一区二区三区鸳鸯浴| 夜夜精品浪潮av一区二区三区| 美女国产一区二区三区| 97精品国产露脸对白| 日韩精品中文字幕在线不卡尤物| 亚洲精品国产一区二区精华液| 美日韩一区二区三区| av不卡免费电影| 久久人人爽人人爽| 亚洲一卡二卡三卡四卡五卡| 国产麻豆精品一区二区| 欧美午夜电影网| 亚洲欧洲精品天堂一级| 韩国三级中文字幕hd久久精品| 欧美色区777第一页| 国产精品美女www爽爽爽| 日韩激情一区二区| 欧洲精品视频在线观看| 国产精品视频在线看| 狠狠狠色丁香婷婷综合激情| 欧美日韩久久久一区| 国产精品国产馆在线真实露脸 | 91精品国产综合久久久久| 久久精品免视看| 蜜桃一区二区三区在线观看| 色中色一区二区| 国产一区 二区| 欧美绝品在线观看成人午夜影视| 国产精品免费视频网站| 国产成人丝袜美腿| 久久精品综合网| 国产专区综合网| 久久综合色播五月| 日韩高清不卡一区| 欧美一区二区三区四区五区| 亚洲一区二区成人在线观看| 岛国一区二区在线观看| 国产三级一区二区三区| 国产在线国偷精品免费看| 久久伊99综合婷婷久久伊| 美女免费视频一区| 日韩欧美激情一区| 久久精品国产99| 久久亚洲综合色一区二区三区| 久久99热国产| 久久只精品国产| 国产.欧美.日韩| 亚洲视频资源在线| 一本大道久久a久久精品综合| 国产精品污网站| 色播五月激情综合网| 亚洲一二三四久久| 欧美日韩国产三级| 免费久久99精品国产| 日韩一级黄色片| 国产精品99精品久久免费| 国产香蕉久久精品综合网| 国产美女在线精品| 久久九九久久九九| 99久久综合99久久综合网站| 亚洲中国最大av网站| 精品视频999| 精品一区二区三区在线观看| 精品国产三级a在线观看| 国产成人精品免费视频网站| 亚洲日本欧美天堂| 欧美日韩国产免费| 狠狠色丁香婷综合久久| 国产精品人成在线观看免费| 色天使久久综合网天天| 日韩国产成人精品| 久久综合精品国产一区二区三区| 成人免费视频免费观看| 一区二区三区四区五区视频在线观看 | 日韩成人免费看| 久久精品夜夜夜夜久久| 91美女福利视频| 秋霞av亚洲一区二区三| 久久久九九九九| 欧美日韩亚洲国产综合| 国产九色精品成人porny| 亚洲免费在线电影| 欧美一级片免费看| 成人av网址在线| 麻豆高清免费国产一区| 自拍偷自拍亚洲精品播放| 欧美日本精品一区二区三区| 国产精品一区二区久久不卡| 一区二区在线免费观看| 日韩欧美一级片| 91福利精品第一导航| 蜜臀av性久久久久蜜臀aⅴ流畅| 中文字幕在线观看不卡视频| 日韩欧美123| 欧美日韩亚洲综合一区| 99re成人在线| 国产精品99久久久久久久vr| 亚洲va欧美va人人爽| 国产精品青草综合久久久久99| 欧美日本在线播放| 欧美自拍偷拍午夜视频| 成人黄色免费短视频| 精品一区二区日韩| 天天综合网天天综合色| 亚洲一区二区三区四区五区黄| 欧美高清在线视频|