標簽:網絡
如何構建10萬張H100的大模型訓練集群
直播預告 | 7月2日10點,「智猩猩AI新青年講座」第242講正式開講,香港大學計算機系HKU-MMLAB二年級博士生梁志烜將直播講解《利用技能學習的擴散策略實現層次...
迄今最快的網絡流算法,網友:幾乎與數學理論一樣快
金磊 發自 凹非寺量子位 | 公眾號 QbitAI迄今為止最快、近乎完美的網絡流(Network Flow)算法,來了! 有多快? 對于任何類型的網絡,計算速度幾乎與數學理...
有錢買卡還不夠,10萬卡H100集群有多難搭?一文解析算力集群技術要點
新智元報道編輯:喬楊 好困 【新智元導讀】在英偉達市值猛漲、各家科技巨頭囤芯片的熱潮中,我們往往會忽視GPU芯片是如何轉變為數據中心算力的。最近,一篇Se...
Intel入局大模型,燒錢搜索130億種網絡結構,讓LLaMa2瘦身30%
夕小瑤科技說 原創作者 | 任同學大語言模型在多個領域大放異彩,但它們的高內存和計算成本限制了廣泛使用。神經架構搜索(NAS)能自動找到最優模型架構,減少...
用神經架構搜索給LLM瘦身,模型變小,準確度有時反而更高
機器之心報道 編輯:Panda用神經架構搜索給 LLM 瘦身,同等準確度可讓 LLaMA2-7B 模型大小降 2 倍。大型語言模型(LLM)的一個主要特點是「大」,也因此其訓...
網絡架構如何支持超萬卡的大規模 AI 訓練?
演講嘉賓 | 席永青 AI 訓練場景的算力 Scaling 核心是網絡,依賴于大規模、高性能的數據中心網絡集群來實現算力的規模擴展,為此,阿里云設計了 HPN7.0 架構...
上交提出TrustGAIN,提出6G網絡中可信AIGC新模式!
夕小瑤科技說 原創作者 | Axe_越4月16日至18日,2024全球6G技術大會在南京召開。會上,全球移動通信標準制定組織3GPP(第三代合作伙伴計劃)的3位聯席主席分...
清華軍團推出中國首個對標Sora的視頻大模型Vidu,扒一扒它背后的模型架構
夕小瑤科技說 原創作者 | 小戲就在前天,Vidu 在 2024 中關村論壇年會之中橫空出世。 伴隨著“中國首個”,“Sora 級視頻模型”,“模擬真實的物理世界”等關鍵詞下...
清華團隊推出新平臺:用去中心化AI打破算力荒
允中 發自 凹非寺量子位 | 公眾號 QbitAI最近,一則數據點出了AI領域算力需求的驚人增長—— 根據業內專家的預估,OpenAI推出的Sora在訓練環節大約需要在4200-1...
一階優化算法啟發,北大林宙辰團隊提出具有萬有逼近性質的神經網絡架構的設計方法
機器之心專欄 機器之心編輯部以神經網絡為基礎的深度學習技術已經在諸多應用領域取得了有效成果。在實踐中,網絡架構可以顯著影響學習效率,一個好的神經網絡...
低成本算法,大幅提升視覺分類魯棒性!悉尼大學華人團隊發布全新EdgeNet方法
新智元報道編輯:LRS 【新智元導讀】EdgeNet可以處理從干凈的自然圖像或嘈雜的對抗性圖像中提取的邊緣,產生魯棒的特征,具有輕量級、即插即用等特點,能夠無...
Up主已經開始鬼畜,騰訊開源「AniPortrait」讓照片唱歌說話
機器之心報道 編輯:PandaAniPortrait 模型是開源的,可以自由暢玩。「小破站鬼畜區的新質生產力工具?!?近日,騰訊開源發布的一個新項目在推上獲得了如此評...
315錘出生成式AI詐騙!“假老板”從員工騙走186萬,眼見不一定為實
315重磅:AI換臉視頻真假難辨!手機二手主板隱藏驚天黑產。 作者|云鵬 李水青 編輯|李水青 智東西3月16日報道,昨天晚上,年度“打假夜”央視3.15晚會如約而至...
Meta公布Llama 3訓練集群細節!儲備60萬塊H100迎接AGI
新智元報道編輯:潤 【新智元導讀】LLM開源從Infra做起!Meta公布了自己訓練Llama 3的H100集群細節,看來Llama 3快來了。每年3月份,照例各家大廠又要開始秀...
Llama3訓練集群揭秘,共24,576 個 GPU
點擊上方藍字關注我們“Meta 公司透露了其專為 AI 訓練設計的先進硬件基礎設施細節。這些集群包括 24,576 個 GPU,采用了創新的網絡結構解決方案,為支持當前...