標簽:梯度

Karpathy最新四小時視頻教程:從零復現GPT-2,通宵運行即搞定

機器之心報道 編輯:杜偉這是Karpathy「Neural Networks:zero to hero」系列視頻的最新內容。AI 大牛 Andrej Karpathy 又「上新」了,這次一口氣放出了長達...
閱讀原文

ICLR 2024 Oral|用巧妙的「傳送」技巧,讓神經網絡的訓練更加高效

AIxiv專欄是機器之心發(fā)布學術、技術內容的欄目。過去數年,機器之心AIxiv專欄接收報道了2000多篇內容,覆蓋全球各大高校與企業(yè)的頂級實驗室,有效促進了學術...
閱讀原文

硬核解決Sora的物理bug!美國四所頂尖高校聯合發(fā)布:給視頻生成器裝個物理引擎

新智元報道編輯:LRS 【新智元導讀】PhysDreamer利用材質點法(MPM)對物體的各個物理屬性進行估計,實現了逼真的交互式響應結果,在視頻生成領域向更真實的...
閱讀原文

Pika聯創(chuàng)參與新研究:Diffusion能搶GPT的活了!成功挑戰(zhàn)自回歸文本范式

豐色 發(fā)自 凹非寺量子位 | 公眾號 QbitAI縱觀生成式AI領域中的兩個主導者:自回歸和擴散模型。 一個專攻文本等離散數據,一個長于圖像等連續(xù)數據。 如果,我...
閱讀原文

從啥也不會到DeepSpeed————一篇大模型分布式訓練的學習過程總結

智猩猩與智東西將于4月18-19日在北京共同舉辦2024中國生成式AI大會,愛詩科技創(chuàng)始人王長虎,啟明創(chuàng)投合伙人周志峰,Open-Sora開發(fā)團隊潞晨科技創(chuàng)始人尤洋,「...
閱讀原文

今日arXiv最熱大模型論文:超越LoRA,北京大學提出預訓練模型非梯度優(yōu)化法

夕小瑤科技說 原創(chuàng)編輯 | 松果 引言:探索大型語言模型中低秩適應的新方法在自然語言處理領域,大語言模型(LLMs)的迅猛發(fā)展帶來了前所未有的性能提升。然而...
閱讀原文

田淵棟等人新作:突破內存瓶頸,讓一塊4090預訓練7B大模型

機器之心報道 編輯:陳萍、大盤雞只用 24G 顯存,消費級 GPU 就能搞定大模型了。 上個月,Meta FAIR 田淵棟參與的一項研究廣受好評,他們在論文《 MobileLLM:...
閱讀原文

幾行代碼穩(wěn)定UNet ! 中山大學等提出ScaleLong擴散模型:從質疑Scaling到成為Scaling

新智元報道編輯:LRS 好困 【新智元導讀】本文提出了擴散模型中UNet的long skip connection的scaling操作可以有助于模型穩(wěn)定訓練的分析,目前已被NeurIPS 202...
閱讀原文

AI x 機器人爆發(fā)年!英偉達Jim Fan領銜登月任務,谷歌DeepMind新技術曝光

新智元報道編輯:alan 【新智元導讀】AI x 機器人正逐漸走上時代的風口,近日,谷歌DeepMind以及英偉達兩家AI大廠都在機器人領域有所動作。AI x 機器人必然是...
閱讀原文

YOLOv9來了:實時目標檢測新SOTA,完勝各種輕量或大型模型!出自v7作者

豐色 發(fā)自 凹非寺量子位 | 公眾號 QbitAI距離YOLOv8發(fā)布僅1年的時間,v9誕生了! 這個新版本主打用“可編程梯度信息來學習你想學的任何內容”。 無論是輕量級還...
閱讀原文

目標檢測新SOTA:YOLOv9問世,新架構讓傳統卷積重煥生機

機器之心報道 機器之心編輯部在目標檢測領域,YOLOv9 實現了一代更比一代強,利用新架構和方法讓傳統卷積在參數利用率方面勝過了深度卷積。 繼 2023 年 1 月 ...
閱讀原文

ICLR 2024 Oral | 三行代碼,即插即用!NUS尤洋團隊新作—InfoBatch,無損數據集動態(tài)剪枝加速

大數據文摘受權轉載自將門創(chuàng)投 本文介紹來自NUS尤洋團隊的最新科研成果 - InfoBatch。這是首篇關于無損數據剪枝加速的工作,覆蓋分類、分割、檢測、圖片生成...
閱讀原文

大模型訓練loss突刺原因和解決辦法

直播預告 | 今晚7點,「自動駕駛新青年講座」第35講正式開講,LMDrive一作、香港中文大學MMLab在讀博士邵昊將主講《LMDrive:大語言模型加持的閉環(huán)端到端自動...
閱讀原文

三行代碼無損加速40%,尤洋團隊AI訓練加速器入選ICLR Oral論文

克雷西 發(fā)自 凹非寺量子位 | 公眾號 QbitAI用剪枝的方式加速AI訓練,也能實現無損操作了,只要三行代碼就能完成! 今年的深度學習頂會ICLR上,新加坡國立大學...
閱讀原文

Pika 1.0首測秒殺Gen-2!網友搶先體驗電影級炸裂效果,背后技術細節(jié)首公開

新智元報道編輯:桃子【新智元導讀】Pika 1.0首測開啟了!網友搶先體驗,每個視頻都是經典。Pika 1.0正式上線后,拿到內測資格的網友們已經玩瘋了!有人用它...
閱讀原文