標簽:參數
TensorRT-LLM保姆級教程(二)-離線環境搭建、模型量化及推理
開講預約隨著大模型的爆火,投入到生產環境的模型參數量規模也變得越來越大(從數十億參數到千億參數規模),從而導致大模型的推理成本急劇增加。因此,市面...
Llama系列上新多模態!3.2版本開源超閉源,還和Arm聯手搞了手機優化版
魚羊 發自 凹非寺量子位 | 公眾號 QbitAI在多模態領域,開源模型也超閉源了! 就在剛剛結束的Meta開發者大會上,Llama 3.2閃亮登場: 這回不僅具備了多模態能...
阿里云發布 Qwen 2.5 AI 模型,直指全球頂尖開源競品
點擊上方藍字關注我們“阿里云推出新一代 AI 模型 Qwen 2.5,憑借出色的參數規模與性能表現,瞄準 Llama 3.1 等全球領先的開源模型,并計劃擴展多模態功能。阿...
KAN結合Transformer,真有團隊搞出了解決擴展缺陷的KAT
機器之心報道 編輯:小舟、陳陳Transformer 是現代深度學習的基石。傳統上,Transformer 依賴多層感知器 (MLP) 層來混合通道之間的信息。 前段時間,來自 MIT...
TensorRT-LLM保姆級教程(一)-快速入門
隨著大模型的爆火,投入到生產環境的模型參數量規模也變得越來越大(從數十億參數到千億參數規模),從而導致大模型的推理成本急劇增加。因此,市面上也出現...
如何估計LLM推理和訓練所需的GPU內存?
導讀文章轉載自知乎,作者為孫鵬飛,本文整理了一份訓練或推理需要顯存的計算方式。 原文地址:https://zhuanlan.zhihu.com/p/716317173 本文只做學術/技術分...
3天把Llama訓成Mamba,性能不降,推理更快!
新智元報道編輯:alan 【新智元導讀】近日,Mamba方面又搞出了有意思的研究:來自康奈爾、普林斯頓等機構的研究人員成功將Llama提煉成了Mamba模型,并且設計...
LeCun轉帖,AI精確計算宇宙「設置」,登Nature子刊
來源:ScienceAI 編輯:白菜葉 讓「AI 告訴你宇宙中有什么?」 Meta 首席人工智能科學家、圖靈獎得主 Yann LeCun 在 X 上轉發了紐約大學物理系教授 Shirley H...
用最直觀的動畫,講解LLM如何存儲事實,3Blue1Brown的這個視頻又火了
機器之心報道 編輯:Panda W、陳陳本文根據視頻整理而來,有聽錯或理解不當之處歡迎在評論區指出。向大模型輸入「Michael Jordan plays the sport of _____(...
視頻生成控制提升幾十倍,新一代輕量級ControlNeXt火了,賈佳亞團隊正挑戰Scaling Law
機器之心原創 編輯:杜偉最近,又一款國產 AI 神器吸引了眾網友和圈內研究人員的關注!它就是全新的圖像和視頻生成控制工具 —— ControlNeXt,由思謀科技創始...
模型推理速度狂飆 20 倍,又有一家公司想趕超英偉達
曾造出世界最大芯片公司 Cerebras,發布了全球最快的 AI 推理架構——Cerebras Inference。 運行 Llama3.1 8B 時,它能以 1800 token/s 的速率吐出文字。 自推...
幻方AI ESFT:針對 MoE 的高效微調方案,媲美全參微調
生成式AI時代最火AI芯片峰會下月來襲!9月6-7日,智猩猩發起主辦的2024全球AI芯片峰會將在北京盛大舉行。峰會設有開幕式、數據中心AI芯片專場、邊緣/端側AI芯...
微軟「小而美」系列三!視覺小鋼炮PK GPT-4o,MoE新秀力壓Llama 3.1
新智元報道編輯:耳朵 好困 【新智元導讀】微軟Phi 3.5系列上新了!mini模型小而更美,MoE模型首次亮相,vision模型專注多模態。就在今天,微軟「小語言模型...
謝謝微軟,又又又Open了!一口氣發布3款Phi-3.5新模型,領先Llama3.1和谷歌同級模型
夕小瑤科技說 原創作者 | 付奶茶家人們!微軟又用愛發電了!一覺醒來,微軟發布了最新的小模型三兄弟: Phi-3.5-MoE-instruct Phi-3.5-mini-instruct Phi-3.5...
蜘蛛俠妖嬈起舞,下一代ControlNet來了!賈佳亞團隊推出,即插即用,還能控制視頻生成
克雷西 發自 凹非寺量子位 | 公眾號 QbitAI只用不到10%的訓練參數,就能實現ControlNet一樣的可控生成! 而且SDXL、SD1.5等Stable Diffusion家族的常見模型都...