標(biāo)簽:參數(shù)

AI for Science 在線研討會(huì)預(yù)告!直播講解開源框架 NVIDIA Modulus 千倍加速參數(shù)化燃燒場(chǎng)仿真

隨著 AI 的不斷發(fā)展與成熟,科學(xué)家們開始借助 AI 來進(jìn)行數(shù)據(jù)的分析和處理工作。憑借強(qiáng)大的學(xué)習(xí)和推理能力,AI 可以從大量數(shù)據(jù)中發(fā)現(xiàn)有用的信息和規(guī)律,將科學(xué)...
閱讀原文

2024屬于小模型時(shí)代?TinyLlama 等小模型爆火

直播預(yù)告 | 明晚(周三)7點(diǎn),「多模態(tài)大模型線上閉門會(huì)」正式開講!阿里巴巴通義實(shí)驗(yàn)室 NLP 高級(jí)算法專家嚴(yán)明參與出品,攜手劉兆洋、李彥瑋、文束三位青年學(xué)者...
閱讀原文

拆掉英偉達(dá)護(hù)城河,細(xì)節(jié)曝光!世界最快超算用3072塊AMD GPU訓(xùn)完超萬億參數(shù)LLM

新智元報(bào)道編輯:潤(rùn) 好困 【新智元導(dǎo)讀】世界上最快超算集群Frontier,用8%的GPU訓(xùn)練出了一個(gè)萬億級(jí)規(guī)模的大模型,而且是在AMD硬件平臺(tái)之上完成。研究人員將...
閱讀原文

總結(jié)!大模型微調(diào)(Tuning)的常見方法

直播預(yù)告 | 1月17日晚7點(diǎn),「多模態(tài)大模型線上閉門會(huì)」正式開講!阿里巴巴通義實(shí)驗(yàn)室 NLP 高級(jí)算法專家嚴(yán)明參與出品,攜手劉兆洋、李彥瑋、文束三位青年學(xué)者...
閱讀原文

首個(gè)國(guó)產(chǎn)開源MoE大模型來了!性能媲美Llama 2-7B,計(jì)算量降低60%

克雷西 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI開源MoE模型,終于迎來首位國(guó)產(chǎn)選手! 它的表現(xiàn)完全不輸給密集的Llama 2-7B模型,計(jì)算量卻僅有40%。 這個(gè)模型堪稱1...
閱讀原文

千卡規(guī)模訓(xùn)練算力利用率達(dá) 60%,螞蟻開源分布式訓(xùn)練加速擴(kuò)展庫 ATorch

近日,螞蟻集團(tuán)宣布開源大模型分布式訓(xùn)練加速擴(kuò)展庫ATorch。ATorch可針對(duì)不同模型和硬件資源,實(shí)現(xiàn)深度學(xué)習(xí)自動(dòng)資源動(dòng)態(tài)優(yōu)化和分布式訓(xùn)練穩(wěn)定性提升,可幫助...
閱讀原文

輕量級(jí)模型,重量級(jí)性能,TinyLlama、LiteLlama小模型火起來了

機(jī)器之心報(bào)道 編輯:陳萍、大盤雞小身板,大能量。 當(dāng)大家都在研究大模型(LLM)參數(shù)規(guī)模達(dá)到百億甚至千億級(jí)別的同時(shí),小巧且兼具高性能的小模型開始受到研究...
閱讀原文

盤點(diǎn)2023的大語言模型

大數(shù)據(jù)文摘授權(quán)轉(zhuǎn)載自數(shù)據(jù)派THU 作者:陳之炎 2023年可謂大語言模型元年,許多大語言模型嶄露頭角,以ChatGPT 為首的生成式對(duì)話模型一枝獨(dú)秀,在人工智能領(lǐng)域...
閱讀原文

Hugging Face:2023開源LLM大爆發(fā),數(shù)據(jù)競(jìng)賽已開啟!

新智元報(bào)道編輯:alan 【新智元導(dǎo)讀】2023年的LLM開源社區(qū)都發(fā)生了什么?來自Hugging Face的研究員帶你回顧并重新認(rèn)識(shí)開源LLM2023年的大語言模型(LLM),讓...
閱讀原文

顯存瓶頸被打破!大模型訓(xùn)練的黑科技來了,帶寬不再制約大模型訓(xùn)練

夕小瑤科技說 原創(chuàng)作者 | 賣萌醬 大家好,我是賣萌醬。 來一個(gè)快問快答,如何使用性能有限的GPU卡從頭訓(xùn)練出一個(gè)ChatGPT? 在目前,隨著模型參數(shù)量不斷暴漲,...
閱讀原文

中國(guó)大模型爆發(fā)元年!AI界大佬共話LLM創(chuàng)新探索|新浪新聞探索大會(huì)

新智元報(bào)道編輯:桃子 好困 【新智元導(dǎo)讀】AI時(shí)代,中國(guó)大模型進(jìn)展到哪了?12月20日,「數(shù)字力量,探索無穹」2023探索大會(huì)上,新智元?jiǎng)?chuàng)始人&CEO楊靜,與...
閱讀原文

1-2B參數(shù)規(guī)模大模型使用心得及模型匯總

直播預(yù)告 |12月26日晚7點(diǎn),「AI新青年講座」232講正式開講,清華大學(xué)在讀博士劉世隆主講《LLaVA-Plus:學(xué)習(xí)使用視覺工具插件的多模態(tài)智能體》,歡迎掃碼報(bào)名...
閱讀原文

微軟官宣放出一個(gè)「小模型」,僅2.7B參數(shù),擊敗Llama2和Gemini Nano 2

夕小瑤科技說 原創(chuàng)作者 | 小戲、王二狗就在前一陣谷歌深夜炸彈直接對(duì)標(biāo) GPT-4 放出 Gemini 之后,微軟這兩天也緊鑼密鼓進(jìn)行了一系列動(dòng)作。盡管時(shí)間日趨圣誕假...
閱讀原文

手機(jī)能跑!微軟小模型擊敗Llama 2,96塊A100 GPU訓(xùn)練14天,參數(shù)規(guī)模僅27億

以小搏大!微軟27億參數(shù)模型擊敗Llama 2、Gemini Nano 2。作者|程茜編輯|李水青智東西12月13日?qǐng)?bào)道,昨日晚間,微軟又亮出了小模型大招!微軟發(fā)布了27億參數(shù)...
閱讀原文

2024年AI趨勢(shì)看這張圖,LeCun:開源大模型要超越閉源

機(jī)器之心報(bào)道編輯:大盤雞、澤南能感受到其中的趨勢(shì)嗎?2023 年即將過去。一年以來,各式各樣的大模型爭(zhēng)相發(fā)布。當(dāng) OpenAI 和谷歌等科技巨頭正在角逐時(shí), —— ...
閱讀原文