標簽:參數

蘋果加入開源大戰,官宣端側小模型OpenELM!參數2.7億到30億一臺M2 Mac可跑

新智元報道編輯:桃子 【新智元導讀】開源戰在這半個月愈演愈烈。先是Llama 3,又到微軟Phi-3,再到今天蘋果發布的OpenELM。四種不同小參數版本全部上線,我...
閱讀原文

蘋果一次性開源了8個大模型! 包含模型權重、訓練日志和設置,OpenELM全面開源

夕小瑤科技說 原創作者 | 任同學不以開放性著稱的蘋果居然同時開源了大模型的權重、訓練和評估框架,涵蓋訓練日志、多個保存點和預訓練設置。同時升級計算機...
閱讀原文

僅需Llama3 1/17的訓練成本,Snowflake開源128x3B MoE模型

機器之心報道 編輯:小舟、崔亞鸝Snowflake 加入 LLM 混戰。Snowflake 發布高「企業智能」模型 Arctic,專注于企業內部應用。 剛剛,數據管理和倉庫提供商 Sn...
閱讀原文

蘋果OpenELM:設備瞬間變聰明,自家AI無需聯網也能用

點擊上方藍字關注我們“蘋果推出OpenELM,一系列開源大型語言模型可在設備端獨立運行,無需云端支持。包含8款模型,參數規模2700萬至30億,部分預訓練與指令調...
閱讀原文

蘋果卷開源大模型,公開代碼、權重、數據集、訓練全過程,OpenELM亮相

機器之心報道 編輯:陳萍、大盤雞蘋果發布基于開源訓練和推理框架的高效語言模型族 OpenELM。要說 ChatGPT 拉開了大模型競賽的序幕,那么 Meta 開源 Llama 系...
閱讀原文

24GB單卡全量微調Llama 3-8B,僅需添加一行代碼

自ChatGPT問世以來,大型語言模型在各個領域引起了廣泛興趣,并催生了基于語言模型的應用,包括但不限于自動文本生成、信息檢索、智能助理、聊天機器人以及智...
閱讀原文

微軟推出iPhone能跑的ChatGPT級模型,網友:OpenAI得把GPT-3.5淘汰了

夢晨發自 凹非寺量子位 | 公眾號 QbitAILlama 3發布剛幾天,微軟就出手截胡了? 剛剛發布的Phi-3系列小模型技術報告,引起AI圈熱議。 其中僅3.8B參數的Phi-3-...
閱讀原文

Meta AI 挑戰 OpenAI!扎克伯格發布最強開源模型Llama 3,最大4000億參數

大數據文摘受權轉載自頭部科技 文丨Congerry Meta 最新開源模型 Llama 3 如約而至。 上周,一位Meta員工透露,兩款小型Llama 3模型將于本周發布。 今天,它來...
閱讀原文

大模型掃盲系列——大模型實用技術介紹(上)

大數據文摘受權轉載自數據派THU 編輯:黃繼彥 校對:林贛敏01 Gemma模型架構和參數計算 上一篇文章《原創 | 大模型掃盲系列——初識大模型》從比較宏觀的角度初...
閱讀原文

最強開源大模型Llama 3來了!4000億參數GPT-4,訓練數據達Llama 2七倍

開源大模型超閉源?Meta重回開源大模型鐵王座。 編譯|長頸鹿 編輯|李水青 智東西4月19日消息,昨夜,Meta推出迄今為止能力最強的開源大模型Llama 3系列,發布...
閱讀原文

Llama 3突然來襲!開源社區再次沸騰:GPT-4級別模型可以訪問的時代到來

克雷西 魚羊 發自 凹非寺量子位 | 公眾號 QbitAILlama 3來了! 就在剛剛,Meta官網上新,官宣了Llama 3 80億和700億參數版本。 并且推出即為開源SOTA: Meta...
閱讀原文

Llama 3 發布!目前最強開源大模型,全面登陸 Meta 系產品,即將推出 4000 億模型

Meta 于本周四正式發布 Llama 3,官方號稱「有史以來最強大的開源大模型」。 本次發布了 8B 和 70B 參數的大模型,提供了新功能,改進了推理能力,在行業基準...
閱讀原文

中文OCR超越GPT-4V,參數量僅2B,面壁小鋼炮拿出了第二彈

機器之心報道 作者:澤南、杜偉OpenAI后,大模型新增長曲線來了。 大語言模型的效率,正在被這家「清華系」創業公司發展到新高度。從 ChatGPT 到 Sora,生成...
閱讀原文

改變LoRA的初始化方式,北大新方法PiSSA顯著提升微調效果

機器之心專欄 機器之心編輯部隨著大模型的參數量日益增長,微調整個模型的開銷逐漸變得難以接受。 為此,北京大學的研究團隊提出了一種名為 PiSSA 的參數高效...
閱讀原文

埋頭鉆研一年后,階躍星辰交出了第一份答卷

遲遲不出手,一出手就把大模型賽道卷到了萬億級。作者|房曉楠 編輯|陳彩嫻 歷經去年持續一年之久的百模大戰后,今年伊始,落地應用開始成為大模型的主流敘...
閱讀原文
167891016