標(biāo)簽：架構(gòu)

獨(dú)家｜非 Transformer 開源大模型 RWKV 元始智能已完成種子輪融資

訓(xùn)練出千億模型依然是 RWKV 當(dāng)下最能證明自己的事情。作者丨張 進(jìn) 編輯丨陳彩嫻 AI科技評(píng)論獨(dú)家獲悉，開源LLM RWKV背后的元始智能，種子輪融資已于1月16日走...
閱讀原文

對(duì)標(biāo)OpenAI GPT-4，MiniMax 國內(nèi)首個(gè) MoE 大語言模型全量上線

作者｜冬梅 1 月 16 日，InfoQ 獲悉，經(jīng)過了半個(gè)月的部分客戶的內(nèi)測和反饋，MiniMax 全量發(fā)布大語言模型 abab6，該模型為國內(nèi)首個(gè) MoE（Mixture-of-Experts）...
閱讀原文

HTAP 在快遞行業(yè)助力時(shí)效分析的落地實(shí)踐

本文節(jié)選自《基礎(chǔ)軟件之路 - 企業(yè)級(jí)實(shí)踐及開源之路》一書，該書集結(jié)了中國幾乎所有主流基礎(chǔ)軟件企業(yè)的實(shí)踐案例，由 28 位知名專家共同編寫，系統(tǒng)剖析了基礎(chǔ)軟...
閱讀原文

大模型套殼祛魅：質(zhì)疑套殼，理解套殼｜甲子光年

套殼不是核心競爭力，把殼做厚才是。作者｜趙健 剛剛過去的 2023 年是大模型元年，在國產(chǎn)大模型數(shù)量狂飆突進(jìn)的同時(shí)——已經(jīng)超過 200 個(gè)，“套殼”一直是縈繞在大...
閱讀原文

「喚醒」NPC，這家融資過億的國內(nèi)創(chuàng)企在做一種很新的游戲

機(jī)器之心報(bào)道 編輯：張倩、陳萍每次進(jìn)入游戲，NPC 都說著不一樣的臺(tái)詞，這將是一個(gè)怎樣的世界？在眾多游戲類型中，開放世界游戲是非常受歡迎的一種，因?yàn)樗?..
閱讀原文

華為改進(jìn)Transformer架構(gòu)！盤古-π解決特征缺陷問題，同規(guī)模性能超LLaMA

明敏 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI華為盤古系列，帶來架構(gòu)層面上新！ 量子位獲悉，華為諾亞方舟實(shí)驗(yàn)室等聯(lián)合推出新型大語言模型架構(gòu)：盤古-π。 它通過...
閱讀原文

你沒有看過的全新版本，Transformer數(shù)學(xué)原理揭秘

機(jī)器之心報(bào)道 編輯：趙陽近日，arxiv 上發(fā)布了一篇論文，對(duì) Transformer 的數(shù)學(xué)原理進(jìn)行全新解讀，內(nèi)容很長，知識(shí)很多，十二分建議閱讀原文。2017 年，Vaswan...
閱讀原文

挑戰(zhàn)Transformer，華為諾亞新架構(gòu)盤古π來了，已有1B、7B模型

機(jī)器之心專欄 機(jī)器之心編輯部5 年前，Transformer 在國際神經(jīng)信息處理大會(huì) NeurIPS 2017 發(fā)表，后續(xù)其作為核心網(wǎng)絡(luò)架構(gòu)被廣泛用于自然語言處理和計(jì)算機(jī)視覺等...
閱讀原文

誰能撼動(dòng)Transformer統(tǒng)治地位？Mamba作者談LLM未來架構(gòu)

機(jī)器之心編譯 機(jī)器之心編輯部自 2017 年被提出以來，Transformer 已成為 AI 大模型的主流架構(gòu)，未來這種情況是一直持續(xù)，還是會(huì)有新的研究出現(xiàn)，我們不妨先聽...
閱讀原文

大模型被偷家！騰訊港中文新研究修正認(rèn)知：CNN搞多模態(tài)不弱于Transfromer

騰訊&港中文團(tuán)隊(duì) 投稿量子位 | 公眾號(hào) QbitAI在Transformer占據(jù)多模態(tài)工具半壁江山的時(shí)代，大核CNN又“殺了回來”，成為了一匹新的黑馬。 騰訊AI實(shí)驗(yàn)室與港...
閱讀原文

讓大模型操縱無人機(jī)，北航團(tuán)隊(duì)提出具身智能新架構(gòu)

趙浩然 投稿量子位 | 公眾號(hào) QbitAI進(jìn)入多模態(tài)時(shí)代，大模型也會(huì)操縱無人機(jī)了！只要視覺模塊捕捉到啟動(dòng)條件，大模型這個(gè)“大腦”就會(huì)生成動(dòng)作指令，接著無人機(jī)便...
閱讀原文

戴瓊海院士：開源后在 AlpacaEval 直追 GPT4，零一靠技術(shù)如何重建生態(tài)信心

來源：AI科技大本營斯坦福大學(xué)研發(fā)的大語言模型評(píng)測 AlpacaEval Leaderboard 備受業(yè)內(nèi)認(rèn)可，在 2023 年 12 月 7 日 更新的排行榜中，Yi-34B-Chat 以 94.08% ...
閱讀原文

?丟掉注意力的擴(kuò)散模型：Mamba帶火的SSM被蘋果、康奈爾盯上了

機(jī)器之心報(bào)道機(jī)器之心編輯部替代注意力機(jī)制，SSM 真的大有可為？為了用更少的算力讓擴(kuò)散模型生成高分辨率圖像，注意力機(jī)制可以不要，這是康奈爾大學(xué)和蘋果的...
閱讀原文

進(jìn)入蘋果最神秘的芯片實(shí)驗(yàn)室，回顧蘋果歷代CPU構(gòu)架，展現(xiàn)3萬億公司成長之路

新智元報(bào)道編輯：alan 潤【新智元導(dǎo)讀】蘋果創(chuàng)造了資本主義歷史上最成功的產(chǎn)品，成為第一家市值達(dá)到1萬億美元的企業(yè)。讓我們一起探究蘋果最神秘的芯片研發(fā)部...
閱讀原文

上云還是下云：章文嵩博士解讀真正的云原生 Kafka 十倍降本方案！

作者｜章文嵩、周新宇 策劃 | Tina近日，AutoMQ 團(tuán)隊(duì)發(fā)布了基于云的開源云原生 Kafka——AutoMQ for Kafka，所有的代碼采用 Apache 2.0 開源許可。AutoMQ 充分...
閱讀原文