獨(dú)家｜非 Transformer 開源大模型 RWKV 元始智能已完成種子輪融資

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：獨(dú)家｜非 Transformer 開源大模型 RWKV 元始智能已完成種子輪融資
關(guān)鍵字：模型,架構(gòu),參數(shù),人類,版本
文章來源：AI科技評論
內(nèi)容字?jǐn)?shù)：4004字

內(nèi)容摘要：

訓(xùn)練出千億模型依然是 RWKV 當(dāng)下最能證明自己的事情。作者丨張 進(jìn)
編輯丨陳彩嫻
AI科技評論獨(dú)家獲悉，開源LLM RWKV背后的元始智能，種子輪融資已于1月16日走完工商變更，由陸奇于2018年創(chuàng)立的奇績創(chuàng)壇和某匿名投資者投資，目前元始智能已開始繼續(xù)融第二輪。
RWKV是國產(chǎn)開源的首個(gè)非Transformer架構(gòu)的大語言模型，目前已經(jīng)迭代到第六代RWKV-6。它的作者彭博在2022年5月開始訓(xùn)練RWKV-2，當(dāng)時(shí)只有1億（100M）參數(shù)規(guī)模，后續(xù)在2023年3月訓(xùn)練了RWKV-4 140億（14B）參數(shù)版本。
RWKV-5的15億和30億參數(shù)版本已發(fā)布，且70億參數(shù)版本會在2024年1月發(fā)布。而RWKV-6的15億和30億參數(shù)版本將在2024年2月發(fā)布，然后將繼續(xù)訓(xùn)練70億和140億參數(shù)版本。
RWKV-5和RWKV-6系列的特點(diǎn)是，支持全球100+種語言，也支持幾十種編程語言，目前可以在 https://www.rwkv.com/頁面上的鏈接，體驗(yàn)在線Demo。
彭博香港大學(xué)物理系本科畢業(yè)，此前在香港對沖基金做過多年的量化交易，也在深圳做過智能硬件。在2020年，因?yàn)閷IGC小

原文鏈接：獨(dú)家｜非 Transformer 開源大模型 RWKV 元始智能已完成種子輪融資

聯(lián)系作者

文章來源：AI科技評論
作者微信：aitechtalk
作者簡介：雷峰網(wǎng)旗下AI新媒體。聚焦AI前沿研究，關(guān)注AI工程落地。