AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：讓生成式AI觸手可及 ——AirBox 正式開(kāi)放預(yù)定！預(yù)定搶三重好禮！邀請(qǐng)你在線體驗(yàn)Llama3！
關(guān)鍵字：模型,知識(shí)產(chǎn)權(quán),能力,數(shù)據(jù),性能
文章來(lái)源：JioNLP
內(nèi)容字?jǐn)?shù)：10530字

內(nèi)容摘要：

瑞莎計(jì)算機(jī)(Radxa)推出全球首款SG2300X微型 AI 盒子，現(xiàn)已在京東及海外平臺(tái)正式開(kāi)放預(yù)定，僅售￥2699！預(yù)定用戶送電源、麥克風(fēng)和無(wú)線模組！
文末附【在線體驗(yàn)Llama3 on AirBox】、【預(yù)定鏈接】小型化、私有化， 大廠競(jìng)逐端側(cè)生成式AI2024年，端側(cè)運(yùn)行生成式AI，幾乎成了Intel、AMD、高通等廠商下一代芯片的標(biāo)配。
在CES上大火的Rabbit R1，可以利用ChatGPT來(lái)操作很多手機(jī)端的app，完全自然語(yǔ)言控制，演示視頻讓很多自媒體鼓吹可以拋棄手機(jī)了，但是有拿到產(chǎn)品的網(wǎng)友實(shí)測(cè)后發(fā)現(xiàn)，單任務(wù)響應(yīng)時(shí)間超過(guò)20s，用戶體驗(yàn)不友好。在網(wǎng)絡(luò)訪問(wèn)不暢通的情況下，如何才能獲得實(shí)時(shí)、低延遲的響應(yīng)？答案是，把生成式AI服務(wù)放在端側(cè)，而不是在云、數(shù)據(jù)中心和端側(cè)節(jié)點(diǎn)之間頻繁傳輸。基于SG2300x打造的端側(cè)生成式AI盒子Airbox，Llama-7B的速度可以達(dá)到12 tokens/s，StableDiffusion 1s 出圖，讓生成式AI觸手可及。SG2300X：令人驚喜的端側(cè)生成式AI處理能力
產(chǎn)品規(guī)格
SG2300X
處理器
ARMA538核2.3GHz
內(nèi)存
LP

原文鏈接：讓生成式AI觸手可及 ——AirBox 正式開(kāi)放預(yù)定！預(yù)定搶三重好禮！邀請(qǐng)你在線體驗(yàn)Llama3！

聯(lián)系作者

文章來(lái)源：JioNLP
作者微信：jionlp
作者簡(jiǎn)介：AI、自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、數(shù)據(jù)挖掘、數(shù)據(jù)分析、C、C++。當(dāng)然，也聊關(guān)于程序員的方方面面。