手機(jī)、PC輕松跑大模型!谷歌發(fā)最新API,28億參數(shù)模型本地跑
AIGC動態(tài)歡迎閱讀
原標(biāo)題:手機(jī)、PC輕松跑大模型!谷歌發(fā)最新API,28億參數(shù)模型本地跑
關(guān)鍵字:模型,權(quán)重,設(shè)備,操作,卷積
文章來源:智東西
內(nèi)容字?jǐn)?shù):5737字
內(nèi)容摘要:
安卓霸主出手!讓大模型輕松跑在手機(jī)上,四大模型可用。
編譯|李水青
編輯|云鵬
智東西3月8日報(bào)道,昨晚,谷歌正式發(fā)布了MediaPipe LLM Inference API,該API可以讓開發(fā)人員更便捷地在手機(jī)、PC等設(shè)備上運(yùn)行AI大模型,而AI大模型也可以在不同類型的設(shè)備上跨設(shè)備運(yùn)行。
谷歌對跨設(shè)備堆棧進(jìn)行了重點(diǎn)優(yōu)化,包括新的操作、量化、緩存和權(quán)重共享等。谷歌稱,MediaPipe已經(jīng)支持了四種模型:Gemma、Phi 2、Falcon和Stable LM,這些模型可以在網(wǎng)頁、安卓、iOS設(shè)備上運(yùn)行,谷歌還計(jì)劃將這一功能擴(kuò)展到更多平臺上。
在安卓上,MediaPipe LLM Inference API僅用于實(shí)驗(yàn)和研究,生產(chǎn)應(yīng)用可以通過安卓AICore在設(shè)備上使用Gemini API或Gemini Nano。
這里有一些實(shí)時(shí)的Gemma 2B通過MediaPipe LLM Inference API運(yùn)行的動圖展示。
▲Gemma-2B在iOS(左)和安卓(右)設(shè)備上運(yùn)行
▲Gemma-2B在設(shè)備上的瀏覽器中運(yùn)行
GitHub地址:https://github.com/googles
原文鏈接:手機(jī)、PC輕松跑大模型!谷歌發(fā)最新API,28億參數(shù)模型本地跑
聯(lián)系作者
文章來源:智東西
作者微信:zhidxcom
作者簡介:智能產(chǎn)業(yè)新媒體!智東西專注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展,和技術(shù)應(yīng)用帶來的千行百業(yè)產(chǎn)業(yè)升級。聚焦智能變革,服務(wù)產(chǎn)業(yè)升級。