蘋(píng)果突破內(nèi)存限制，將大型語(yǔ)言模型嵌入iPhone

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：蘋(píng)果突破內(nèi)存限制，將大型語(yǔ)言模型嵌入iPhone
關(guān)鍵字：蘋(píng)果,模型,內(nèi)存,閃存,技術(shù)
文章來(lái)源：AI范兒
內(nèi)容字?jǐn)?shù)：3166字

內(nèi)容摘要：

點(diǎn)擊上方藍(lán)字關(guān)注我們“蘋(píng)果研究人員成功運(yùn)用創(chuàng)新的閃存技術(shù)，克服了iPhone內(nèi)存限制，實(shí)現(xiàn)了大型語(yǔ)言模型在有限內(nèi)存下的高效推理。通過(guò)窗口化和行列捆綁等關(guān)鍵技術(shù)，他們使AI模型能在iPhone等設(shè)備上以更高速度運(yùn)行，為未來(lái)Siri更新、實(shí)時(shí)語(yǔ)言翻譯以及復(fù)雜AI功能的應(yīng)用打開(kāi)新可能。這一技術(shù)突破將提升用戶體驗(yàn)，預(yù)計(jì)在2024年底左右的iOS 18中亮相。蘋(píng)果的人工智能研究團(tuán)隊(duì)近期宣布了一項(xiàng)引人注目的技術(shù)突破，該突破將有望使大型語(yǔ)言模型（LLMs）在內(nèi)存受限的設(shè)備上實(shí)現(xiàn)更為高效的部署，其中包括iPhone等內(nèi)存有限的蘋(píng)果設(shè)備。這一消息揭示了蘋(píng)果在人工智能領(lǐng)域的積極探索，為未來(lái)的產(chǎn)品創(chuàng)新和用戶體驗(yàn)提供了潛在的巨大推動(dòng)力。
蘋(píng)果的研究人員在一篇名為《閃存中的LLM：有限內(nèi)存下高效的大型語(yǔ)言模型推理》的研究論文中詳細(xì)介紹了這一創(chuàng)新性技術(shù)。論文指出，基于大型語(yǔ)言模型的機(jī)器人，如ChatGPT和Claude，通常對(duì)內(nèi)存和數(shù)據(jù)的需求較高，這在內(nèi)存容量有限的設(shè)備上提出了顯著挑戰(zhàn)。為應(yīng)對(duì)這一挑戰(zhàn)，蘋(píng)果研究人員采用了一種巧妙的方法，即通過(guò)創(chuàng)新的閃存利用技術(shù)將AI模型的數(shù)據(jù)成功存儲(chǔ)在閃存中。
這項(xiàng)技術(shù)的核心

原文鏈接：蘋(píng)果突破內(nèi)存限制，將大型語(yǔ)言模型嵌入iPhone

聯(lián)系作者

文章來(lái)源：AI范兒
作者微信：AI_Insights
作者簡(jiǎn)介：智能未來(lái)，始于Prompt！