如何將阿里千問大模型Qwen部署到手機(jī)上？實(shí)戰(zhàn)演示！

AIGC動(dòng)態(tài)歡迎閱讀

原標(biāo)題：如何將阿里千問大模型Qwen部署到手機(jī)上？實(shí)戰(zhàn)演示！
關(guān)鍵字：模型,手機(jī),命令,文件,技術(shù)
文章來源：智猩猩AGI
內(nèi)容字?jǐn)?shù)：0字

內(nèi)容摘要：

直播預(yù)告 |「智猩猩大模型技術(shù)公開課」正式開講啦~8月5日晚7點(diǎn)開講，合合信息智能創(chuàng)新事業(yè)部研發(fā)總監(jiān) 常揚(yáng)將直播講解《大模型RAG技術(shù)架構(gòu)與應(yīng)用實(shí)踐》，內(nèi)容覆蓋RAG關(guān)技術(shù)架構(gòu)、核心模塊及關(guān)鍵技術(shù)精講，歡迎掃名~今天這篇小作文主要介紹如何將阿里巴巴的千問大模型Qwen 1.8B部署到手機(jī)端，實(shí)現(xiàn)離線、斷網(wǎng)條件下使用大模型。主要包括以下幾個(gè)步驟：
編譯Android手機(jī)可以使用的Qwen模型
編譯打包APK，為Qwen在Android手機(jī)上運(yùn)行提供用戶交互界面
安裝APK和效果實(shí)測(cè)
01簡(jiǎn)介為將Qwen大模型部署到手機(jī)，實(shí)現(xiàn)斷網(wǎng)下Qwen模型正常使用，本文選擇MLC-LLM框架。
MLC LLM（機(jī)器學(xué)習(xí)編譯大型語言模型，Machine Learning Compilation for Large Language Models）是一種高性能的通用部署解決方案，將任何語言模型本地化部署在各種硬件后端和本機(jī)應(yīng)用程序上，并為每個(gè)人提供一個(gè)高效的框架，以進(jìn)一步優(yōu)化自己模型性能。該項(xiàng)目的使命是使每個(gè)人都能夠使用ML編譯技術(shù)在各種設(shè)備上本機(jī)開發(fā)、優(yōu)化和部署AI模型。
以下將以Qwen1.5-

原文鏈接：如何將阿里千問大模型Qwen部署到手機(jī)上？實(shí)戰(zhàn)演示！