基于大模型的手機 GUI 智能體有望在復雜任務中實現更高自主性。

原標題：手機「自動駕駛」大揭秘！vivo萬字綜述探討大模型手機自動化
文章來源：機器之心
內容字數：11368字

大模型驅動手機AI智能體綜述：現狀、挑戰與未來

本文總結了vivo AI Lab聯合香港中文大學MMLab等團隊發布的關于“大模型驅動的手機AI智能體”的48頁綜述論文，該論文涵蓋200余篇文獻，對基于大模型的手機自動化技術進行了全面深入的研究。

1. 手機AI智能體興起與研究目的

隨著手機廠商和AI公司紛紛推出手機AI智能體產品，例如vivo的PhoneGPT，一句話完成訂咖啡、訂外賣等復雜任務成為現實。然而，該領域缺乏系統性綜述。本論文旨在系統總結LLM驅動的手機GUI智能體的研究成果，分析其優勢和挑戰，并指出未來研究方向。

2. 手機自動化的發展歷程與傳統方法的挑戰

手機GUI自動化經歷了自動化測試、快捷指令和RPA等階段，但傳統方法存在通用性差、維護成本高、意圖理解能力弱、屏幕GUI感知能力弱等問題。

3. LLM賦能手機自動化的優勢

LLM通過上下文語義理解、屏幕GUI多模態感知以及推理和決策制定能力，解決了傳統方法的諸多挑戰，顯著提升了手機自動化的效率和智能化水平。

4. 手機GUI智能體框架

論文介紹了三種主要的手機GUI智能體框架：基礎框架（感知、大腦、行動模塊）、多智能體框架（角色協調、基于場景）以及計劃-然后-行動框架。這些框架通過不同的方式整合LLM的能力，實現對手機GUI的自動化操作。

5. 用于手機自動化的大語言模型

論文探討了兩種主要模型方法：提示工程（純文本提示詞和多模態提示詞）和基于訓練的方法（GUI任務專用模型架構、監督微調和強化學習）。多模態提示詞和基于訓練的方法在提升準確性和魯棒性方面表現更好。

6. 數據集和基準

論文總結了現有數據集和基準，包括早期數據集和一些大規模數據集，以及用于評估智能體性能的各種基準和指標，例如任務完成率、行動準確性、資源利用效率等。

7. 挑戰與未來方向

論文指出了該領域面臨的挑戰，包括數據集開發與微調的可擴展性、輕量級和高效的設備端部署、用戶中心適應、模型定位和推理能力提升、標準化評估基準建立以及確保可靠性和安全性等。未來研究需要關注大規模、多模態數據集的構建，以及模型的輕量化、個性化和安全性。

8. 總結

這篇綜述論文對LLM驅動的手機GUI智能體進行了全面系統的總結，為學界和產業界提供了寶貴的參考，并指明了未來研究方向。隨著技術的不斷發展，基于大模型的手機GUI智能體有望為用戶提供更智能、便捷和個性化的體驗。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺