華為諾亞方舟實驗室與哈工大（深圳）聯合提出的手機操控智能體評估框架。

原標題：華為與哈工深等最新研究成果：SPA-Bench，手機操控智能體評估新標準
文章來源：AI科技評論
內容字數：9414字

引言

隨著智能手機在日常生活中的普及，手機操控智能體的研究逐漸成為大模型領域的重要方向。然而，現有基準測試存在多種局限性，亟需提升評估標準。華為諾亞方舟實驗室與哈爾濱工業大學（深圳）聯合提出的SPA-Bench（SmartPhone Agent Benchmark）為這一領域提供了新的評估框架。

1. 現有基準測試的局限性

現有的手機智能體評估框架主要集中于簡單的系統應用任務，缺乏對復雜跨應用操作和多語言場景的全面支持。此外，大多數基準測試中涉及的智能體種類有限，研究者難以進行深入比較，降低了研究結論的全面性。現有驗證機制也缺乏靈活性，無法適應UI更新的需求。

2. SPA-Bench的核心設計

SPA-Bench通過以下三方面解決現有基準測試的痛點：

（1）任務設計：涵蓋340個任務，包括單應用和跨應用任務，任務復雜性分為，增加了對真實場景的覆蓋。

（2）智能體框架：支持多種智能體集成，具有高度靈活的模塊化設計，研究者可快速集成與比較不同模型。

（3）自動化流程：提供全面的任務驗證流程及多維度評估指標，提高評估的準確性與效率。

3. 實驗結果與分析

實驗結果顯示，不同智能體在任務成功率上的表現差異顯著。M3A為表現最佳的智能體，其在單應用任務中的成功率高于跨應用任務，同時英文任務的成功率也明顯優于中文任務。此外，成功率與資源消耗之間存在權衡，高成功率往往伴隨著更高的計算資源和時間成本。

4. 未來研究方向

未來研究可集中在增強視覺感知、豐富數據集多樣性、改進記憶保留機制、強化錯誤處理、優化任務終止判斷以及提升執行效率與成本優化等方面。這將進一步提升手機操控智能體的性能，推動其實際應用。

總結

SPA-Bench為手機操控智能體研究提供了全面的評估工具，填補了現有基準測試的空白，展望未來有望推動手機智能體技術的普及與發展。

聯系作者

文章來源：AI科技評論
作者微信：
作者簡介：雷峰網旗下AI新媒體。聚焦AI前沿研究，關注AI工程落地。