Ferret-UI 2是一款由蘋果公司推出的多模態大型語言模型，旨在提升移動用戶界面的理解與交互能力。該產品能夠識別和解析各種移動設備上的用戶界面元素，執行復雜的用戶指令，并實時監測用戶在屏幕上的操作，隨時準備提供幫助并完成任務。相較于前一版本，Ferret-UI 2在高分辨率圖像編碼和數據訓練方法上進行了顯著改進，增強了UI元素的識別精度和交互能力，使用戶與智能設備的互動更加自然和高效。

Ferret-UI 2是什么

Ferret-UI 2是一款由蘋果公司開發的多模態大型語言模型，專注于理解和交互移動用戶界面。它能夠解析各種移動設備的屏幕UI元素，執行復雜的用戶指令，并實時觀察用戶的操作。Ferret-UI 2在早期版本的基礎上實現了重大的技術革新，通過高分辨率圖像編碼及先進的數據訓練方法，顯著提升了UI元素的識別精度和交互能力，使得用戶能夠以更自然的方式與智能設備進行交互。

Ferret-UI 2的主要功能

• 多平臺兼容性：Ferret-UI 2可在包括iPhone、Android、iPad、網頁和Apple TV等多種平臺上處理用戶界面。
• 高分辨率圖像識別：利用自適應縮放技術，Ferret-UI 2在保持原始UI圖像分辨率的同時，提供更精確的視覺元素識別。
• 復雜任務的訓練數據生成：依托于GPT-4o和set-of-mark視覺提示，Ferret-UI 2生成用于復雜任務的訓練數據，增強模型對UI元素空間關系的理解。
• 以用戶為中心的交互：Ferret-UI 2能夠理解并執行用戶導向的交互任務，如確認提交、點擊按鈕等，超越了簡單的機械點擊。
• 跨平臺適應能力：Ferret-UI 2展現出強大的跨平臺遷移能力，能在不同平臺之間靈活適應。

Ferret-UI 2的技術原理

• 多模態大型語言模型（MLLM）：結合視覺感知與語言處理的強大能力，理解并生成復雜的UI交互。
• 自適應N網格機制：通過算法確定最優網格大小，以最小的分辨率失真編碼UI截圖的各個部分。
• 動態高分辨率圖像編碼：利用CLIP圖像編碼器提取全局和局部特征，并將這些特征傳遞至大型語言模型（LLM）。
• 視覺采樣器：依據用戶指令識別并選擇相關UI區域，輸出對UI元素的感知或交互描述。
• set-of-mark（SoM）視覺提示：在生成訓練數據時，利用SoM提示增強模型對UI元素空間關系的理解，尤其在多輪感知與交互問答任務中。
• 端到端訓練：模型通過端到端的訓練過程學習原始數據注釋，生成高質量的訓練數據并優化模型性能。

Ferret-UI 2的項目地址

• arXiv技術論文：https://arxiv.org/pdf/2410.18967

Ferret-UI 2的應用場景

• 智能手機和平板電腦：Ferret-UI 2能夠理解并執行用戶在iOS和Android設備上的各種指令，如導航應用、發送消息、設置提醒等。
• 網絡瀏覽：在網頁瀏覽中，幫助用戶更有效地與網頁元素進行交互，例如點擊按鈕、填寫表單、導航鏈接等。
• 智能電視：對于Apple TV等智能電視平臺，提供語音控制及其他交互方式，提升用戶體驗。
• 多任務環境：在需要同時處理多個應用程序或窗口的場景中，幫助用戶更加高效地管理和切換不同的任務。
• 輔助技術：可集成于輔助技術中，幫助殘障人士通過語音命令或其他輸入方式與設備進行交互。

常見問題

• Ferret-UI 2是否支持所有移動設備？ 是的，Ferret-UI 2支持多種移動設備，包括iPhone、Android及平板電腦等。
• 如何確保Ferret-UI 2的隱私安全？ 蘋果公司致力于用戶隱私，Ferret-UI 2在設計時充分考慮了數據安全和用戶隱私保護。
• Ferret-UI 2的學習能力如何？ 通過端到端的訓練，Ferret-UI 2持續學習并優化其對UI交互的理解和執行能力。