詳細解讀Ferret-UI 2模型

原標題：通用UI導航智能體的底座！蘋果手機端UI多模態(tài)大模型Ferret-UI 2解讀
文章來源：智猩猩GenAI
內(nèi)容字數(shù)：11146字

蘋果Ferret-UI 2：跨平臺UI理解多模態(tài)大模型詳解

本文詳細解讀蘋果最新發(fā)布的Ferret-UI 2模型，該模型顯著提升了跨平臺用戶界面(UI)的理解和交互能力。Ferret-UI 2在Ferret-UI的基礎上進行了三大關鍵改進，使其能夠更好地應對多平臺環(huán)境下的復雜UI交互。

1. Ferret-UI 2 的核心改進

Ferret-UI 2 的核心改進體現(xiàn)在以下三個方面：

1. 支持更多平臺： 擴展支持手機、平板、網(wǎng)頁和智能電視等多種平臺，突破了Ferret-UI僅限于移動設備的限制。

2. 動態(tài)高分辨率圖像編碼： 采用自適應網(wǎng)格化方法，能夠處理不同分辨率的圖像，提升了視覺元素識別的精度，并有效控制推理成本。

3. 高質(zhì)量多模態(tài)訓練數(shù)據(jù)生成： 利用GPT-4o生成包含視覺提示的高級任務訓練數(shù)據(jù)，顯著改善了對UI空間關系的理解。通過人工標注、HTML解析和OCR技術，構建了高質(zhì)量的多平臺數(shù)據(jù)集，并利用損失權重和數(shù)據(jù)增強技術解決了數(shù)據(jù)不平衡問題。

2. 數(shù)據(jù)集構建與模型架構

Ferret-UI 2 的數(shù)據(jù)集構建過程復雜，針對不同平臺（iPhone、iPad、AppleTV、網(wǎng)頁、Android）采用不同的標注策略，并最終將標簽映射到13個公共類別。為了解決數(shù)據(jù)不平衡問題，采用了調(diào)整損失權重和為數(shù)據(jù)量少的平臺生成更多高級任務的策略。數(shù)據(jù)生成分為基礎任務（指代和交互任務）和高級任務（由GPT-4o生成，包含綜合描述、多輪感知問答和多輪交互問答）。為了提升GPT-4o對UI控件空間關系的理解，引入了Set-of-Mark(SoM)視覺提示。

模型架構方面，F(xiàn)erret-UI 2 基于Ferret-UI，采用Any-Resolution(AnyRes)方法，并結合CLIP圖像編碼器和LLM視覺采樣器，最終輸出UI元素的感知或交互的定位描述。自適應網(wǎng)格化是其關鍵創(chuàng)新，能夠在預定義的推理成本限制內(nèi)，實現(xiàn)最小分辨率失真，高效地進行局部圖像特征編碼。

3. 實驗結果與分析

實驗結果表明，F(xiàn)erret-UI 2 在多個基準測試（包括自行構建的測試集和GUIDE、GUI-World基準測試）上均顯著優(yōu)于Ferret-UI。搭載Llama-3-8B的Ferret-UI 2 表現(xiàn)最佳，在高級任務上取得了最高的GPT-4o評分和IoU分數(shù)。消融實驗結果表明，數(shù)據(jù)集改進對性能提升起到了更關鍵的作用。Ferret-UI 2 還展現(xiàn)出強大的跨平臺遷移能力，尤其是在iPhone、iPad和Android平臺之間。

4. 總結與未來展望

Ferret-UI 2 作為一種創(chuàng)新的多模態(tài)大型語言模型，顯著提升了跨平臺UI理解和交互能力。其多平臺支持、高分辨率圖像編碼和改進的數(shù)據(jù)生成方法，為通用UI理解奠定了堅實的基礎。未來研究方向包括整合更多平臺類型以及構建通用UI導航智能體。

聯(lián)系作者

文章來源：智猩猩GenAI
作者微信：
作者簡介：智猩猩旗下公眾號之一，深入關注大模型與AI智能體，及時搜羅生成式AI技術產(chǎn)品。