比ChatGPT更牛！蘋果新AI模型刷新交互體驗！能看懂你的手機屏幕！平板和安卓機也都行

AIGC動態歡迎閱讀

原標題：比ChatGPT更牛！蘋果新AI模型刷新交互體驗！能看懂你的手機屏幕！平板和安卓機也都行
關鍵字：模型,數據,邊界,任務,注釋
文章來源：夕小瑤科技說
內容字數：0字

內容摘要：

夕小瑤科技說原創作者 | 小鹿家人們，蘋果一直在悄悄進步！
近期，據小鹿觀察，各大科技巨頭不僅在提升模型解決復雜問題的能力上競爭激烈，而且還在大語言模型應用于用戶界面（UI）交互方面上暗暗發力！
最近，Anthropic對其Claude3.5 Sonnet的UI交互功能進行了升級，而微軟則推出了開源工具OmniParser，旨在將屏幕內容轉換為結構化數據，以便更有效地利用。
能不能一鍵絲滑地集成這些大語言模型到系統級應用中應該是各大巨頭的下一個賽點了！
蘋果公司在產品交互上一直都堅持進步，今天小鹿發現蘋果做了一個專門理解和與移動用戶界面交互的模型Ferret-UI 2，這個模型不僅能“看懂”屏幕上的內容，還能理解用戶的指令和問題，從而執行任務或提供信息。
意思是，這個模型用起來后能時刻觀察你在手機屏幕上的一舉一動，并時刻準備聽你召喚提供幫助，執行任務。
根據官方論文的實驗結果，在交互頁面上的元素識別、意圖識別，其測試得分達到了89.73，顯著領先于GPT-4o的77.73分！
創新點Ferret-UI 2 實現了更準確地識別和理解不同設備和操作系統上的UI元素，從而執行復雜的用戶中心

原文鏈接：比ChatGPT更牛！蘋果新AI模型刷新交互體驗！能看懂你的手機屏幕！平板和安卓機也都行