Proxy Lite – 開源視覺語言模型，支持自動化網(wǎng)頁任務(wù)

Proxy Lite是什么

Proxy Lite 是一款開源的輕量級視覺語言模型（VLM），其參數(shù)數(shù)量為3B，專注于自動化網(wǎng)頁操作。Proxy Lite 能夠像人類一樣進行瀏覽器操作，完成網(wǎng)頁交互、數(shù)據(jù)抓取和表單填寫等重復(fù)性任務(wù)，從而顯著降低自動化的成本。該模型采用“觀察-思考-工具調(diào)用”的三步?jīng)Q策機制，具備卓越的泛化能力，并且資源占用低，能夠在消費級GPU上高效運行。此外，Proxy Lite 提供了完整的瀏覽器交互框架，適用于網(wǎng)頁自動化測試、數(shù)據(jù)提取、智能任務(wù)助手等多種應(yīng)用場景，方便開發(fā)者快速部署和使用。

Proxy Lite的主要功能

• 網(wǎng)頁自動化操作：自動化執(zhí)行瀏覽器中的多種操作，包括點擊按鈕、填寫表單、滾動頁面和處理彈窗等。
• 網(wǎng)頁數(shù)據(jù)抓取：解析網(wǎng)頁內(nèi)容，提取結(jié)構(gòu)化數(shù)據(jù)，支持從新聞、社交媒體到電商平臺等多種類型網(wǎng)頁的數(shù)據(jù)抓取。
• AI驅(qū)動的交互式Web代理：結(jié)合視覺感知能力，進行UI自動化測試和前端行為分析。
• 智能任務(wù)助手：幫助用戶高效搜索、篩選和總結(jié)信息，提升網(wǎng)頁導(dǎo)航的體驗。
• 低資源占用：僅需3B的參數(shù)，能夠在消費級GPU上高效運行，無需依賴大型云計算資源。

Proxy Lite的技術(shù)原理

• 視覺語言模型（VLM）：結(jié)合視覺感知（圖像識別）與自然語言處理的能力，理解和操作網(wǎng)頁內(nèi)容。
• 三步?jīng)Q策機制：
  • 觀察：評估上一步操作是否成功，并獲取當(dāng)前網(wǎng)頁的狀態(tài)信息。
  • 思考：根據(jù)網(wǎng)頁的當(dāng)前狀態(tài)進行推理，決定下一步的操作。
  • 工具調(diào)用：利用瀏覽器API進行交互，如點擊、輸入和滾動等。
• 瀏覽器交互框架：內(nèi)置的完整瀏覽器控制框架，采用Playwright庫驅(qū)動瀏覽器操作，支持無頭模式（Headless）和隱身模式（Stealth），以降低被反的風(fēng)險。
• 執(zhí)行反饋機制：借鑒DeepSeek R1等模型的反饋機制，在任務(wù)執(zhí)行過程中不斷優(yōu)化決策流程，提高執(zhí)行的準(zhǔn)確性。

Proxy Lite的項目地址

• GitHub倉庫：https://github.com/convergence-ai/proxy-lite

Proxy Lite的應(yīng)用場景

• 網(wǎng)頁自動化操作：自動完成點擊、填寫表單、滾動頁面等任務(wù)，從而減少人工操作的需要。
• 網(wǎng)頁數(shù)據(jù)抓取：提取新聞、電商等網(wǎng)頁的結(jié)構(gòu)化數(shù)據(jù)，便于數(shù)據(jù)分析或內(nèi)容聚合。
• 自動化測試：實現(xiàn)Web應(yīng)用的UI自動化測試，快速檢查界面功能的有效性。
• 智能任務(wù)助手：幫助用戶高效搜索和篩選信息，提升網(wǎng)頁使用的效率。
• 企業(yè)級任務(wù)自動化：支持企業(yè)內(nèi)部流程的自動化，如數(shù)據(jù)錄入和跨系統(tǒng)信息發(fā)布。

常見問題

• Proxy Lite是否免費？ 是的，Proxy Lite 是一款開源的產(chǎn)品，任何人都可以免費使用。
• 我可以在什么硬件上運行Proxy Lite？ Proxy Lite 可以在消費級GPU上高效運行，無需高端設(shè)備。
• 如何開始使用Proxy Lite？ 您可以訪問其GitHub倉庫，獲取安裝說明和使用指南。
• Proxy Lite支持哪些網(wǎng)頁類型？ Proxy Lite 支持多種類型的網(wǎng)頁，包括新聞、社交媒體和電商平臺等。