PC Agent

PC Agent – 上海交大聯合 GAIR 推出的電腦智能體AI系統

PC Agent是什么

PC Agent是由上海交通大學與Generative AI Research Lab (GAIR)共同開發的一款前沿人工智能系統。該系統模擬人類的認知過程，能夠高效地執行組織研究資料、撰寫報告和制作演示文稿等復雜的數字任務。PC Agent整合了PC Tracker，能夠高效地收集人機交互數據，并通過兩階段認知流程將原始數據轉化為具有認知價值的軌跡。其多智能體系統架構結合了規劃智能體與定位智能體，實現了精準的視覺定位與決策制定。在有限的高質量認知數據訓練下，PC Agent能夠處理多達50步的復雜工作流程，展現出卓越的數據利用效率和實際應用潛力。

PC Agent的主要功能

• 任務自動化：自動執行復雜的數字化任務，諸如組織研究材料、撰寫報告及制作演示文稿。
• 人機交互數據收集：通過PC Tracker收集用戶與計算機的交互軌跡和認知上下文信息。
• 認知軌跡轉化：利用兩階段認知流程將原始交互數據轉換為富含認知信息的軌跡。
• 復雜工作處理：能夠處理涉及多個應用程序的復雜工作流程，例如在PowerPoint與瀏覽器之間切換以收集信息。
• 多智能體協作：結合規劃智能體與定位智能體，確保決策的有效性與視覺定位的準確性。
• 少量數據訓練：僅依賴少量的認知軌跡數據，便能執行復雜的工作流程。

PC Agent的技術原理

• PC Tracker：
  • 數據收集：在后臺默默運行，記錄用戶的鍵盤與鼠標活動，捕捉屏幕截圖，從而收集人機交互的數據。
  • 跟蹤：采用基于的跟蹤策略，記錄關鍵用戶操作，以減少存儲需求而非持續的視頻流。
  • 動作空間統一：將鍵盤和鼠標操作整合為統一的動作空間，從而簡化AI對人類行為的理解。
• 認知完成流程：
  • 數據精煉：通過軌跡過濾、動作過濾與標準化，提升原始交互數據的質量。
  • 動作語義完成：為點擊相關動作補充語義信息，以生成高質量的點擊目標描述。
  • 思維過程重建：基于動作語義信息，重建每個動作背后的隱含推理過程。
• 多智能體系統：
  • 規劃智能體：負責制定行動決策，基于學習人類認知軌跡以獲得有效的規劃能力。
  • 定位智能體：負責執行點擊相關的動作，并具備自我驗證機制，以實現接近人類的精準度。
  • 錯誤修正機制：當定位智能體發現規劃智能體試圖點擊的目標在屏幕上不存在時，會提示規劃智能體重新制定行動計劃。

PC Agent的項目地址

• 項目官網：gair-nlp.github.io/PC-Agent
• GitHub倉庫：https://github.com/GAIR-NLP/PC-Agen
• arXiv技術論文：https://arxiv.org/pdf/2412.17589

PC Agent的應用場景

• 辦公自動化：自動創建和編輯文檔、表格以及演示文稿，從而提升日常辦公效率。
• 研究與學術：整理和分析研究數據，自動生成文獻綜述，輔助撰寫學術論文。
• 內容創作：自動進行排版和布局，提高內容創作的效率和質量。
• 項目管理：自動更新項目報告，協調團隊任務，優化項目管理流程。
• 客戶服務：管理客戶數據，提供快速且個性化的客戶支持。

常見問題

• PC Agent的使用是否需要專業知識？：不需要，PC Agent設計為用戶友好，普通用戶也能輕松上手。
• 系統支持哪些操作系統？：PC Agent兼容主流操作系統，如Windows和MacOS。
• 如何獲取PC Agent的更新？：用戶可以通過項目官網或GitHub頁面獲取最新版本和更新信息。
• PC Tracker的數據安全性如何保障？：PC Tracker嚴格遵循數據保護規范，確保用戶數據的安全性和隱私。