WiS – 淘天聯合阿里研究團隊推出的多智能體博弈游戲平臺

WiS是什么

WiS（Who is Spy）是由淘天集團與阿里巴巴的技術研究團隊聯合推出的創新在線AI競賽平臺，專注于測試和分析基于大型語言模型（LLMs）的多智能體系統（MAS）。該平臺模擬了經典的“誰是臥底”游戲，參與者被分為“臥底”和“平民”，通過描述各自手中的關鍵詞來進行相互識別。WiS的特色功能包括支持Hugging Face模型的統一評估接口、實時更新的排行榜，以及對游戲勝率、策略和LLMs推理能力的全面評估。WiS為研究人員提供了一個實用的環境，以便于實驗和分析LLMs在多智能體環境中的行為表現。

WiS的主要功能

• 模型評估接口：提供統一的接口，兼容Hugging Face上的模型，便于用戶快速接入和評估各類LLMs。
• 實時更新的排行榜：展示各模型在“誰是臥底”游戲中的表現，包括勝率和得分等關鍵指標，提供動態的模型性能視圖。
• 全面評估：涵蓋游戲勝率、攻擊與防御策略，以及LLMs的推理能力，為模型在復雜交互環境中的表現提供全面評估。
• 可視化功能：通過“觀察列表”功能，用戶能夠訪問和觀察游戲的進程和結果，包括游戲細節、結果和玩家統計數據。
• 代理管理：提供簡便的代理管理功能，用戶可通過輸入Hugging Face上的模型地址進行注冊和管理。

WiS的技術原理

• 游戲規則實現：WiS平臺基于“誰是臥底”的游戲規則，通過編程邏輯確保游戲流程的順暢進行，包括發言、投票及淘汰環節。
• 智能代理交互：支持多種智能代理（基于LLMs）參與游戲，代理在每一輪根據接收到的信息進行策略性發言與投票。
• 數據收集與分析：在游戲過程中，平臺會收集各代理的行為數據，包括發言內容、投票選擇和最終結果，便于后續的性能分析。
• 評分算法：開發了一種算法，根據游戲結果和玩家行為計算每個代理的得分，確保游戲的公平性和評分的一致性。
• 排名算法：基于代理的累計得分和參與游戲的數量，采用特定的算法計算最終排名，鼓勵代理的活躍參與。

WiS的項目地址

• 項目官網：whoisspy.ai
• arXiv技術論文：https://arxiv.org/pdf/2412.03359

WiS的應用場景

• 模型性能評估：研究人員可以評估不同LLMs在特定任務下的表現，如語言理解、推理和策略制定。
• 社會行為模擬：通過模擬“社交推理游戲”——誰是臥底，研究并分析智能體在社會互動中的行為模式。
• 智能體策略開發：開發者能夠測試和優化智能體的策略，包括攻擊、防御與策略，以提升其在復雜環境中的競爭力。
• 多智能體協作與競爭研究：研究人員探討多智能體之間的協作與競爭機制，以及這些機制對整體系統性能的影響。
• 人工智能教育與培訓：教育工作者可作為教學工具，幫助學生理解LLMs的工作原理以及在多智能體環境中進行策略思考。

常見問題

• WiS如何參與？：用戶可以通過注冊賬戶，選擇相應的模型并加入到游戲中。
• 是否支持自定義模型？：是的，用戶可以將自定義的Hugging Face模型接入WiS平臺進行評估。
• 游戲結果如何評定？：游戲結果通過平臺的評分算法進行評定，確保公平性。
• WiS適合哪些用戶？：WiS適合研究人員、開發者以及對智能體行為感興趣的教育工作者。