單個模型的優缺點也能分析

原標題：任意Prompt就能給大模型實時排名！競技場新玩法，還能自動找最佳AI來作答
文章來源：量子位
內容字數：4030字

競技場新功能：Prompt-to-Leaderboard (P2L)——大模型實時排名新玩法

文章介紹了競技場（lmarena.ai）最新推出的P2L（Prompt-to-Leaderboard）排名系統，該系統允許用戶輸入任意Prompt，實時獲得針對該Prompt的大模型排名，從而精準找到最適合處理特定任務的模型。

1. P2L 的核心功能與優勢

P2L 的核心在于根據用戶輸入的Prompt，而非全局數據，實時生成模型排名。這意味著，對于不同的Prompt，排名結果也會有所不同。例如，針對數學計算Prompt，擅長計算的模型排名靠前；針對需要創造性回答的Prompt，則不受審查限制的模型排名更高。這與傳統的全局排行榜相比，更能反映模型在特定任務下的實際表現。

2. P2L 的實際應用案例

文章通過多個案例展示了P2L 的實際效果。包括簡單的算術題、要求不合適的Prompt、復雜的編程任務，以及一些更具趣味性的“弱智吧”風格的中文Prompt。結果顯示，不同類型的Prompt會產生不同的排名結果，例如在“弱智吧”類型的Prompt中，Grok 3 和 DeepSeek R1 表現突出。

3. 競技場其他功能

除了P2L，競技場還提供其他功能，例如根據細分任務類別進行實時排名，以及通過對話方式輸入Prompt，由系統自動選擇最合適的模型進行回答。此外，還提供“P2L Explorer”欄目，方便用戶查看不同類別和特定模型的排名及優缺點。

4. P2L 的技術原理與優勢

文章簡述了P2L 的技術原理，它基于Bradley-Terry (BT) 模型，通過訓練一個LLM 來預測人類偏好投票，從而為每個Prompt生成特定排行榜。與傳統的全局排行榜相比，P2L 考慮了Prompt 對模型性能的影響，更準確地評估模型在特定任務下的表現。實驗結果表明，P2L 在預測人類偏好方面優于傳統方法，尤其是在模型和數據集規模增加時，其優勢更加明顯。

5. 網友質疑與官方回應

文章也提到了網友對 P2L 排名可靠性的質疑，以及競技場官方通過論文《Prompt to Leaderboard》進行回應。該論文詳細闡述了P2L 的技術細節和優勢，并指出其在Chatbot Arena 上取得了領先的成績。

6. 總結

競技場的P2L功能為大模型的評估和選擇提供了一種新的思路，它更注重模型在特定任務下的表現，而非全局性能。雖然仍存在一些需要改進之處，但其創新性以及在特定場景下的實用性，使其成為大模型評估領域一個值得關注的新方向。 文章末尾也提供了體驗地址，方便讀者自行體驗。

聯系作者

文章來源：量子位
作者微信：
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破