一個可深入了解真實世界AI使用情況并保護用戶隱私的系統。

原標題：分析100萬條人與AI對話的背后：人類沒有看一條對話｜甲子光年
文章來源：甲子光年
內容字數：8580字

Anthropic 的 Clio 系統：兼顧 AI 使用洞察與用戶隱私

本文介紹了Anthropic公司開發的Clio系統，它能夠深入了解真實世界AI的使用情況，同時有效保護用戶隱私。Anthropic利用Clio分析了百萬條用戶與Claude對話數據，揭示了AI的多種應用場景和不同語言用戶的偏好差異，并闡述了Clio系統的設計理念及運作方式。

1. Claude 的主要應用場景及語言差異

   通過分析百萬條用戶與Claude的對話數據，Anthropic發現Claude的主要應用場景是網頁和移動應用開發(10.4%)，其次是內容創作與溝通、學術研究與寫作、教育與職業發展以及高級AI/ML應用。此外，不同語言的用戶使用習慣也存在差異，例如中文用戶更傾向于使用Claude創作犯罪、驚悚小說，西班牙語用戶則更關注經濟理論分析，日語用戶則偏好動漫及漫畫內容創作。

2. Clio 系統：保護隱私的 AI 使用情況分析

   Clio 系統的核心在于利用 Claude 本身對用戶對話進行分析，而非依賴人工閱讀。它通過提取對話特征、進行語義聚類、生成聚類描述以及建立層級結構，最終呈現給分析師的是去除了個人隱私信息的摘要和總結。整個過程完全由 Claude 自動完成，確保了用戶隱私的安全性。Clio 還設置了最小閾值，避免低頻主題意外暴露。

3. Clio 的安全性和自下而上的分析方法

   Anthropic 利用 Clio 不僅是為了了解用戶習慣，更重要的是為了改進 AI 模型的安全措施。Clio 采用自下而上的自動分析方法，這與傳統的自上而下的紅隊測試不同，能夠更靈活全面地發現潛在安全問題，例如檢測垃圾郵件行為或其他違反道德規范的活動。Clio 還提升了現有分類器的準確性，減少了誤判。

4. Anthropic 對安全的重視及其商業化策略

   Anthropic 成立之初就將安全性和可解釋性放在首位，這體現在他們謹慎的發布節奏和對 Claude 模型的持續安全測試上。盡管對安全的極度重視可能影響 AI 技術發展速度，但這種策略也為 Anthropic 帶來了良好的商業化成果，尤其是在軟件開發領域。 其對安全的重視也體現在對Clio系統的持續審計和改進上，以確保隱私保護措施的有效性。

5. 對 AI 安全的思考

   Anthropic 認為，深入了解 AI 系統的使用方式，才能有效執行安全策略，減輕模型潛在危害，理解模型對用戶情感的影響。 他們重視用戶與 Claude 在脆弱時刻的互動，希望 Claude 能成為可靠的伙伴。 這也體現了 Anthropic 對 AI 安全和倫理的深刻思考。

聯系作者

文章來源：甲子光年
作者微信：
作者簡介：甲子光年是一家科技智庫，包含智庫、社群、企業服務版塊，立足中國科技創新前沿陣地，動態跟蹤頭部科技企業發展和傳統產業技術升級案例，推動人工智能、大數據、物聯網、云計算、新能源、新材料、信息安全、大健康等科技創新在產業中的應用與落地。