分析100萬條人與AI對話的背后：人類沒有看一條對話｜甲子光年

一個(gè)可深入了解真實(shí)世界AI使用情況并保護(hù)用戶隱私的系統(tǒng)。

原標(biāo)題：分析100萬條人與AI對話的背后：人類沒有看一條對話｜甲子光年
文章來源：甲子光年
內(nèi)容字?jǐn)?shù)：8580字

Anthropic 的 Clio 系統(tǒng)：兼顧 AI 使用洞察與用戶隱私

本文介紹了Anthropic公司開發(fā)的Clio系統(tǒng)，它能夠深入了解真實(shí)世界AI的使用情況，同時(shí)有效保護(hù)用戶隱私。Anthropic利用Clio分析了百萬條用戶與Claude對話數(shù)據(jù)，揭示了AI的多種應(yīng)用場景和不同語言用戶的偏好差異，并闡述了Clio系統(tǒng)的設(shè)計(jì)理念及運(yùn)作方式。

Claude 的主要應(yīng)用場景及語言差異
通過分析百萬條用戶與Claude的對話數(shù)據(jù)，Anthropic發(fā)現(xiàn)Claude的主要應(yīng)用場景是網(wǎng)頁和移動(dòng)應(yīng)用開發(fā)(10.4%)，其次是內(nèi)容創(chuàng)作與溝通、學(xué)術(shù)研究與寫作、教育與職業(yè)發(fā)展以及高級AI/ML應(yīng)用。此外，不同語言的用戶使用習(xí)慣也存在差異，例如中文用戶更傾向于使用Claude創(chuàng)作犯罪、驚悚小說，西班牙語用戶則更關(guān)注經(jīng)濟(jì)理論分析，日語用戶則偏好動(dòng)漫及漫畫內(nèi)容創(chuàng)作。
Clio 系統(tǒng)：保護(hù)隱私的 AI 使用情況分析
Clio 系統(tǒng)的核心在于利用 Claude 本身對用戶對話進(jìn)行分析，而非依賴人工閱讀。它通過提取對話特征、進(jìn)行語義聚類、生成聚類描述以及建立層級結(jié)構(gòu)，最終呈現(xiàn)給分析師的是去除了個(gè)人隱私信息的摘要和總結(jié)。整個(gè)過程完全由 Claude 自動(dòng)完成，確保了用戶隱私的安全性。Clio 還設(shè)置了最小閾值，避免低頻主題意外暴露。
Clio 的安全性和自下而上的分析方法
Anthropic 利用 Clio 不僅是為了了解用戶習(xí)慣，更重要的是為了改進(jìn) AI 模型的安全措施。Clio 采用自下而上的自動(dòng)分析方法，這與傳統(tǒng)的自上而下的紅隊(duì)測試不同，能夠更靈活全面地發(fā)現(xiàn)潛在安全問題，例如檢測垃圾郵件行為或其他違反道德規(guī)范的活動(dòng)。Clio 還提升了現(xiàn)有分類器的準(zhǔn)確性，減少了誤判。
Anthropic 對安全的重視及其商業(yè)化策略
Anthropic 成立之初就將安全性和可解釋性放在首位，這體現(xiàn)在他們謹(jǐn)慎的發(fā)布節(jié)奏和對 Claude 模型的持續(xù)安全測試上。盡管對安全的極度重視可能影響 AI 技術(shù)發(fā)展速度，但這種策略也為 Anthropic 帶來了良好的商業(yè)化成果，尤其是在軟件開發(fā)領(lǐng)域。其對安全的重視也體現(xiàn)在對Clio系統(tǒng)的持續(xù)審計(jì)和改進(jìn)上，以確保隱私保護(hù)措施的有效性。
對 AI 安全的思考
Anthropic 認(rèn)為，深入了解 AI 系統(tǒng)的使用方式，才能有效執(zhí)行安全策略，減輕模型潛在危害，理解模型對用戶情感的影響。他們重視用戶與 Claude 在脆弱時(shí)刻的互動(dòng)，希望 Claude 能成為可靠的伙伴。這也體現(xiàn)了 Anthropic 對 AI 安全和倫理的深刻思考。

聯(lián)系作者

文章來源：甲子光年
作者微信：
作者簡介：甲子光年是一家科技智庫，包含智庫、社群、企業(yè)服務(wù)版塊，立足中國科技創(chuàng)新前沿陣地，動(dòng)態(tài)跟蹤頭部科技企業(yè)發(fā)展和傳統(tǒng)產(chǎn)業(yè)技術(shù)升級案例，推動(dòng)人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、云計(jì)算、新能源、新材料、信息安全、大健康等科技創(chuàng)新在產(chǎn)業(yè)中的應(yīng)用與落地。

閱讀原文