AI 首次在網(wǎng)絡(luò)安全方面被評為中等風(fēng)險。

原標(biāo)題：今天，OpenAI Deep Research已向所有付費用戶開放，系統(tǒng)卡發(fā)布
文章來源：機(jī)器之心
內(nèi)容字?jǐn)?shù)：6550字

OpenAI Deep Research：更強(qiáng)大、更安全的互聯(lián)網(wǎng)信息研究工具

OpenAI 近期正式向所有 ChatGPT Plus、Team、Edu 和 Enterprise 用戶推出 Deep Research，這款強(qiáng)大的智能體能夠利用推理能力綜合大量在線信息，完成多步驟研究任務(wù)，幫助用戶進(jìn)行深入復(fù)雜的信息查詢與分析。此前，Deep Research 僅限于 Pro 用戶使用。

1. Deep Research 的核心能力

   Deep Research 基于 OpenAI o3 正式版模型，而非 o3-mini。它能夠搜索、解讀和分析互聯(lián)網(wǎng)上的文本、圖像和 PDF，并根據(jù)信息進(jìn)行調(diào)整。它還能讀取用戶提供的文件，并通過編寫和執(zhí)行 Python 代碼來分析數(shù)據(jù)。其訓(xùn)練數(shù)據(jù)包含一系列任務(wù)，從客觀自動評分任務(wù)到更開放的任務(wù)，并使用思維鏈模型進(jìn)行評分。

2. 嚴(yán)格的安全測試和風(fēng)險緩解

   在發(fā)布前，OpenAI 對 Deep Research 進(jìn)行了嚴(yán)格的安全測試，包括外部紅隊測試、風(fēng)險評估和治理審查。測試重點關(guān)注個人信息和隱私保護(hù)，以及模型對惡意指令的抵抗能力。OpenAI 還開發(fā)了新的評估方法，以更好地衡量 Deep Research 的能力和風(fēng)險，并采取了相應(yīng)的緩解措施。

3. 風(fēng)險識別、評估和緩解措施

   外部紅隊測試重點關(guān)注個人信息和隱私、不允許的內(nèi)容、危險建議等風(fēng)險領(lǐng)域。紅隊成員嘗試通過各種對抗策略規(guī)避模型的安全措施，OpenAI 根據(jù)測試結(jié)果對模型進(jìn)行改進(jìn)。報告中詳細(xì)列出了每個風(fēng)險的評估和緩解措施。

4. 準(zhǔn)備度框架評估

   OpenAI 使用準(zhǔn)備度框架對 Deep Research 進(jìn)行了評估，該框架涵蓋網(wǎng)絡(luò)安全、CBRN、說服和模型自主性四個風(fēng)險類別。Deep Research 在評估中被評為總體中等風(fēng)險，其中網(wǎng)絡(luò)安全方面首次被評為中等風(fēng)險。該評估涵蓋了模型的多個階段，包括緩解前和緩解后的版本。

5. 性能評估和結(jié)果

   Deep Research 在 SWE-Lancer Diamond 測試中表現(xiàn)出色，緩解后的模型在解決 IC SWE 和 SWE Manager 任務(wù)方面表現(xiàn)最佳。報告中提供了更詳細(xì)的評估結(jié)果和置信區(qū)間，并討論了評估方法的局限性。

總而言之，Deep Research 是一個功能強(qiáng)大且經(jīng)過嚴(yán)格安全測試的互聯(lián)網(wǎng)信息研究工具。OpenAI 持續(xù)改進(jìn)其安全性和性能，致力于為用戶提供更可靠、更有效的工具。

聯(lián)系作者

文章來源：機(jī)器之心
作者微信：
作者簡介：專業(yè)的人工智能媒體和產(chǎn)業(yè)服務(wù)平臺