AI 在 藥物發(fā)現(xiàn) 和 機(jī)器人技術(shù) 方面都有了突破性的進(jìn)展，也正在讓我們與機(jī)器和網(wǎng)絡(luò)之間的交互方式產(chǎn)生翻天覆地的變化。

原標(biāo)題：谷歌 DeepMind 有了觀(guān)察人工智能 “想法 ”的新方法
文章來(lái)源：AI前線(xiàn)
內(nèi)容字?jǐn)?shù)：7221字

人工智能的機(jī)制可解釋性研究進(jìn)展

近年來(lái)，人工智能（AI）在藥物發(fā)現(xiàn)和機(jī)器人技術(shù)等領(lǐng)域取得了顯著進(jìn)展，同時(shí)也改變了我們與機(jī)器和網(wǎng)絡(luò)的交互方式。然而，對(duì)這些 AI 模型的工作原理和表現(xiàn)機(jī)制仍然缺乏深入了解。谷歌 DeepMind 的研究團(tuán)隊(duì)正在探索一種名為“機(jī)制可解釋性”的方法，旨在揭示 AI 背后的秘密。

新工具 Gemma Scope 的推出

DeepMind 于七月底發(fā)布了 Gemma Scope，這是一個(gè)幫助研究人員理解 AI 輸出生成過(guò)程的工具。該工具旨在通過(guò)分析模型內(nèi)部來(lái)提高對(duì) AI 系統(tǒng)的控制，進(jìn)而開(kāi)發(fā)出更優(yōu)秀的 AI 模型。團(tuán)隊(duì)負(fù)責(zé)人 Neel Nanda 表示，了解模型的思維過(guò)程將有助于改進(jìn) AI 的應(yīng)用。

稀疏自動(dòng)編碼器的應(yīng)用

DeepMind 通過(guò)在 AI 模型 Gemma 的每一層運(yùn)行“稀疏自動(dòng)編碼器”，來(lái)提取代表更大概念的特征。稀疏自動(dòng)編碼器如同顯微鏡，能夠放大并觀(guān)察模型內(nèi)部細(xì)節(jié)。它限制了神經(jīng)元的使用數(shù)量，以更高效地展示數(shù)據(jù)特征，幫助研究人員理解 AI 如何響應(yīng)特定輸入。

研究者的探索與發(fā)現(xiàn)

Neuronpedia 平臺(tái)與 DeepMind 合作，提供了一個(gè)體驗(yàn)版 demo，允許用戶(hù)測(cè)試不同的提示并觀(guān)察模型的特征激活情況。通過(guò)調(diào)試，研究者可以發(fā)現(xiàn)模型的反應(yīng)與特定概念的關(guān)聯(lián)，如“難堪”特征的激活情況。盡管有些特征更易追蹤，但識(shí)別模型中的錯(cuò)誤部分仍然是一個(gè)挑戰(zhàn)。

機(jī)制可解釋性的未來(lái)應(yīng)用

機(jī)制可解釋性研究的潛在應(yīng)用廣泛。研究者利用稀疏自動(dòng)編碼器，發(fā)現(xiàn)特定模型將某些職業(yè)與性別相關(guān)聯(lián)的特征，從而減少偏見(jiàn)。這項(xiàng)研究的成功在小規(guī)模模型上完成，但其適用性尚待驗(yàn)證。此外，研究者希望通過(guò)更深入的理解來(lái)避免 AI 在特定情況下輸出錯(cuò)誤的信息。

總結(jié)

盡管機(jī)制可解釋性研究仍面臨挑戰(zhàn)，但它為理解 AI 的內(nèi)部邏輯和改進(jìn)模型提供了新的思路。隨著研究的深入，未來(lái)可能會(huì)實(shí)現(xiàn)對(duì) AI 輸出的精細(xì)控制，從而確保其表現(xiàn)符合預(yù)期。

聯(lián)系作者

文章來(lái)源：AI前線(xiàn)
作者微信：
作者簡(jiǎn)介：面向AI愛(ài)好者、開(kāi)發(fā)者和科學(xué)家，提供大模型最新資訊、AI技術(shù)分享干貨、一線(xiàn)業(yè)界實(shí)踐案例，助你全面擁抱AIGC。