OpenAI開源了：Transformer自動debug工具上線GitHub

AIGC動態歡迎閱讀

原標題：OpenAI開源了：Transformer自動debug工具上線GitHub
關鍵字：神經元,編碼器,模型,注意力,組件
文章來源：機器之心
內容字數：3472字

內容摘要：

機器之心報道
編輯：澤南不用敲代碼，就可以快速探索模型結構。最近時常被吐槽不夠開源的 OpenAI，突然開放了一次。
今天一早，OpenAI 機器學習研究員 Jan Leike 宣布，OpenAI 開放了自己內部一直用于分析 Transformer 內部結構的工具。GitHub 鏈接：https://github.com/openai/transformer-debugger
該項目開放才幾個小時，雖然沒有經過太多宣傳，star 數量上漲得也挺快。Transformer Debugger 介紹
Transformer Debugger (TDB) 是 OpenAI 對齊團隊（Superalignment）開發的一種工具，旨在支持對小體量語言模型的特定行為進行檢查。據介紹，該工具把自動可解釋性技術與稀疏自動編碼器進行了結合。
具體來說，TDB 能夠在需要編寫代碼之前進行快速探索，并能夠干預前向傳遞，幫助人們查看它是如何影響模型特定行為的。TDB 可用于回答諸如「為什么模型在此提示（prompt）中輸出 token A 而不是 token B？」之類的問題或「為什么注意力頭 H 會在這個提

原文鏈接：OpenAI開源了：Transformer自動debug工具上線GitHub

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺