不依賴token，字節級模型來了！直接處理二進制數據

AIGC動態歡迎閱讀

原標題：不依賴token，字節級模型來了！直接處理二進制數據
關鍵字：字節,騰訊,模型,數據,序列
文章來源：量子位
內容字數：5503字

內容摘要：

數字游民 投稿量子位 | 公眾號 QbitAI最新GPT，不預測token了。
微軟亞研院等發布bGPT，仍舊基于Transformer，但是模型預測的是下一個字節（byte）。
通過直接處理原生二進制數據，bGPT將所有輸入內容都視為字節序列，從而可以不受限于任何特定的格式或任務。
能預測CPU行為，準確率超過99.99%；還能直接模擬MIDI——一種音樂傳輸和存儲的標準格式。
研究團隊認為，傳統的深度學習往往忽視了字節——數字世界的構建基石。
不論是信息的形式還是操作，都是通過二進制格式編碼和處理的。字節構成了所有數據、設備和軟件的基礎，從計算機處理器到我們日常使用的電子產品中的操作系統。
這篇論文的標題清晰地指出了其目標：
超越語言模型：將字節模型作為數字世界的模擬器。
模擬CPU行為準確率超99.99%bGPT通過字節級處理，不僅能夠應用于常規的AI生成和理解任務，還能處理更多非傳統應用。
例如，它能夠直接模擬MIDI——一種音樂傳輸和存儲的標準格式，之前的研究由于MIDI的二進制本質而避免了直接對這類數據的建模。
但bGPT天生適合此類任務。它能夠準確模擬符號音樂數據轉換算法

原文鏈接：不依賴token，字節級模型來了！直接處理二進制數據

聯系作者

文章來源：量子位
作者微信：QbitAI
作者簡介：追蹤人工智能新趨勢，關注科技行業新突破