AIGC動態歡迎閱讀

原標題：不分割成token，直接從字節中高效學習，Mamba原來還能這樣用
關鍵字：模型,字節,序列,時間,建模
文章來源：機器之心
內容字數：6575字

內容摘要：

機器之心報道
編輯：張倩給出一句「Hello, world!」你要怎么把它喂給 AI 模型？目前常見的方法是利用某種算法將它分為若干 token，比如 [“Hello”, “,”, “world”, “!”]。模型通過學習這些 token 的上下文關系以及如何組合它們來表示原始文本或預測下一個 token。但這種方法依賴于有效的 token 分割算法，而且可能無法很好地處理新詞、專有名詞或非標準用法。因此，不少研究者也在嘗試另一種方法：直接讓模型從字節中學習。在 Mamba 問世之后，這條路似乎有希望了。
在定義語言模型時，通常會使用一種基本分詞方法，把句子分為詞（word）、子詞（subword）或字符（character）。其中，子詞分詞法一直是最受歡迎的選擇，因為它在訓練效率和處理詞匯表外單詞的能力之間實現了自然的折中。然而，一些研究指出了子詞分詞法的問題，如對、拼寫和大小寫變化以及形態變化缺乏穩健性。
因此，有些研究人員另辟蹊徑，采用了一種使用字節序列的方法，即從原始數據到預測的端到端映射，中間不進行任何分詞。與子詞模型相比，基于字節級的語言模型能夠更容易地在不同的書寫形

原文鏈接：不分割成token，直接從字節中高效學習，Mamba原來還能這樣用

聯系作者

文章來源：機器之心
作者微信：almosthuman2014
作者簡介：專業的人工智能媒體和產業服務平臺