No More Next-Token Prediction？

本期通訊 24617 字，可免費試讀至 8%。

原標題：No More Next-Token Prediction？
文章來源：機器之心
內容字數：3742字

AI與機器人領域的三大要事解讀

本文對機器之心PRO會員通訊Week 02中提到的三個重要AI&Robotics領域要事進行總結，包括對Next-Token Prediction的質疑、OpenAI的AGI戰略以及Agent的應用前景。

1. 超越Next-Token Prediction：大型概念模型(LCM)的崛起

傳統大型語言模型(LLM)依賴于Next-Token Prediction，即將文本轉換為token序列進行預測。這種方法雖然簡單有效，但其基于離散符號的處理方式與人類連續、復雜的思維方式存在沖突。人類思考問題通常采用分層方法，先規劃整體結構再添加細節，而非逐字逐句地進行。

Meta提出的LCM則試圖改變這種范式。LCM采用“Next-Concept Prediction”，直接在語義空間中進行推理和生成，模型輸入和輸出均為“concept”（概念），而非token。這種“以概念為中心”的范式允許模型在更高層次的抽象層面進行學習和推理，在多語言零樣本泛化能力上超越了同尺寸LLM。LCM的出現引發了業內對tokenization的質疑，被認為是AI認知范式轉變的新起點，并與Meta的其他研究成果（如BLT、JEPA）結合，展現出巨大的潛力。

LCM的核心在于將抽象層次限定為subword token和concept兩個層面，概念被定義為與語言和模態無關的抽象實體，代表更高層次的想法或行為。通過將句子還原成概念序列，LCM實現了更接近人類思維方式的推理和生成。

2. OpenAI的AGI戰略：商業化與“神奇藥水”的平衡

OpenAI CEO Sam Altman公開表示，OpenAI的目標既是賺錢，也是創造“神奇藥水”——通用人工智能(AGI)。 OpenAI對AGI定義的轉變被解讀為其商業化戰略調整。 “通用”二字代表著巨大的商業價值，因為通用人工智能系統能夠應用于更廣泛的領域，成為“金蘋果”。Agent被認為是AGI的重要機會，因為它能夠在現實世界中與環境交互，并執行復雜任務。

3. Agent：25年產品落地的最佳方式？

谷歌發布的Agent白皮書認為，Agent是未來25年產品落地的最佳方式。Agent與傳統的LLM不同，它能夠與外界環境交互，并根據環境反饋調整自身行為。Agent的核心在于其編排層，它負責協調各個組件之間的工作，并制定Agent的行動策略。Agent與環境交互的工具多種多樣，例如機器人、API等等。提升Agent性能的關鍵在于優化其編排層，并設計更有效的交互策略。

總而言之，這三項要事代表了AI領域一些重要的發展方向：從底層架構的革新(LCM)，到AGI戰略的商業化考量(OpenAI)，以及面向應用落地的Agent技術(谷歌)，都預示著AI技術正朝著更強大、更通用、更貼近實際應用的方向發展。

聯系作者

文章來源：機器之心
作者微信：
作者簡介：專業的人工智能媒體和產業服務平臺