<span id="3dn8r"></span>
    1. <span id="3dn8r"><optgroup id="3dn8r"></optgroup></span><li id="3dn8r"><meter id="3dn8r"></meter></li>

        萬字梳理:揭秘 DeepSeek 中的 RL 與 AGI 下一步丨AIR 2025

        AIGC動態6個月前發布 AI科技評論
        695 0 0

        Transformer架構的非遞歸設計阻礙了跨層的記憶共享,或限制模型泛化能力。

        萬字梳理:揭秘 DeepSeek 中的 RL 與 AGI 下一步丨AIR 2025

        原標題:萬字梳理:揭秘 DeepSeek 中的 RL 與 AGI 下一步丨AIR 2025
        文章來源:AI科技評論
        內容字數:51445字

        DeepSeek及其背后的AI推理能力探索

        本文總結了AI智能體推理與決策研討會(AIR 2025)上關于DeepSeek及其相關人工智能推理能力研究的精彩討論。會議匯聚了來自倫敦大學學院、加州大學伯克利分校、普林斯頓大學等多所高校及Meta、華為等企業的專家學者,圍繞強化學習、推理決策、AI智能體等議題展開深入探討。

        1. DeepSeek的開放訓練方法

        華盛頓大學Hanna Hajishirai教授團隊的研究揭示了DeepSeek采用的語言模型推理開放訓練方法,該方法包含三個階段:指令微調(SFT)、偏好微調以及具有可驗證獎勵的強化學習。SFT通過指令和任務引導模型學習遵循指令;偏好微調則通過比較不同完成結果,選擇更優結果來優化模型;強化學習則利用可驗證獎勵(例如,最終答案是否正確)進一步提升模型推理能力。該團隊還通過角色扮演生成大量高質量數據,并利用混合數據策略優化模型性能,在數學推理等任務上取得了顯著提升。

        2. Transformer的隱式推理能力

        俄亥俄州立大學Huan Sun教授團隊的研究探討了Transformer模型的隱式推理能力。研究發現,模型的泛化速度與其訓練數據總量關系不大,而與“推斷事實”與“原子事實”的比例密切相關,比例越高,泛化速度越快。通過logit lens分析,研究團隊揭示了模型內部的“泛化電路”,并指出Transformer架構的非遞歸性限制了跨層記憶共享,從而影響了模型的泛化能力。

        3. 符號結構與神經網絡的統一

        Meta GenAI田淵棟教授總結了應對大語言模型局限的幾種方法:數據規模擴展、測試時擴展(使用更大模型、工具或思維鏈)以及符號結構與神經網絡表示的統一。他介紹了利用梯度上升訓練神經網絡以發現符號結構的初步嘗試,但該方法仍處于早期階段。

        4. 基于API的網絡智能體

        卡內基梅隆大學Graham Neubig教授團隊的研究提出了一種混合Agent方案,該Agent能夠交替執行網頁瀏覽和API調用操作,結合兩種方式的優勢,提升了Agent在復雜網絡任務中的性能。研究指出,高質量的API對于提升Agent性能至關重要。

        5. 形式化數學推理

        普林斯頓大學金馳教授團隊介紹了其開發的開源大模型Goedel-Prover,該模型通過將自然語言數學問題翻譯成形式語言(如Lean 4),并生成形式化證明,在自動定理證明方面達到了世界領先水平。該團隊還探討了形式化數學推理領域的數據稀缺問題,并提出了一些解決方法,例如自動形式化和神經猜想。

        總結

        AIR 2025會議的討論展現了當前AI推理能力研究的前沿進展,DeepSeek作為其中的代表,其基于強化學習的開放訓練方法為提升大語言模型推理能力提供了新的思路。同時,與會專家們也指出了Transformer架構的局限性以及未來研究方向,包括提高數據質量、改進模型架構、探索符號與神經網絡的統一等,為推動AI智能體推理與決策能力的進一步發展奠定了基礎。


        聯系作者

        文章來源:AI科技評論
        作者微信:
        作者簡介:雷峰網旗下AI新媒體。聚焦AI前沿研究,關注AI工程落地。

        閱讀原文
        ? 版權聲明
        蟬鏡AI數字人

        相關文章

        蟬鏡AI數字人

        暫無評論

        暫無評論...
        主站蜘蛛池模板: 亚洲av永久无码精品网址| 亚洲日韩AV一区二区三区四区| 国产在线精品观看免费观看| 亚洲?v无码国产在丝袜线观看| 男女男精品网站免费观看| 中文字幕亚洲天堂| 国内精品免费在线观看| 亚洲一区二区中文| 久久久久久国产a免费观看黄色大片| 亚洲三级中文字幕| 日韩精品免费一区二区三区| 羞羞漫画在线成人漫画阅读免费 | 免费在线观看一级片| 国产成人精品日本亚洲| 免费人成在线观看网站品爱网 | 亚洲国产亚洲综合在线尤物| 免费无码精品黄AV电影| 久久水蜜桃亚洲AV无码精品| 四虎精品亚洲一区二区三区| 中文在线观看免费网站| 1区1区3区4区产品亚洲| 成人免费无码视频在线网站| 美女免费视频一区二区| 亚洲精品成人无限看| 日本免费网站视频www区| 亚洲av无码片vr一区二区三区 | 最近2019免费中文字幕视频三| 亚洲三级视频在线| heyzo亚洲精品日韩| 日本黄色动图免费在线观看| 久久精品国产亚洲αv忘忧草| 免费永久看黄在线观看app| 免费看一区二区三区四区| 最近中文字幕mv免费高清视频7| 久久亚洲欧美国产精品| 亚洲Av综合色区无码专区桃色| jizz在线免费播放| 亚洲制服在线观看| 久久精品国产亚洲7777| 免费观看AV片在线播放| 久久久精品视频免费观看|