DeepSeek的寫作能力為何飛躍？PTX是否真正做到了繞開CUDA的壟斷？

原標(biāo)題：DeepSeek最強(qiáng)專業(yè)拆解來了，清交復(fù)教授超硬核解讀
文章來源：智東西
內(nèi)容字?jǐn)?shù)：38112字

DeepSeek的飛躍與中國大模型發(fā)展

本文總結(jié)了智東西對(duì)DeepSeek技術(shù)突破的報(bào)道，以及五位高校教授對(duì)其技術(shù)原理、未來方向和中國大模型發(fā)展路徑的解讀。

1. DeepSeek R1：復(fù)現(xiàn)OpenAI o1的強(qiáng)推理能力

DeepSeek R1成功復(fù)現(xiàn)了OpenAI o1的深度推理能力，并開源了詳細(xì)的技術(shù)介紹。其訓(xùn)練流程的兩大亮點(diǎn)是：一是創(chuàng)造性地基于大規(guī)模強(qiáng)化學(xué)習(xí)，實(shí)現(xiàn)了純RL驅(qū)動(dòng)的強(qiáng)推理模型R1-Zero；二是將強(qiáng)化學(xué)習(xí)能力泛化到寫作等其他領(lǐng)域，提升了模型的跨任務(wù)泛化能力。R1的成功，得益于其基于規(guī)則的強(qiáng)化學(xué)習(xí)方法，以及深度推理SFT數(shù)據(jù)和通用SFT數(shù)據(jù)的混合微調(diào)。

2. DeepSeek的成本優(yōu)化策略

DeepSeek V3的預(yù)訓(xùn)練成本相對(duì)較低，這歸功于其在系統(tǒng)軟件方面的優(yōu)化。DeepSeek采用了MoE架構(gòu)，并通過負(fù)載均衡優(yōu)化、通信優(yōu)化、內(nèi)存優(yōu)化和計(jì)算優(yōu)化等策略，顯著提升了訓(xùn)練效率，降低了成本。例如，它使用了Auxiliary-Loss-Free Load Balancing策略來解決MoE架構(gòu)的負(fù)載均衡問題，并通過DualPipe算法來降低專家并行帶來的通信開銷。

3. PTX優(yōu)化與CUDA壟斷

DeepSeek利用定制的PTX指令和自動(dòng)調(diào)整通信塊大小，減少了L2緩存的使用和對(duì)其他SM的干擾，提升了硬件性能。雖然媒體解讀為“繞開CUDA壟斷”，但實(shí)際上PTX是更底層的指令集，通過優(yōu)化PTX可以更精細(xì)地控制硬件，從而提升性能。這屬于底層優(yōu)化，而非繞過CUDA。

4. DeepSeek的寫作能力飛躍

DeepSeek R1的寫作能力顯著提升，這可能歸因于強(qiáng)基模型在規(guī)模化強(qiáng)化學(xué)習(xí)后的涌現(xiàn)能力，也可能與較少的安全對(duì)齊有關(guān)。R1在一些通用領(lǐng)域的任務(wù)上推理效果仍有待提升。

5. 中國大模型發(fā)展啟示

DeepSeek的成功為中國大模型發(fā)展提供了寶貴的經(jīng)驗(yàn)：一是強(qiáng)調(diào)人才培養(yǎng)和長期基礎(chǔ)創(chuàng)新；二是展示了在資源受限的情況下，通過算法創(chuàng)新和軟硬件協(xié)同優(yōu)化，依然可以取得世界領(lǐng)先成果；三是開源策略的重要性，讓更多人受益并推動(dòng)領(lǐng)域發(fā)展；四是國產(chǎn)軟硬件協(xié)同優(yōu)化的重要性，可以形成閉環(huán)生態(tài)，最終實(shí)現(xiàn)模型、系統(tǒng)和芯片的閉環(huán)發(fā)展。

6. MoE架構(gòu)及長思維鏈設(shè)計(jì)

MoE架構(gòu)并非AGI的唯一最優(yōu)解，未來模型架構(gòu)的設(shè)計(jì)會(huì)更多地考慮底層硬件的優(yōu)化。長思維鏈設(shè)計(jì)對(duì)硬件提出了更高的要求，需要更大的存儲(chǔ)能力和更高的帶寬，未來可能需要新的硬件架構(gòu)來支持。

總而言之，DeepSeek的成功并非偶然，而是長期積累和創(chuàng)新的結(jié)果。它為中國大模型的發(fā)展指明了方向，也為全球AI研究帶來了新的啟示。

聯(lián)系作者

文章來源：智東西
作者微信：
作者簡介：智能產(chǎn)業(yè)新媒體！智東西專注報(bào)道人工智能主導(dǎo)的前沿技術(shù)發(fā)展，和技術(shù)應(yīng)用帶來的千行百業(yè)產(chǎn)業(yè)升級(jí)。聚焦智能變革，服務(wù)產(chǎn)業(yè)升級(jí)。