DeepSeek 文件系統(tǒng)背后的“王炸”到底是什么？

原標題：不用英偉達嚴選？DeepSeek最新開源項目再刷新認知，為何被贊“顛覆存儲架構(gòu)”
文章來源：AI前線
內(nèi)容字數(shù)：6121字

DeepSeek開源高性能并行文件系統(tǒng)3FS：AI時代存儲的“王炸”

本文總結(jié)了關(guān)于DeepSeek開源高性能并行文件系統(tǒng)3FS的報道要點，該系統(tǒng)旨在解決AI訓練和推理中數(shù)據(jù)訪問的瓶頸問題。

1. 3FS的核心特性與優(yōu)勢

3FS，全稱Fire-Flyer File System，專為AI訓練和推理工作負載設(shè)計。其核心設(shè)計理念是高吞吐、低延遲和強一致性。主要特性包括：分離式架構(gòu)，整合數(shù)千塊SSD和數(shù)百個存儲節(jié)點的網(wǎng)絡(luò)帶寬，無需考慮數(shù)據(jù)局部性；強一致性，利用鏈復制與分配式查詢（CRAQ）實現(xiàn)；文件接口，基于成熟的元數(shù)據(jù)服務(wù)與事務(wù)型鍵值存儲，提供通用文件API；全流程優(yōu)化，涵蓋數(shù)據(jù)準備、數(shù)據(jù)加載、檢查點和推理階段的KVCache等環(huán)節(jié)。

2. 3FS的性能表現(xiàn)

在大型集群測試中，3FS展現(xiàn)出驚人的性能：在一個由180個存儲節(jié)點組成的集群中，實現(xiàn)了約6.6 TiB/s的整體讀取吞吐量；GraySort基準測試突破3.66 TiB/分鐘；在推理場景下，單個客戶端節(jié)點峰值可達40+ GiB/s。

3. 3FS與其他AI存儲方案的比較

目前，市場上已有DDN、VAST Data、Weka.io等商業(yè)AI存儲解決方案。DDN起源于HPC領(lǐng)域，更偏向傳統(tǒng)HPC存儲；Weka.io受到一些大模型公司的青睞。而3FS的開源，被認為填補了開源市場高性能并行文件系統(tǒng)的空白，其性能在國內(nèi)處于領(lǐng)先地位。

4. 業(yè)內(nèi)專家評價

資深存儲技術(shù)專家高度評價了3FS的高性能、AI訓練和推理的全流程優(yōu)化以及KVCache訪問協(xié)議，認為其為業(yè)界提供了更具性價比的推理解決方案，并推動了高性能文件系統(tǒng)在推理場景的落地。但同時也提醒了其使用和運維門檻較高，需要謹慎。

5. JuiceFS的視角

JuiceFS創(chuàng)始人蘇銳指出，分布式文件系統(tǒng)是AI訓練的關(guān)鍵存儲技術(shù)，3FS憑借高性能SSD和IB網(wǎng)絡(luò)，適合處理LLM所需的IO密集型和計算密集型任務(wù)。

6. 開源的意義

3FS的開源，向全球展示了中國企業(yè)在技術(shù)研發(fā)上的實力，也讓業(yè)界更清晰地認識到高性能文件系統(tǒng)在大模型訓練中的重要性。

7. 未來展望

文章最后提及了Qcon全球軟件開發(fā)大會上關(guān)于智能時代存儲架構(gòu)的專題討論，預示著該領(lǐng)域未來的發(fā)展方向。

聯(lián)系作者

文章來源：AI前線
作者微信：
作者簡介：面向AI愛好者、開發(fā)者和科學家，提供大模型最新資訊、AI技術(shù)分享干貨、一線業(yè)界實踐案例，助你全面擁抱AIGC。