跳动百科

DeepSeek开源周第五天:6.6TiB/s炸场3FS重新定义AI存储基建

费芸兰   来源:网易

DeepSeek开源周第五天:3FS以6.6TiB/s吞吐量震撼发布

2025年2月28日,DeepSeek开源周迎来收官之作。中国AI领军企业DeepSeek正式发布高性能并行文件系统3FS(Fire-Flyer File System),及配套数据处理框架Smallpond。3FS专为现代算力场景设计,通过去中心化架构与强一致性语义,在180节点集群中实现6.6TiB/s聚合读取吞吐,创下行业新纪录。这一突破性技术直击AI训练与推理的数据处理痛点,为千卡级AI训练集群提供稳定数据供给。

作为DeepSeek V3/R1版本的核心基建,3FS已全面渗透数据预处理、检查点存储、向量搜索及推理缓存等关键环节。配套开源的Smallpond框架更构建起轻量化PB级数据处理能力,形成从存储到计算的完整生态闭环。此次3FS与Smallpond的双重开源,标志着DeepSeek正推动行业突破数据密集型应用的存储瓶颈,或将对Ceph、Lustre等传统分布式系统形成巨大冲击。