跳动百科

DeepSeek开源周第五日:开源3FS

胡爽友   来源:网易

DeepSeek开源周第五日,开源了名为3FS(Fire-Flyer File System)的并行文件系统。

3FS充分利用现代SSD和RDMA网络带宽,实现了高性能数据访问。

在180节点集群中,其聚合读取吞吐量高达6.6 TiB/s;在25节点集群的GraySort基准测试中,吞吐量达3.66 TiB/min。

此外,3FS采用分离式架构确保强一致性,全面支持AI训练数据预处理、数据集加载等全生命周期数据访问需求。

同时,DeepSeek还开源了基于3FS的数据处理框架Smallpond,具备高性能、可扩展性及易用性,能够处理PB级别数据集。

两大开源项目为AI数据处理设立了新的标准。