DeepSeek开源周第五日,开源了名为3FS(Fire-Flyer File System)的并行文件系统。
3FS充分利用现代SSD和RDMA网络带宽,实现了高性能数据访问。
在180节点集群中,其聚合读取吞吐量高达6.6 TiB/s;在25节点集群的GraySort基准测试中,吞吐量达3.66 TiB/min。
此外,3FS采用分离式架构确保强一致性,全面支持AI训练数据预处理、数据集加载等全生命周期数据访问需求。
同时,DeepSeek还开源了基于3FS的数据处理框架Smallpond,具备高性能、可扩展性及易用性,能够处理PB级别数据集。
两大开源项目为AI数据处理设立了新的标准。
免责声明:免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!