DeepSeek代码开源第五弹:高性能并行文件系统3FS
2025年2月28日,DeepSeek在开源周的第五天宣布了Fire-Flyer文件系统(3FS)的开源。3FS是一个专为应对AI训练和推理工作负载挑战而设计的高性能并行文件系统,它充分利用了现代SSD和RDMA网络带宽,提供了共享存储层,极大地简化了分布式应用程序的开发。
在由180个存储节点组成的大型测试集群上,3FS的总读取吞吐量达到了惊人的6.6TiB/s,而每个客户端节点的KVCache查询峰值吞吐量也超过了40GiB/s。3FS的主要功能和优势包括高性能、强一致性、易用性,以及支持数据准备、数据加载、检查点设置和推理缓存等多种AI工作负载。
3FS的代码库已经发布在GitHub平台上,开源地址为:[https://github.com/deepseek-ai/3FS](https://github.com/deepseek-ai/3FS)。该项目的发布,为AI数据处理设立了新的标准,进一步推动了AI技术的发展。
免责声明:免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!