2月28日,DeepSeek“开源周”第五天,今天开源的是一款为所有DeepSeek数据访问提供动力的推进器,名为3FS。Fire-Flyer文件系统(3FS)——一个并行文件系统,充分利用现代SSD和RDMA网络的带宽。180节点集群中,聚合读取吞吐量达6.6 TiB/s;25节点集群中,GraySort基准测试吞吐量达3.66 TiB/min。
单客户端节点的KVCache查找峰值吞吐量超过40 GiB/s;采用强一致性语义的分离式架构;支持V3/R1中的训练数据预处理、数据集加载、检查点保存/重载、嵌入向量搜索及推理中的KVCache查找。
DeepSeek表示,3FS旨在为DeepSeek的数据密集型任务提供高效、可靠的存储与访问解决方案,助力AI研究与开发。