DeepSeek 发布 3FS 高性能并行文件系统 聚合吞吐量高达 6.6 TiB/s
2月28日，DeepSeek 在开源周第五天发布了其创新性的并行文件系统——3FS（Fire-Flyer File System）。该文件系统旨在充分发挥现代 SSD 和 RDMA 网络的带宽优势，为深度学习和其他数据密集型应用提供强大的支持，具备令人惊叹的数据访问性能。
3FS 采用先进的去中心化架构，支持强一致性语义，并具备高度的并行性，能够在大规模集群中高效工作。通过与现代硬件的紧密协作，3FS 在数据吞吐能力上达到了新的高度。
集群高吞吐：在一个由180个节点组成的集群中，3FS 实现了高达 6.6 TiB/s 的聚合读取吞吐量，极大地提升了大规模数据处理效率。基准测试成绩：在 25 节点的 GraySort 基准测试中，3FS 达到了 3.66 TiB / min 的吞吐量，证明其在高强度计算任务中的表现。单节点性能：每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s，确保在高负载下依然能够维持出色的性能。
3FS 的设计重点是解决人工智能训练和推理过程中的数据访问瓶颈，尤其是面向大规模 AI 工作负载。其核心优势包括高性能、强一致性和易用性，使其成为处理训练数据预处理、数据加载、检查点保存、推理缓存等工作负载的理想选择。
3FS 已在 DeepSeek 的 V3 / R1 版本中得到广泛应用，涵盖了包括数据集加载、嵌入向量搜索等关键环节，提供了一个高效、易用的共享存储层，简化了分布式应用的开发。
作为 3FS 的扩展，DeepSeek 还开源了基于 3FS 的轻量级数据处理框架——Smallpond。Smallpond 构建于 DuckDB 和 3FS 之上，具备高性能的数据处理能力，可扩展至 PB 级数据集，且操作简便，无需长期运行的服务。Smallpond 能够为数据科学家和工程师提供灵活、高效的数据处理工具，进一步提升数据操作和分析的效率。
