Curve 文件存储：百亿级文件支撑

Lexi · 2022 年11 月 2 日 05:51

Curve 文件存储
Curve 文件存储是一个 Posix 兼容的分布式文件系统，适用于私有云、公有云、混合云环境。我们可以通过 Curve 文件存储轻松访问百亿级文件。

先对 Curve 文件存储的架构做一个简单的介绍。文件存储需要持久化的信息有两类，一类是文件的元数据，主要以 inode 和 dentry 为主，一类是文件的数据，即用户的写入内容。Curve 文件系统在设计之初，考虑到多云的支持，以及在大规模数据场景下的成本（冷数据居多），需要支持数据在不同性能的存储中流转，因此选择了把元数据和数据分开存储。

下图是 Curve 文件系统的架构。

元数据使用单独的集群存储，保证高可靠、高可用、高可扩
数据则可以有多种选择，可以对接 Curve 块存储，对接公有云上的对象存储，也可以同时对接多种不同性能的存储，比如 Curve 块存储(SSD)、Curve 块存储(HDD)、对象存储(三副本)、对象存储(EC)、对象存储(归档)。同样保证高可靠、高可用、高可扩。

image1073×510 76.3 KB

如何支撑百亿级文件
Curve 文件系统的重要特点之一就是适用于海量文件存储，那么 Curve 文件系统如何保证可以支撑百亿级规模？如何保证在百亿级规模下的性能？从理论上来看：

规模方面，Curve文件存储的元数据集群，每个节点存储一定范围的 inode(比如1~10000)和 dentry，如果文件数量增多，可以进行存储节点的扩充，所以理论上规模是没有上限的。
性能方面，当文件数量很多时，对于单个文件的操作是没有什么差别的，但对于一些需要元数据的聚合操作会出现性能问题，比如 du (计算当前文件系统的容量), ls (获取目录下所有文件信息)等操作，需要做一定的优化来保障性能。

那实际上 Curve 文件系统的表现如何呢？

首先介绍一下文件系统的几款通用测试工具。

pjdfstest[1]: posix 兼容性测试。有3600+个回归测试用例，覆盖 chmod, chown, link, mkdir, mkfifo, open, rename, rmdir, symlink, truncate, unlink 等
mdtest[2]: 元数据性能测试。对文件或者目录进行 open/stat/close 等操作，并返回报告
vdbench[3]: 数据一致性测试。Vdbench 是 Oracle 编写的一款应用广泛的存储性能测试工具，既支持块设备的性能测试，也支持文件系统性能测试，在做随机写的一致性测试很方便，能实时检查出哪一个扇区出现了数据不一致
fio[4]: 数据性能测试。

Curve 文件系统从v2.3版本以后提供了单独压测元数据集群的方式（数据集群一般使用 Curve 块存储和 S3 ，所以直接对这些组件进行性能测试即可）。