Curve Testing Camp Time|ES 冷数据方向参考

背景

性能与容量之间的矛盾由来已久,同样的问题在 Elasticsearch 中也存在。为了保证 Elasticsearch 的读写性能,官方建议磁盘使用 SSD 固态硬盘。然而 Elasticsearch 要解决的是海量数据的存储和检索问题,海量的数据就意味需要大量的存储空间,如果都使用SSD固态硬盘成本将成为一个很大的问题。

为了解决这个问题,Elasticsearch 冷热分离架构应运而生,集群允许节点异构,有规则的将集群的节点分成不同类型,部分是高性能的节点用于存储热点数据,部分是性能相对差些的大容量节点用于存储冷数据,这样可以一方面保证热数据的性能,另一方面保证冷数据的存储,降低存储成本,这也是Elasticsearch冷热分离架构的基本思想。

CurveFS 助力 ES 冷数据存储

在 Elasticsearch 冷热分离集群中的“冷”属性的节点上,可以使用 CurveFS 来代替大容量低成本的硬件,一方面 CurveFS 是兼容 POSIX 接口的分布式文件系统,对上层应用在使用上与本地盘无异;另一方面,CurveFS 可对接 S3 兼容的对象存储,在容量大小上近似弹性的无限容量,且在存储成本、数据可靠性和易维护方面相较于本地盘具有优势。

用户测试

  1. 部署 CurveFS 集群
  2. 在 ES 集群的冷数据节点上挂载 Curve-fuse 到特定数据目录(作为ES data node 的数据目录)
  3. 部署 ES 冷热分离的集群测试