开发者活动方向解读
1. 云原生方向
目前Kubernetes已经成为云原生的事实标准,是业界云平台的标配以及云原生应用的底座。为了进一步实现Curve的云原生化,实现对Curve存储系统的云上自动化的部署和管理,我们设计并实现了 curve-operator。
我们利用Kubernetes的Operator扩展模式,创建对Curve集群的API抽象,为自定义资源CRD创建对应的controller,从而充分利用Kubernetes原生的自动化能力实现对Curve集群的管理。目前我们的 curve-operator 项目已经初具雏形,该项目已经可以实现在K8s集群中部署CurveBS存储集群的能力。然而,一个完整的Operator不仅具有部署应用和删除应用的能力,还需要封装对Curve集群的运维经验。同时现在Operator仍有很多的特性以及功能可以完善和优化。比如,对功能代码的格式化,添加在K8s中部署集群的监控系统,以及对现有Curve集群的更新和升级等等,可以在这里 https://github.com/opencurve/curve/issues/2334 看到关于Operator全部的题目。
2. 新工具的支持方向
当前Curve有两个形态的存储:块存储和文件存储。他们都有各自的工具。块存储的的工具有三个:curve_ops_tool,curve,curve_tool,这三个工具的功能是有重复的。文件存储的工具有一个curvefs_tool。这导致使用过程中的困惑。另外原有的工具使用的c++
,工具的显示不够友好,不便于阅读。
因此使用 go
进行了工具重构。把块存储和文件存储的工具都放在当前新工具中,通过 curve fs
和 curve bs
区分。
当前工具的架构已经搭建完成,邀请小伙伴们来一起实现各种命令。
旧工具和新工具输出对比:
3. 深入代码实现的修改或者优化
Curve还在不断的演进中,所以有很多待完善、优化的功能。这一项列表中的issue都是优先级比较高,对Curve的性能、可观测性、功能有影响的部分,希望大家一起来完善。
开发者指南见每个pr。
4. Curve部署工具CurveAdm的功能支持
一个存储系统,易用性是非常重要的,否则对运维人员就是灾难。Curve原先使用ansible,进程直接跑在物理环境中。因为环境的差异,用户在使用过程遇到了各种各样的问题。
经历了一轮重构,全新的部署工具CurveAdm诞生了!它收获了很多用户的肯定。随着Curve版本的演进,需要在其中增加一些新的功能,希望大家一起来完善。
整体学习路径
在开发者活动选题之前,我们给参加开发者活动的小伙伴们一个分布式系统的学习的 Roadmap,该 Roadmap 是 Curve 团队的新人培养实践沉淀,大家可以根据自身需要自行学习。
☆ 了解分布式存储系统的基本知识目标:知道为什么需要分布式存储?分布式存储的难点在哪里?都有哪些解决方法参考资料:
- Distributed systems: Distributed systems for fun and profit
☆ 熟悉分布式系统设计目标:了解分布式系统一般架构,了解部分解决方案的技术细节参考资料:
- The Google File System http://static.googleusercontent.com/media/research.google.com/es//archive/gfs-sosp2003.pdf
- The Raft Consensus Algorithm: https://raft.github.io/
- MapReduce: Simplified Data Processing on Large Clusters https://pdos.csail.mit.edu/6.824/papers/mapreduce.pdf
- CEPH: RELIABLE, SCALABLE, AND HIGH-PERFORMANCEDISTRIBUTED STORAGE https://ceph.com/wp-content/uploads/2016/08/weil-thesis.pdf
- PacificA: Replication in Log-Based Distributed Storage Systems https://www.microsoft.com/en-us/research/wp-content/uploads/2008/02/tr-2008-25.pdf
- 6.824 Schedule: Spring 2020, MIT的分布式系统课程,感兴趣的可以多看
https://pdos.csail.mit.edu/6.824/schedule.html
☆ 了解Curve目标:掌握Curve总体设计,各模块的设计参考资料:
- Curve主页: https://opencurve.github.io/
- Curve系列讲座ppt地址curve-meetup-slides/2020 at main · opencurve/curve-meetup-slides · GitHub
- Curve各模块介绍文档curve/docs/cn at master · opencurve/curve · GitHub
- Curve技术文档【技术资源合集】Curve 开源云原生软件定义存储系统 - 知乎
- Curve代码阅读:
- 建议先看下brpc的基本知识:brpc/brpc_intro.pptx at master · apache/brpc · GitHub
- Curve源码分析文档:Curve源码及核心流程深度解读 · opencurve/curve Wiki · GitHub
☆ 掌握代码开发/测试工具目标:掌握代码开发流程,熟练使用代码开发、调试、测试过程中所需要的工具参考资料:
- Curve代码构建工具bazel: https://bazel.build/
- Curve代码测试框架gtest https://github.com/google/googletest/blob/master/googletest/docs/primer.md
- Curve代码管理 Git: https://www.runoob.com/git/git-basic-operations.html
- 代码调试工具: gdb
- 谷歌开源项目风格指南0. 扉页 — Google 开源项目风格指南
- 编程规范:《Clean Code》