GlusterD2—K8S原生存储

admin 2020-06-15 13:51 技术博客

 

01前言

随着容器云业务的快速发展,功能不断迭代以适应更多应用场景,满足更多业务需求。其对存储也提出了更高的要求,包括功能、性能、稳定性、兼容性等。CSI作为K8S容器云平台的标准存储接口,支持快照、克隆、扩容等高级功能。GlusterD2作为Gluster的下一代管理引擎,有效扩展了Gluster的集群规模。增加更多功能以支持CSI访问,较好地兼容K8S容器云平台,被公认为K8S原生存储。

 

02GlusterD2

GlusterD2是Gluster的组成部分,Gluster是软件定义的分布式存储,一种开源可扩展的网络文件系统,容量可达数PB,支持对象、块和文件存储访问接口。Gluster的设计可满足各种规模的环境需求,拥有灵活的部署模式,适用于各种环境和基础架构。

 

GlusterD2是下一代Gluster管理引擎,以提供对devops的友好支撑。GlusterD2可以更好地扩展存储池中节点数量,为存储节点、共享卷、资源设备、服务管理操作提供高级管理接口。通过集成etcd存储,为受信任存储池内的状态管理提供强一致性。GlusterD2由Go语言开发,是一种引入了多项改进的架构重写模式,增强Gluster可扩展性,同时更易于配置、使用、集成和维护,尤其适用于大规模部署。GlusterD2还提供了更加灵活的插件框架,以提供一个完整的面向容器平台服务的体系结构。

 

GlusterD2有效增强Gluster的集群管理能力,将Gluster的集群推向数千节点的云级规模。GlusterD2致力于提供管理存储设备的功能,同时支持共享卷的高级API接口和常规CLI命令管理,使得监视和管理存储更加简单完善。

GlusterD2会将群集配置数据维护在集中存储中,而不是在每个集群节点。集中存储通过etcd实现,etcd只运行在集群中部分节点,只有运行etcd的节点参与RAFT共识机制,其它节点作为etcd代理或客户端。GlusterD2也是原生ReST服务,通过HTTP ReST API公开群集管理接口,CLI将被重写为使用该API的ReST客户端。

 

GlusterD2特点

完善的管理机制

GlusterD2支持高级API接口管理,GlusterD2将提供高级接口用于节点管理、卷管理、服务管理、设备管理、监视事件和长时间运行的异步操作。GlusterD2支持CLI命令管理,兼容Gluster中的所有CLI命令。通过API与CLI两种管理方式,使Gluster管理更加健全完善。

高效的集群交互

etcd集中存储是GlusterD2最重要的部分。etcd为GlusterD2提供集中的位置保存集群数据,供整个集群访问。选择etcd集中存储作为外部分布式复制的键值存储,而不是在GlusterD2中实现,有助于避免现阶段使用的复杂的交互。

简捷的交互框架

新的交互框架围绕etcd集中存储构建,相关操作仅在需要的地方执行,而不是在整个集群,并将结果最终提交到存储区将仅由启动事务的节点完成。有助于保持交互框架的简单和快速。

强大的集群规模

GlusterD2将Gluster的集群推向数千节点的云级规模,实现存储集群容量与性能的线性增长,为大容量、高性能业务提供强有力的存储支撑。

友好的日志记录

GlusterD2使用结构化日志记录,以提高日志的可读性和机器解析能力。结构化日志使用固定字符串以及附加的元数据,通常是键值对的形式,而不是可变日志字符串。结构化日志允许创建日志上下文,使特定的元数据可附加到上下文中的所有日志。有助于识别和截取与特定交互或请求相关的日志。

健全的功能体系

GlusterD2支持K8S容器云平台通过CSI存储接口进行访问,通过驱动程序实现与CSI的良好对接。支持容器卷的动态创建和扩容等自动化管理功能,支持容器卷的在线快照和在线克隆等高级特性功能。

支持容器化部署

将GlusterD2直接部署在K8S容器中,实现K8S计算与存储资源的自我管理。利用容器的部署方式使Gluster安装更加快速高效,降低了使用过程中的管理难度,良好的兼容性和轻量特性易于实现负载的动态管理,方便后期的快速扩容。

 

03

K8S存储系统

K8S(Kubernetes)是用于自动化部署、扩展、管理容器应用的开源系统。K8S消除编排物理与虚拟计算、网络和存储基础设施的负担,使管理员将重点放在以容器为中心的原语上进行自助运营。K8S提供稳定、兼容的基础,用于构建定制化的工作流和更高级的自动化任务。K8S具有高度自动化管理特性,能够自动部署、自动重启、自动复制、自动伸缩扩展。具有较强的快速部署和快速扩展特性,支持无缝对接新的应用功能,节省资源,优化硬件资源的使用。
 

存储系统是K8S最重要的组成部分,存放着容器运行的所有数据。K8S存储系统的核心内容有:Volume、PV、PVC、StorageClass。K8S存储系统根据业务需求,可归纳为无状态服务、有状态服务及有状态的集群服务。无状态服务无法保存状态数据,Pod(一个或多个容器的组合)重启后会造成原有数据丢失。而有状态服务和有状态集群服务可以保持容器状态数据,确保Pod重启后能够保存原有数据信息。

Volumes是最基础的存储抽象,本质上是容器挂载的目录。支持本地存储和网络存储,也支持特定存储的自定义插件。本地存储使用简便,但移植性、扩展能力、安全性较弱。相比之下,网络存储具有更出色的性能表现、且易于扩展,支持副本和纠删码等多种冗余方式保护数据安全,常用于生产环境。Volume属于Pod内部共享资源,生命周期与Pod相同,Pod终止将导致Volume的生命周期结束。

PersistentVolume(PV)是K8S集群中管理员配置的存储,是集群中的存储资源对象,PV生命周期独立于pod,能够实现数据持久化。PV与Volume区别在于PV是K8S中的资源对象,存放Pod数据且保证Pod重启后数据不丢失的持久卷,可单独存活,管理员无需创建Pod就可以创建独立的PV,PV资源的使用通过PVC来请求。

PersistentVolumeClaim(PVC)是用户对存储资源PV的请求,PV与PVC有静态和动态两种绑定模式。默认为静态模式,即用户发出PVC请求后,需管理员手动创建PV以响应PVC请求。否则PVC一直处于等待状态,直到管理员手动创建PV后请求完成。动态模式需要借助StorageClass实现,在PVC绑定PV时通常根据存储大小和访问模式两个条件来绑定。

StorageClass为管理员提供描述存储类型的方法。默认情况下,管理员需要手工创建用户所需的存储资源PV以响应PVC请求。利用StorageClass动态容量供给的功能,可实现自动创建PV的能力。即用户PVC发出请求后,由StorageClass自动创建PV响应PVC请求,减少管理员手动创建的复杂性和存储资源响应的繁琐流程。

 

04

CS存储接口

CSI(Container StorageInterface)旨在能为容器编排引擎和存储系统间建立一套标准的存储调用接口,通过该接口能为容器编排引擎提供存储服务。借助CSI容器编排系统(CO)可以将任意存储系统(块或文件存储)提供给容器化应用。CSI标准可使存储厂商能够自行开发、维护和部署自定义的存储插件,为容器平台提供稳定的存储服务。

由于K8S核心代码中只支持较少的主流网络存储。存储插件与核心K8S二进制文件一起进行编译、构建、发布。在K8S中添加对新存储系统的支持,需要在核心K8S存储库提交代码,导致存储插件很难合并到K8S中。不仅如此,如果存储插件存在问题,有可能会影响K8S的其它组件正常运行,风险较大。因此,将容器存储进行抽象,通过标准接口的形式把存储部分移到容器编排系统外部。

 

CSI作为K8S容器存储的标准接口,可兼容不同类型的存储,有效解决了K8S平台的存储难题,支持容器卷自动创建挂载和删除功能。CSI使K8S添加存储更加简单,允许第三方存储提供商在不需要修改 K8S核心代码的情况下,依然可以开发存储插件。

K8S Core是K8S集群的核心内容,包含管理与计算节点。External Components是K8S支持CSI的扩展组件,由K8S社区维护。CustomComponents是由第三方存储厂商开发适配CSI的驱动程序。

 

External Component中的Driver registrar负责向K8S注册驱动程序的相关信息。External provisioner 负责监控K8S系统里的PVC请求,调用对应CSI接口创建或删除PV。External attacher 是可监听K8S系统里VolumeAttachment 对象,通过调用CSI接口完成相关请求。

 

Custom Components中的CSI Identity负责认证插件的状态信息,CSIController负责实际创建和管理容器卷,CSI Node负责在K8S节点上容器卷的相关功能

 

CSI特点

良好的兼容性

CSI是标准的存储接口规范,兼容所有主流的文件和块存储。且支持第三方厂商开发驱动程序与CSI进行对接,降低管理和维护的复杂度。

安全高效

存储厂商无需修改K8S核心代码,只需开发CSI驱动程序,就可以使K8S通过CSI接口访问自定义存储,有效简化存储对接K8S的工作流程,在保证安全的前提下有效提高效率。

高级功能特性

CSI支持容器卷的快照拍摄、在线克隆、动态扩容等高级功能。支持持久卷的动态自动化管理。

 

05环境信息

 

环境架构

K8S+GlusterD2部署环境中,GlusterD2以容器方式运行在所有K8S计算节点,并负责管理本地磁盘用于提供持久化共享存储。CSI驱动插件CSI Node需要部署在所有计算节点中,CSI Identity和CSI Controller只需要在集群的任意节点上部署一次即可。

 

部署过程

(1)准备K8S集群环境,该环境推荐最低配置为1个管理节点和3个计算节点,建议K8S版本为1.16以下。本次演示环境的配置信息如下:

(2)在K8S集群中,以容器化方式部署GlusterD2存储服务软件,部署过程中镜像下载较慢需要耐心等待。

GLusterD2部署完成后,通过 kubectl getpods -o wide命令可查看到状态为Running。

所有GlusterD2容器为Running后,需要进入容器中,执行命令:glusterclipeer add <node-ip> 创建Gluster集群。集群创建完成后通过glustercli peer list 命令可查看集群状态。

通过 glustercli device add <node-id> <device-name>命令,可完成磁盘设备的添加。

 

(3)配置完成K8S集群环境与GlusterD2集群环境后,开始在K8S中部署GlusterD2的CSI驱动程序。

首先在GlusterD2容器的任意节点中,获取/usr/local/var/lib/glusterd2/auth文件的安全认证信息。并用获取的GlusterD2安全认证信息更新配置文件csi-attacher-glusterfsplugin.yaml、csi-nodeplugin-glusterfsplugin.yaml和csi-provisioner-glusterfsplugin.yaml中的--secret和--glusterurl内容。

 

信息更新正确后,开始配置CSI扩展组件。

配置好具备GlusterD2容器和CSI扩展组件的K8S集群后, 检查所有配置信息是否正确,要求所有pod为Running状态。

确定环境运行正常,之后创建storageclass实现动态管理,并创建pvc与app开始测试。

部署完成后, 查看pv与pvc绑定状态。

 

通过查看pod状态详情,以确定gluster存储卷被挂载成功,并可进行读写访问。

实践小结

通过CSI实现K8S与GlusterD2的完美结合,突破了K8S存储性能瓶颈,并实现数据持久化。K8S平台有效发挥了GlusterD2的亮点功能,GlusterD2作为文件存储支持多客户端同时读写,使Pod可以共享持久卷数据且支持RWX访问。GlusterD2支持容器卷的动态管理功能,通过StorageClass可自动创建PV以响应PVC请求。

 

GlusterD2支持容器卷的动态扩容功能,对于已被Pod访问的PV,直接修改PVC请求中容器卷的大小,可实现容器卷的在线扩容,扩容过程不影响Pod中业务的读写访问。GlusterD2支持容器卷快照功能,快照作为数据的保护方式,有效降低了误删除操作所带来数据丢失的风险,同时为其它环境异常时的数据恢复提供了快捷方式。GlusterD2支持容器卷克隆功能,克隆作为数据快速复制和多层保护的一种实现机制,有效提升了数据安全和工作效率。

 

GlusterD2支持CSI与Heketi工具实现自动化管理。Heketi通过高级接口管理gluster存储服务,实现多个gluster存储集群动态提供存储。只需指定容器卷容量和副本便能创建新卷,heketi在创建卷时可定位brick所在的节点。Heketi既可以提供GlusterFS卷的文件生命周期接口管理,也能提供gluster-block创建块设备的生命周期管理。不仅如此,heketi还可以提供卷扩容、磁盘替换、节点替换等高级操作接口。

 

06总结展望

GlusterD2作为下一代Gluster分布式存储管理引擎,极大程度的扩展了Gluster集群规模,又实现Gluster与K8S容器云平台的良好对接。GlusterD2支持高级API接口与CLI命令等管理方式,在保证Gluster原有功能的同时,提供了更加健全精准的监控和管理,以及对devops的友好支撑。

 

K8S可通过Gluster平台实现容器卷数据永久存放,在降低对接与维护成本的同时,提供足够性能满足前端业务需求。Gluster支持K8S存储的所有功能,解决了K8S存储长期面临的痛点问题,被公认为K8S的原生存储。

 

参考链接:

Gluster博客关于Gluster 4.0和Kubernetes的文章
https://kubernetes-csi.github.io/docs/GlusterD2源码
GlusterD2设计文档
CSI文档(kubernetes社区)
CSI spec
CSI中文指南

 

上一篇:XDFS:从入门到精通,一篇文章全解决
下一篇:XDFS电信全球眼云存储扩容项目

猜你喜欢

手机扫一扫添加微信

010-62958932 info@taocloudx.com