XDFS:从入门到精通,一篇文章全解决

admin 2020-06-15 13:53 技术博客

TaoCloud XDFS基于GlusterFS开源分布式文件系统,进行了系统优化、工程化、定制化和产品化工作。

八年以上的实践积累了大量经验,包括客户案例、最佳实践、定制开发、咨询服务和技术培训。

值此XDFSv6.0发布之际,小Tao特别总结历年来TaoCloud所发布的有技术文章和视频,奉献给所有读者。

本文致力于让萌新按照学习路线,能够一步步成长为大神!

 

1、XDFS产品教程

 

[1]【TAO课堂】五分钟带你了解“软件定义”+“分布式存储"【视频】

 

本文分为三个视频,第二个视频用三分钟总览了XDFS分布式存储系统,让萌新一个视频就能对XDFS有较为全面的认识,堪称必看,为了方便读者,小Tao放在下面了。

 

△三分钟总览了XDFS分布式存储系统

 

[2] TaoCloud XDFS-Pro分布式文件存储

 

什么是XDFS?他的优缺点是什么?体系架构又是什么?一份刘博士在Reahat 的演讲PPT为您解惑。

 

[3] XDFS零基础配置-安装-运维视频教程【视频】

视频教程,真正的0基础教学,甚至从装系统和配网络开始,内含三个视频,讲述了安装、使用、运维、故障解决,一步步教你掌握XDFS。

 

[4] XDFS技术剖析——XMeta加速、对象网关、EC纠删码【视频】

 

又是一篇视频教程三连弹,个个精彩:

第一个视频:承接Gluster元数据的研究成果,小Tao们继续努力,成功在保持Gluster无中心架构优势的同时,将百万级文件的ls等待时间从15分钟优化到50秒,且看XMeta如何逆天改命?

第二个视频:文件存储+对象存储的研究结合成功,且看XDFS的对象网关原理剖析和使用方式讲解。

第三个视频:EC纠删码大行其道,XDFS也没有例外,但是你真的了解纠删码吗?视频为您剖析EC纠删码原理。

 

2、Gluster原理

 

[5] 深入理解GlusterFS之数据均衡

 

容量耗尽的GlusterFS集群在扩容之后,数据会重新均衡在所有节点上,以保证所有节点的都有写入数据的能力,然而GlusterFS数据均衡的机制是怎样的?

本文介绍了GlusterFS当前的数据均衡功能,内容包括数据均衡的产生背景、使用场景、基本原理、程序实现剖析、操作命令实践、存在的问题以及需要优化的地方等,同时结合实例说明了数据均衡的工作机制。

 

[6] GlusterFS集群文件系统研究

成文于2011年,是GlusterFS文章的经典,介绍了Gluster的特性、架构和算法实现,并讨论了设计思路,是深入研究Gluster必看的文章。

 

[7] GlusterFs元数据机制分析

Gluster虽然因为无中心架构拥有了高可用、高性能、横向扩展等优点,但是也面临着元数据难以统一的缺点。

文章直面这个问题,探寻了Gluster元数据的解决方案,首先介绍了元数据,而后讲述了常见的元数据设计方式,总结后给出了Gluster元数据的设计方案和应用方法,最后还留下了现存问题和解决方向。

 

3、Gluster优化和功能扩展

 

[8]  GlusterFS对象存储服务

 

本文就如何为GlusterFS扩展对象存储服务做了探究,前半部分介绍了Swift对象存储,后半部分讲解如何对接Swift和GlusterFS,结尾还进行了性能的测试,是一篇探究性的优秀文章。

 

[9] Gluster容器持久化存储方案

利用开源K8S集群管理系统管理GlusterFS集群,容器化部署不仅保证了隔离性,也方便了管理。

文章讨论了K8S的架构,并设计了与Gluster结合的方案,而后给出了部署教程,最后还进行了系统测试验证。

 

[10] GlusterFS小文件应用调优

小文件性能是世界难题,Gluster也不乏有海亮小文件需求的用户,经过长期的研究,对与小文件调优有了大量的经验。

文章给出了调优的建议,而后讲述了详细的调优配置方法,最后还用测试验证了效果,是实战性文章。

 

[11] GlusterFS场景优化之文件预分配

 

世上没有完美的存储软件,针对特定场景进行优化是必须的,本文以监控数据存储系统为例,展示了场景优化的调查、分析、解决、测试的过程,通过文件预分配的手段有效降低了实际场景的延迟,成功解决了用户的问题。

 

[12] GlusterFS性能优化—让目录飞

 

XMeta前身,没有元数据如何面对将百万级文件?看小Tao为您讲解,如何将ls等待时间从15分钟优化到50秒。

文章包含了ls速度过慢问题的分析、探究、选型、解决、测试过程,对于解决同类问题都有着很强的参考意义。

 

4、相关领域文章延伸

 

[13] Guard全国产分布式存储—助力“新基建”【视频】

 

Guard是以XDFS为基础,对国产化的硬件和操作系统进行广泛优化的一整套存储解决方案,本文用三个视频详细介绍了Guard,并给出了成功案例。

 

[14] MinIO技术白皮书

 

XDFS对象网关底层采用MinIO实现,因此小Tao们对MinIO也做了深入的研究,MinIO技术白皮书则是研究产出的硕果,介绍了MinIO的优缺点、特性、架构,并进行了性能测试。

 

[15] FASS全闪存技术白皮书首发

 

FASS分布式全闪存储代表未来存储的方向,以其先进的软件架构,发挥了NVMe硬盘的优势。

 

[16]【译】利用uDepot获得快速NVM存储的性能

 

这是一篇KV存储技术方向中少见的讲述如何即高效又经济地使用快速闪存设备的文章,观点新颖,方法独特,参考和使用价值很高。

上一篇:【TAO课堂】XDFS技术剖析——XMeta加速、对象网关
下一篇:GlusterD2—K8S原生存储

猜你喜欢

手机扫一扫添加微信

010-62958932 info@taocloudx.com