分布式文件系统Ceph

基本简介

Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。
中文搭建帮助:http://docs.ceph.org.cn/start/
Ceph有哪些优点
1、统一存储
虽然ceph底层是一个分布式文件系统，但由于在上层开发了支持对象和块的接口。所以在开源存储软件中，能够一统江湖。
2、高扩展性
扩容方便、容量大。能够管理上千台服务器、EB级的容量。
3、可靠性强
支持多份强一致性副本，EC。副本能够垮主机、机架、机房、数据中心存放。所以安全可靠。存储节点可以自管理、自动修复。无单点故障，容错性强。
4、高性能
因为是多个副本，因此在读写操作时候能够做到高度并行化。理论上，节点越多，整个集群的IOPS和吞吐量越高。另外一点ceph客户端读写数据直接与存储设备(osd) 交互。

Ceph各组件介绍：
　　eph OSDs: Ceph OSD 守护进程（ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时，至少需要2个 OSD 守护进程，集群才能达到 active+clean 状态（ Ceph 默认有3个副本，但你可以调整副本数）。
　　onitors: Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。
　　DSs: Ceph 元数据服务器（ MDS ）为 Ceph 文件系统存储元数据（也就是说，Ceph 块设备和 Ceph 对象存储不使用MDS ）。元数据服务器使得 POSIX 文件系统的用户们，可以在不对 Ceph 存储集群造成负担的前提下，执行诸如 ls、find 等基本命令。

Ceph 生态系统架构可以划分为四部分：

1. Clients：客户端（数据用户）
2. cmds：Metadata server cluster，元数据服务器（缓存和同步分布式元数据）
3. cosd：Object storage cluster，对象存储集群（将数据和元数据作为对象存储，执行其他关键职能）
4. cmon：Cluster monitors，集群监视器（执行监视功能）系统架构

什么是块存储/对象存储/文件系统存储/p>

• 对象存储: 也就是通常意义的键值存储，其接口就是简单的GET、PUT、DEL 和其他扩展，代表主要有 Swift 、S3 以及Gluster 等；
• 块存储: 这种接口通常以 QEMU Driver 或者 Kernel Module 的方式存在，这种接口需要实现 Linux 的 Block Device 的接口或者 QEMU 提供的 Block Driver 接口，如 Sheepdog，AWS 的EBS，青云的云硬盘和阿里云的盘古系统，还有 Ceph 的 RBD（RBD是Ceph面向块存储的接口）。在常见的存储中 DAS、SAN提供的也是块存储；
• 文件存储: 通常意义是支持 POSIX 接口，它跟传统的文件系统如 Ext4 是一个类型的，但区别在于分布式存储提供了并行化的能力，如 Ceph 的 CephFS (CephFS是Ceph面向文件存储的接口)，但是有时候又会把 GlusterFS ，HDFS这种非POSIX接口的类文件存储接口归入此类。当然 NFS、NAS也是属于文件系统存储.

构建Ceph集群

使用4台虚拟机，1台客户端、3台存储集群服务器，拓扑结构如图所示。

步骤二：准备存储磁盘

部署ceph集群

步骤一：安装部署软件ceph-deploy
1）在node1安装部署工具，学习工具的语法格式。

2）创建目录

步骤二：部署Ceph集群
1）给所有节点安装ceph相关软件包。

2）创建Ceph集群配置,在ceph-cluster目录下生成Ceph配置文件。
在ceph.conf配置文件中定义monitor主机是谁。

3）初始化所有节点的mon服务，也就是启动mon服务（主机名解析必须对）。

步骤三：创建OSD
备注：vdb1和vdb2这两个分区用来做存储服务器的journal缓存盘。

2）磁盘分区后的默认权限无法让ceph软件对其进行读写操作，需要修改权限。
node1、node2、node3都需要操作，这里以node1为例。

3）初始化清空磁盘数据（仅node1操作即可）。

4）创建OSD存储空间（仅node1操作即可）

创建Ceph块存储

步骤一：创建镜像
1）查看存储池。

2）创建镜像、查看镜像

步骤二：动态调整
1）扩容容量

2）缩小容量

步骤三：通过KRBD访问
1）客户端通过KRBD访问

2. 客户端格式化、挂载分区

步骤四：创建镜像快照

1. 查看镜像快照（默认所有镜像都没有快照）。

2. 给镜像创建快照。

3. 删除客户端写入的测试文件