介绍
为什么要用Ceph
Ceph是当前非常流行的开源分布式存储系统,具有高扩展性、高性能、高可靠性 等优点,同时提供块存储服务(rbd)、对象存储服务(rgw)以及文件系统存储服务(cephfs),Ceph在存储的时候充分利用存储节点的计算能力,在存储每一个数据时 都会通过计算得出该数据的位置,尽量的分布均衡。。目前也是OpenStack的主流 后端存储,随着OpenStack在云计算领域的广泛使用,ceph也变得更加炙手可热。 国内目前使用ceph搭建分布式存储系统较为成功的企业有x-sky,深圳元核云,上海 UCloud等三家企业。
Ceph架构介绍
ceph对象元数据
OSD PG pool
writeback模式:
写操作时,写入缓存池。基于缓存层flushing/evicting策略,数据将从缓存层 迁移到存储层,并由缓存分层代理将其从缓存层中删除。
读操作时,由缓存分层代理将数据从存储层迁移到缓存层,然后再把它提供给 客户。直到数据变得不再活跃或成为冷数据,否则它将一直保留在缓存层 中。
read-only模式:
写操作不涉及缓存分层,所有的客户端写都在存储层上完成。
读操作时,在处理来自客户端的读操作时,缓存分层代理将请求的数据从存储 层复制到缓存层。基于你为缓存层配置的策略,不活跃的对象将会从缓存 层中删除。这种方法非常适合多个客户端需要读取大量类似数据的场景。
缓存层是在速度更快的物理磁盘(通常是SSD),上实现的,它在使用HDD构建 的速度较慢的常规池前部署一个快速的缓存层。在本节中,我们将创建两个独 立的池(一个缓存池和一个常规),分别用作缓存层和存储层。

部署
机器需求
- 最少三台Centos7系统虚拟机用于部署Ceph集群
- 硬件配置:2C4G
- 另外每台机器最少挂载三块硬盘
安装前环境准备
-
服务器初始化(参考初始化文档)
-
安装需要工具
-
关闭NetworkManager
-
升级系统内核
-
主机名与IP对应关系(必须配置主机名映射)
-
ceph-node1操作节点上安装ceph的yum源共享
安装源
在每台node上执行
-
安装基础ceph包每台node
安装Ceph集群
-
部署安装工具
安装 ceph-deploy在ceph-node1操作节点上
创建一个my-cluster目录,所有命令在此目录下进行ceph-node1操作节点上
控制端无密码连接所以节点和自己
-
创建Ceph集群,生成Ceph配置文件(建议是奇数)ceph-node1操作节点上
允许删除存储池
ceph-node1操作节点上修改配置文件 -
安装mon服务,生成monitor检测集群所使用的的秘钥ceph-node1操作节点上
-
安装管理命令Ceph CLIceph-node1操作节点上
如前所示,我们执行admin的命令,要提供admin的key(–keyring ceph.client.admin.keyring)以及配置文件(-c ceph.conf)。在后续的运维中,我们经常 需要在某个node上执行admin命令。每次都提供这些参数比较麻烦。实际上,ceph 会默认地从/etc/ceph/中找keyring和ceph.conf。因此,我们可以把 ceph.client.admin.keyring和ceph.conf放到每个node的/etc/ceph/。ceph-deploy可 以帮做这些
-
添加osd(添加的磁盘必须是没有被处理过的裸盘)ceph-node1操作节点上
所有操作节点上初始化清空磁盘数据
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!