kvm安装centos7_ProxmoxVE 之 5.3集群安装及使用ceph

PVE5.3版本对于磁盘的管理，包括对分布式存储ceph的支持据说都更加友好了。前期对5.2版本测试的时候，有些未尽事宜，比如直接通过pve自身的管理程序pveceph部署ceph存储，而不是使用外部ceph，现在手头刚好也有相应的实验资源，花一些时间对5.3版本重新做一次集群实验，使用pve自带的ceph部署工具进行部署。

具体安装步骤就不详细写了，参考“ProxmoxVE 之集群安装(V5.2)” 的安装步骤。

采用硬件配置：在物理机pve环境上面，创建3个虚拟机，3vcpu/12G内存/4块硬盘/2块 卡 ，其中硬盘方面1块硬盘为系统盘32G，2块32G的ceph盘，1块32G的lvm盘， 卡方面1块 卡同时给集群和虚拟机使用(192.168.1.0/24 段)，1块 卡作为ceph存储 络(192.168.170.0/24 段)使用。

重要！！！更改软件源，默认是订阅版，如果不做修改，在使用pveceph init进行ceph初始化安装的时候会将整个环境破坏，切记！更改为非订阅版，如下：

安装ntp。ceph集群对时间同步的要求很高，需要安装ntp服务：

apt-get install ntp -y

安装完成之后会自动启动并同步debian的时间服务器，注意，是联 的情况下，如果不连接外 ，需要设定内 的ntp服务，这里不赘述。

消除“No valid subscription”提示的方法参考下面的 址：

Remove Proxmox Subscription Notice (Tested to 8.2)

即，ssh登录服务器后执行下面的指令：

sed -i.bak “s/data.status !== ‘Active’/false/g” /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service

创建完集群后，如下图：

4、创建OSD：

sdb和sdc两块磁盘加入到osd ，同样的，对pve2和pve3做同样的操作，完成后如下：

另外再创建一个测试的存储池test。创建完成后，可以通过web界面看到ceph的整体状态如下：

接下来，使用这个RBD存储池创建一个centos7虚拟机：

解决办法，先把该pve节点所有的虚拟机都关闭，在ProxmoxVE物理机上(注意，不是上面3个pve1/pve2/pve3)执行下面的命令：

再重新启动上面创建的虚拟机，成功！

测试成功！

总结：

ProxmoxVE确实使用太方便了，对于稍显复杂的ceph分布式存储，已经做到了方便实施的极限，只需要简单几条初始化的指令，后面全部通过web管理界面进行配置和部署，方便至极，更棒的是，web管理界面还可以实时看到ceph存储的各种状态，相当于完全把ceph存储的管理融合进了PVE的统一管理。

但是使用ceph的前提是，必须对ceph分布式存储本身的一些概念弄清楚，比如ceph 的存储规则，pg的概念，bucket的概念，ceph自身的功能组件mon、osd、pool的概念等等，建议如果对这些概念不熟悉，先通读一遍ceph 区官 的文档，然后动手搭建ceph存储试验。熟悉ceph之后，回过头来再使用pve自带的ceph管理功能就显得非常简单了。

通过上面的实验，也可以看到ProxmoxVE可以做到在自己的平台上快速搭建环境嵌套虚拟化，可以方便广大的PVE爱好者快速的熟悉PVE 的使用。通过我个人的经历，openstack的试验过程和复杂度，比PVE要高出好多倍，openstack如果要做一个完整的试验下来，熟练的情况下，如果要5天，那么，PVE的试验，同样是基础虚拟化功能的条件下，可能只要1天甚至半天就能完成。