如果第一次刷到这个系列的文章，可能会看得一头雾水，这是某超融合项目的一部分，前几篇的传送门在这里：
PVE&Ceph&Bcache 超融合项目之部署实施方案（一）
PVE&Ceph&Bcache 超融合项目之部署实施方案（二）
PVE&Ceph&Bcache 超融合项目之部署实施方案（三）
六、集群组建
6.1.PVE集群部署要求
PVE集群部署有一定的要求，根据《Proxmox 7.0 admin guide》对PVE集群部署的要求，如图42所示，翻译如下：
图42 pve官方文档选段，尚无中文版
1）所有节点必须可以相互访问彼此的UDP 5404和UDP 5405端口，以确保corosync正常工作。
2）各节点日期和时间需要保持同步。
3）各节点之间要能够在TCP 22端口建立SSH通信。
4）如果你需要配置HA，则最少需要3个物理服务器节点，以保证集群多数票机制生效。此外，还需要保证所有节点使用同一版本的Proxmox VE。
5）Proxmox VE建议为集群通信分配专用 卡，特别是在配置共享存储的情况下，分配专用 卡能确保集群通信的稳定可靠。
6）组建集群时，需要提供目标节点的root密码。
注意事项：
1）PVE节点在没有创建虚拟机的情况下，可以加入其他节点创建的集群，也可以自己创建集群，让其他节点加入进来。
2）PVE节点如果创建了虚拟机，那么这台机器就只能通过创建集群 让其他的节点加入进来。
3）如果把一个节点从集群中删除掉之后，再以相同的主机名和IP地址进行加入。可能会产生错误，需要强制加入。
4）加入集群后将不允许再修改主机名和IP 地址。
5）一旦建立集群后，将不允许修改集群名称。
6.2.创建集群
创建集群操作可以在命令行控制台（ssh登录）下进行，也可以通过API调用完成，WEB UI 界面就是通过调用API来创建集群的（数据中心→集群）。
第一步：在节点1上创建名称为“pve”的集群
在节点1中，选择“数据中心→集群→创建集群”，集群名称输入“pve”，集群 络选择“br1ceph接口”的IP地址，如图43所示。
图43. 创建集群
如果要添加第二条链路作为备用链路，选择“添加”之后，添加第二条链路，再点击“创建”，即可创建。
第二步：复制集群密钥，其他节点需要使用集群密钥才能加入集群
在节点1中，点击“加入信息”按钮，弹出界面如图44所示，接着点击“拷贝信息”来复制集群密钥。
图44. 集群密钥
第三步：在节点2上，使用节点1的集群密钥，加入集群
在节点2中，点击“加入集群”按钮，粘贴“加入信息”，输入节点1的root密码，选择节点2的集群链路，最后点击“加入pve”集群，如图45所示。
图45. 节点2加入集群
第四步：在节点3上，使用节点1的集群密钥，加入集群
在节点3中，点击“加入集群”按钮，粘贴“加入信息”，输入节点1的root密码，选择节点3的集群链路，最后点击“加入pve”集群，该环节与节点2类似，不再截图。
第五步：加入集群完成后需要刷新页面才能正常使用，全部加入完成后，就可以在一个节点上管理集群中所有的节点了
如图46所示。单击“加入pve”按钮之后后，集群加入过程将立即开始。节点加入集群后，其当前节点证书将被集群证书颁发机构(CA)签名的证书替换，这意味着当前会话将在几秒钟后停止工作。然后，可能需要强制重新加载Web 界面，并使用集群凭据重新登录。通俗点说，就是需要刷新下页面才能使用。
图46. pve集群正常使用
七、分布式存储
Proxmox VE提供了简单易用的Ceph 安装向导，选中集群中的一个节点，然后在菜单树中打开Ceph菜单区，就可以开始安装Ceph 了。
安装向导有多个步骤，每个步骤都需要执行成功才可以完成Ceph 安装。开始安装操作后，向导会自动从Proxmox VE 的Ceph 软件源下载软件包并完成安装。
需要注意，3.2.2环节的指定国内源，一定要验证成功，并且用以下代码追加指定国内ceph源否则无法完成安装。
echo “deb
https://mirrors.ustc.edu.cn/proxmox/debian/ceph-pacific bullseye main” >
/etc/apt/sources.list.d/ceph.list #中科大源
sed -i.bak “s#
http://download.proxmox.com/debian#
https://mirrors.ustc.edu.cn/proxmox/debian#g”
/usr/share/perl5/PVE/CLI/pveceph.pm #中科大源
完成第一个步骤后，还需要创建配置。对每个集群，生成的配置信息会自动分发到其他节点，所以该操作只需要执行一次即可。
创建的配置包括以下信息：
1）Public Network
为避免影响集群通信等其他对 络延迟敏感的服务，也为了提高Ceph 性能，强烈建议为Ceph 准备一个专门的独立 络，将Ceph流量隔离开来。
2） Cluster Network
进一步，还可以设置Cluster Network，将OSD复制和心跳流量隔离出来。这将有效降低public network的负载，并有效改善大规模Ceph集群的性能。
7.2.初始化Ceph安装和配置
每个节点都需要安装Ceph，每个节点的Ceph安装基本相同，这里只演示节点1的Ceph安装。
第一步：在节点1界面中，选择“Ceph→Install Ceph”，点击“Install Ceph”按钮，如图47所示。
图47. Ceph安装向导
第二步：选择“设定→信息→开始pacific安装”，点击“开始pacific安装”按钮，如图48所示。
图48. 选择pacific 16.2版本进行安装
第三步：选择“设定→安装”，输入“Y”之后，按回车键，自动安装Ceph，如图49所示。