原文出处：https://blog.51cto.com/yuweibing/2285553
继上篇博文《ProxmoxVE 之集群安装(V5.2)》 ，本来想模拟生产环境实现3节点集群，并且使用ceph分布式存储实现虚拟机级别的HA，但是在使用pveceph 工具创建ceph环境的时候出错了，发现需要商业订阅才能使用。因此这篇博文想从另一个角度，先搭建外部ceph存储集群，供pve直接使用外部ceph存储 。
同样的，先准备3个节点的环境，先装上proxmox5.2-1 ，然后在这个3个节点上使用ceph-deploy安装部署ceph集群。
一.环境准备：
创建3个虚拟机，3vcpu/12G内存/4块硬盘/2块 卡 ，其中硬盘方面1块硬盘为系统盘31G，2块30G的ceph盘，1块32G的lvm盘， 卡方面1块 卡同时给集群和虚拟机使用（192.168.1.0/24 段），1块 卡作为ceph存储 络（192.168.170.0/24 段）使用。创建虚拟机如下：
安装步骤都很简单，傻瓜式的，其中选择硬盘会默认第一块硬盘安装系统，然后是设置root密码等等， 络配置步骤：
点右下角的Reboot重启。
第一阶段搞定，后面就可以建集群，配 络，建存储之类的后续操作了。
通过输入 址：
https://192.168.1.51:8006
https://192.168.1.52:8006
https://192.168.1.53:8006
分别可以管理这3台pve。
debian系统更新：
接下来下来我们更新一下proxomx的软件，proxmox的底层毕竟是个debian系统，刚安装还是要更新一下的，在shell中输入aptupdate && apt dist-upgrade，回车，发现 错无法更新，查看官方文档发现需要更改一些设置，在shell输入
二. ceph集群安装
ceph集群我准备使用192.168.1.0/24这个 段作为ceph的集群管理 络，192.168.170.0/24 作为ceph数据 络。首先找到ceph官 的指导 页：
http://docs.ceph.com/docs/master/start/quick-start-preflight/#ceph-deploy-setup
根据上面这个操作手册，看ProxmoxVE5.2-1使用的是debian 9 操作系统。具体步骤如下：
环境预配置
配置/etc/hosts：
配置免登陆访问
生成ssh-key
设置防火墙：
查看了iptables -L 以及 iptables -L -t nat ，发现防火墙没有任何设置，如果在后续pve启用防火墙的过程中，需要特别注意ceph这一块相应的端口需要开放，主要有这些端口：
OSD使用的端口：6800-7300
monitor使用的端口：6789
设置时钟同步：
apt install ntp
配置ceph软件源 （使用163镜像）
安装ceph-deploy工具
ceph-deploy是ceph官方提供的部署工具，它通过ssh远程登录其它各个节点上执行命令完成部署过程，我们可以随意选择一台服务器安装此工具，为方便，这里我们选择pve-1节点安装ceph-deploy
我们把pve-1节点上的/data/ceph/deploy目录作为ceph-deploy部署目录，其部署过程中生成的配置文件，key密钥，日志等都位于此目录下，因此下面部署应当始终在此目录下进行
ceph-deploy工具默认使用root用户SSH到各Ceph节点执行命令。为了方便，已经配置ceph-deploy免密码登陆各个节点。如果ceph-deploy以某个普通用户登陆，那么这个用户必须有无密码使用sudo的权限。
安装ceph集群
ceph软件包安装
首先安装ceph软件包到三个节点上。上面我们已经配置好ceph源，因此这里使用–no-adjust-repos参数忽略设置ceph源
创建ceph集群
Ceph Monitors之间默认使用6789端口通信， OSD之间默认用6800:7300 范围内的端口通信，多个集群应当保证端口不冲突
配置文件
修改ceph-deploy目录/data/ceph/deploy下的ceph.conf
journal默认5G建议1TB数据5G，4T盘设置20G，这个影响性能的
添加mons
我们这里创建三个Monitor
在一主机上新增监视器时，如果它不是由ceph-deploy new命令所定义的，那就必须把public network加入 ceph.conf配置文件
key管理
为节点准备认证key
#若有需要，可以删除管理主机上、本地目录中的密钥。可用下列命令：#ceph-deploy forgetkeys
允许3台主机以管理员权限执行 Ceph 命令
创建mgr
注意，原来版本mgr主要是为了ceph的文件系统服务使用的，但是现在的luminous版本发现即使不使用ceph文件系统服务，也需要安装这个服务，否则ceph -s 或者ceph -w 的data统计部分显示是0，具体变化后面再参考一下官方文档。
osd创建
创建集群，安装ceph包，收集密钥之后，就可以创建osd了
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！