DolphinScheduler扩容/缩容 文档

1. DolphinScheduler扩容文档

1.1. 基础软件安装(必装项请自行安装)

• [必装] JDK (1.8+) : 必装，请安装好后在/etc/profile下配置 JAVA_HOME 及 PATH 变量
• [可选] 如果扩容的是worker类型的节点,需要考虑是否要安装外部客户端,比如Hadoop、Hive、Spark 的Client.

1.2. 获取安装包

• 确认现有环境使用的DolphinScheduler是哪个版本,获取对应版本的安装包,如果版本不同,可能存在兼容性的问题.
• 请下载对应版本的安装包至服务器安装目录,解压并重名为dolphinscheduler存放在/opt目录中.

1.3. 创建部署用户

• 在所有扩容的机器上创建部署用户，并且一定要配置sudo免密。假如我们计划在ds1,ds2,ds3,ds4这四台扩容机器上部署调度，首先需要在每台机器上都创建部署用户

1.4. 修改配置

• 从现有的节点比如Master/Worker节点,直接拷贝conf目录替换掉新增节点中的conf目录.拷贝之后检查一下配置项是否正确.

• 根据机器配置,修改 conf/env 目录下的 环境变量(以相关用到的软件都安装在/opt/soft下为例)

• 将jdk软链到/usr/bin/java下(仍以 JAVA_HOME=/opt/soft/java 为例)

• 修改 所有 节点上的配置文件 , 同步修改以下配置.

  • 新增的master节点, 需要修改 ips 和 masters 参数.
  • 新增的worker节点, 需要修改 ips 和 workers 参数.

• 如果扩容的是worker节点,需要设置worker分组.请参考用户手册5.5 创建worker分组

• 在所有的新增节点上，修改目录权限，使得部署用户对dolphinscheduler目录有操作权限

1.4. 重启集群&验证

• 重启集群

• 脚本完成后，使用命令查看各个节点服务是否启动(为自带)

启动成功后，可以进行日志查看，日志统一存放于logs文件夹内

如果以上服务都正常启动且调度系统页面正常,在web系统的[监控中心]查看是否有扩容的Master或者Worker服务.如果存在,则扩容完成

2. 缩容

缩容是针对现有的DolphinScheduler集群减少master或者worker服务,缩容一共分两个步骤,执行完以下两步,即可完成缩容操作.

2.1 停止缩容节点上的服务

• 如果缩容master节点,要确定要缩容master服务所在的物理机,并在物理机上停止该master服务.
• 如果缩容worker节点,要确定要缩容worker服务所在的物理机,并在物理机上停止worker和logger服务.

• 脚本完成后，使用命令查看各个节点服务是否成功关闭(为自带)

如果对应的master服务或者worker服务不存在,则代表master/worker服务成功关闭.

2.2 修改配置文件

• 修改 所有 节点上的配置文件 , 同步修改以下配置.

  • 缩容master节点, 需要修改 ips 和 masters 参数.
  • 缩容worker节点, 需要修改 ips 和 workers 参数.