（二）Thanos：最全prometheus+thanos+minio S3持久化对象存储+exporter+grafana+alertmanager集群+webhook告警通知监控架构搭建

一、环境介绍

1、IP分布

2、所需软件及版本

二、搭建步骤

步骤一、安装prometheus和node_exporter（master1、master2上操作）

步骤二、修改prometheus配置文件（master1、master2上操作）
master1：

这里需要声明external_labels，标注你的地域。如果你是多副本运行，需要声明你的副本标识，如 0 ，1，2 三个副本采集一模一样的数据，另外2个prometheus就可以同时运行，只是replica值不同而已。这里的配置和官方的 federation差不多

master2：
master2服务器的prometheus.yml的配置文件修改下
external_labels:
monitor: ‘monitor133’
其他配置与msater1一样即可

步骤三、启动prometheus和node_exporter（master1、master2上操作）

web.enable-lifecycle一定要开，用于热加载reload你的配置，retention保留 2天，prometheus 默认 2 小时会生成一个 block，thanos 会把这个 block 上传到对象存储

步骤四、安装Minio并使用它设置S3兼容对象存储服务器（master1上操作）
第一步：下载Minio
下载Minio二进制文件：

第二步：准备对象存储磁盘
下载Minio后，让我们准备一个我们用来存储对象的块设备，使用的路径只能是文件系统根目录中的目录
此次实验直接用/data/storage作为对象存储磁盘，不需作以下分区操作！
为了方便和可靠，我在服务器中可使用辅助磁盘：

第三步：启动Minio服务
使用systemd管理Minio服务

第四步：访问Minio Web界面
192.168.120.200:9000
MINIO_ACCESS_KEY=BKIKJAA5BMMU2RHO6IBB
MINIO_SECRET_KEY=V7f1CwQqAcwo80UEIJEjQ9GSrr12

第五步：使用mc客户端测试Minio
mc提供了UNIX命令的现代替代方案，如ls、cat、cp、mirror、diff等，将mc下载到Linux：

步骤五、启动thanos组件（master1、master2上操作）
安装thanos

编写Bucket 配置文件

启动sidecar：

启动成功后 Sidecar 组件就会向 S3 发送所有的本地数据以及新在 Prometheus 中落盘的数据

启动 Store：
在sidecar 配置中，如果你配置了对象存储objstore.config-file，你的数据就会定时上传到bucket 中，本地只留 2 小时，那么要想查询 2 小时前的数据怎么办呢据不被 prometheus 控制了，应该如何从 bucket 中拿回来，并提供一模一样的查询呢/p>

Store gateway 组件：Store gateway 主要与对象存储交互，从对象存储获取已经持久化的数据。与sidecar一样，Store gateway也实现了store api，query 组可以从 store gateway 查询历史数据

启动query：

启动 Compact：

至此 Thanos 已经搭建完成！
当nohup.out日志显示adding new store to query storeset即表示query已经成功连上sidecar

访问query，192.168.120.200:29090
验证数据情况：

步骤七、添加thanos数据源

步骤八、客户端部署
1、添加Linux监控
master操作：
修改prometheus.yml，添加以下内容：

重启prometheus

agent操作：

验证数据：

验证数据：

步骤九、安装alertmanager（可以单台，我这里是集群master1、2均操作）
官 下载alertmanager-0.21.0.linux-amd64.tar.gz

步骤十、修改alertmanager配置文件
1、qq邮箱通知

2、企业微信通知
（1）企业ID获取