彻底搞懂监控系统，使用Prometheus和Grafana 如何实现运维告警？

之前我们搭建好了监控环境并且监控了服务器、数据库、应用，运维人员可以实时了解当前被监控对象的运行情况，但是他们不可能时时坐在电脑边上盯着DashBoard，这就需要一个告警功能，当服务器或应用指标异常时发送告警，通过邮件或者短信的形式告诉运维人员及时处理。接下来就来介绍非常重要的功能——告警。

一、告警的实现方式

Prometheus将数据采集和告警分成了两个模块。 警规则配置在Prometheus Servers上，然后发送 警信息到AlertManger等告警系统，然后在告警系统管理这些 警信息、聚合 警信息、然后通过email、短信等方式发送消息提。目前，实现告警功能主要有以下几种方式：

相比于Grafana的图形化界面，Alertmanager需要依靠配置文件实现，虽然配置比较繁琐，但是胜在功能强大灵活。接下来我们就使用Alertmanager一步一步实现告警通知。

二、Grafana告警

新版本的Grafana提供了告警配置，直接在dashboard监控panel中设置告警即可。Grafana 支持多种告警方式，这里以邮件为例，演示Grafana如何设置邮件告警功能。

2.1 配置邮件服务

step1：要启用 email 警需要在启动配置文件中 /conf/default.ini开启 SMTP 服务，具体配置如下：

[smtp]enabled = truehost = smtp.163.com:25user = xxx@163.com  # 邮件地址# If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""password = xxx    # 授权码cert_file =key_file =skip_verify = truefrom_address = xxx@163.com  # 发件人地址from_name = Grafanaehlo_identity = dashboard.example.com[emails]welcome_email_on_sign_up = falsetemplates_pattern = emails/*.htmlcontent_types = text/html

这里的邮箱服务使用的是163的邮箱服务，需要提前打开邮箱的SMTP服务并申请授权码，示例中的邮箱地址和密码请换成自己的邮箱和授权码。

step2：重启Grafana，验证邮件是否配置成功，点击页面上的 Alerting | Contact points 添加Contact Points。

点击页面上的 New contact point 按钮，添加一个邮件通知渠道。

选择邮件方式，并输入收件人的邮箱后保存即可，验证邮箱是否配置成功，点击 Test 按钮，Grafana 会发送一封测试邮件到收件人邮箱。如果能收到邮件，说明配置成功。

2.2 配置告警规则

配置好邮件发送和接收的Contact Points 之后，接下来我们配置Grafana的告警规则。

step1：创建告警告警规则，首先在某个Panel 上面的下拉箭头中，选择 Edit | Alert。

step2：接下来点击 Create alert from this panel 按钮，给此panel 创建告警规则。

如上图所示，我们以node_memory_MemFree_bytes （服务器可用内存）指标为例，设置告警规则：当服务器可用内存低于4.65G 时告警。

step3：告警名称，间隔时间等设置。

step4：设置完其他相关的参数之后，点击Save 保存，即可查看告警的情况。

如上图所示，Grafana已经产生了一条Pending状态的告警的记录，当此记录变为Firing状态就说明已经告警成功，并发送了邮件通知。

以上，我们把Grafana的告警功能介绍完了，Grafana虽然比较直观，但是相比Alertmanager而言不够灵活，不支持变量，如果系统不复杂的话，可以考虑使用Grafana。

三、Alertmanager

3.1 告警类型

Alertmanager提供了以下两种告警方式：

3.2 安装alertmanager

step1：安装Alertmanager

首先在prometheus官 ，下载Alertmanager组件，并上传到服务器解压即可。

# 解压到/usr/local/prometheus目录下：tar -zxvf alertmanager-0.24.0.linux-amd64.tar.gz -C /usr/local/prometheus# 修改目录名：cd /usr/local/prometheusmv alertmanager-0.24.0.linux-amd64 alertmanager-0.24.0

step 2：配置Alertmanager

修改alertmanager.yml 文件，增加Email等相关配置，具体如下：

global:  resolve_timeout: 5m  # alertmanager在持续多久没有收到新告警后标记为resolved  smtp_from: 'xxx@163.com' # 发件人邮箱地址  smtp_smarthost: 'smtp.163.com:25' # 邮箱smtp地址  smtp_auth_username: 'xxx@163.com' # 发件人的登陆用户名，默认和发件人地址一致  smtp_auth_password: 'xxx'  # 发件人的登陆密码，有时候是授权码  smtp_hello: '163.com'  smtp_require_tls:  # 是否需要tls协议。默认是true  route:  group_by: [alertname] # 通过alertname的值对告警进行分类  group_wait: 10s # 一组告警第一次发送之前等待的时延，即产生告警10s将组内新产生的消息合并发送，通常是0s~几分钟（默认是30s）  group_interval: 2m # 一组已发送过初始告警通知的告警，接收到新告警后，下次发送通知前等待时延，通常是5m或更久（默认是5m）  repeat_interval: 5m # 一组已经发送过通知的告警，重复发送告警的间隔，通常设置为3h或者更久（默认是4h）  receiver: 'default-receiver' # 设置告警接收人receivers:- name: 'default-receiver'  email_configs:  - to: 'xxx@163.com'    send_resolved: true # 发送恢复告警通知inhibit_rules: # 抑制规则  - source_match:  # 源匹配级别，当匹配成功发出通知，其他级别产生告警将被抑制      severity: 'critical' # 告警时间级别（告警级别根据规则自定义）    target_match:       severity: 'warning' # 匹配目标成功后，新产生的目标告警为'warning'将被抑制    equal: ['alertname','dev','instance'] # 基于这些标签抑制匹配告警的级别

这里的邮箱服务使用的是163的邮箱服务，需要提前打开邮箱的SMTP服务并申请授权码，示例中的邮箱地址和密码请换成自己的邮箱和授权码。

配置文件比较复杂，可以使用./amtool check-config alertmanager.yml 命令校验文件是否正确。

step 3：启动运行

配置文件修改完成后，接下来我们将Alertmanager运行起来，具体命令如下：

#alertmanagercd /usr/local/prometheus/alertmanager-0.24.0#执行启动命令，指定数据访问的urlalertmanager --config.file=/usr/local/prometheus/alertmanager-0.24.0/alertmanager.yml

命令执行成功后，在浏览器中访问：http://10.2.1.231:9093/ 默认端口9093

如上图所示，我们成功打开Alertmanager 管理页面，说明Alertmanager配置、启动成功。

3.3 将Alertmanager添加到Prometheus

前面我们说了，告警规则是配置在Prometheus Servers上，然后发送 警信息到AlertManger中的，那么接下来我们把Alertmanager添加到Prometheus中。

step1： Prometheus告警配置

修改prometheus.yml 配置文件，增加告警地址和告警规则，具体配置如下：

# Alertmanager configurationalerting:  alertmanagers:    - static_configs:        - targets: [10.2.1.231:9093]# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.# 加载指定的规则文件rule_files:  - "first.rules"  - "rules/*.yml"

上面的配置，主要是配置Alertmanager的地址和规则文件加载路径。告警规则读取prometheus目录的rule下的所有以yml结尾的文件。

step2：配置告警规则

前面在prometheus.yml 中配置了规则的路径，所以，接下来在prometheus的根目录下创建rules目录。这里以服务器资源状态状态为例，制定cpu、内存、磁盘的告警。创建pods_rule.yaml文件。具体配置如下：

groups:  - name: alertmanager_pod.rules    rules:    - alert: Pod_all_cpu_usage      expr: (sum by(name)(rate(container_cpu_usage_seconds_total{image!=""}[5m]))*100) > 1      for: 2m      labels:        serverity: critical        service: pods      annotations:        description: 容器 {{ $labels.name }} CPU 资源利用率大于 10% , (current value is {{ $value }})        summary: Dev CPU 负载告警    - alert: Pod_all_memory_usage      expr: sort_desc(avg by(name)(irate(node_memory_MemFree_bytes {name!=""}[5m]))) > 2147483648 # 内存大于2G      for: 2m      labels:        severity: critical      annotations:        description: 容器 {{ $labels.name }} Memory 资源利用大于 2G , (current value is {{ $value }})        summary: Dev Memory 负载告警    - alert: Pod_all_network_receive_usage      expr: sum by(name)(irate(container_network_reveive_bytes_total{container_name="POD"}[1m])) > 52428800 # 大于50M      for: 2m      labels:        severity: critical      annotations:        description: 容器 {{ $labels.name }} network_receive 资源利用大于 50M , (current value is {{ $value }})    - alert: node内存可用大小      expr: node_memory_MemFree_bytes < 5368709120  # 内存小于5G      for: 2m      labels:        severity: critical      annotations:        description: node可用内存小于5G

step3： 重启Prometheus

配置完成后重启Prometheus，访问Prometheus查看告警配置。在浏览器中输入：
http://10.2.1.231:9090/alerts 查看告警配置是否成功。

如上图所示，我们在Prometheus的Alerts下可以看到对应的告警配置。FIRING说明告警已成功。

此时Alertmanager应该相关的告警数据。打开http://10.2.1.231:9093/#/alerts 查看 警情况。

如上图所示，Alertmanager收到了Prometheus发过来的告警消息，前面我们在Alertmanager中配置了邮件地址，可以去邮箱中查看是否收到邮件。

Alertmanager的告警内容支持使用模板配置，可以使用邮件模板进行渲染，感兴趣的话也可以试试！

最后

以上，我们就把Prometheus如何告警介绍完了，告警功能非常重要，告警规则的设置比较复杂，最好能够多熟悉熟悉相关的设置。