从0开始CentOS7上安装ELK，实现日志收集

从0开始CentOS7上安装ELK实现日志收集

1. ELK Stack 简介
2. 组件下载
- 2.1 安装环境及版本
- 2.2 下载安装包
3.安装
- 3.1 ElasticSearch安装
- - 3.1.1 安装JDK
  - 3.1.2 安装ElasticSearch
  - 3.1.3 设置data的目录
  - 3.1.4 设置log的目录
  - 3.1.5 修改配置文件elasticsearch.yml
  - 3.1.6 启动elasticsearch
  - 3.1.7 安装ElasticSearch-Head插件
  - - 3.1.7.1 安装nodejs、rpm 、git
    - 3.1.7.2 下载并安装elasticsearch-head
    - 3.1.7.3 修改es-head的localhost地址
    - 3.1.7.4 修改head的连接地址
    - 3.1.7.5 启动elasticsearch-head
- 3.2 Logstash安装
- - 3.2.1 安装logstash
  - 3.2.2 设置data的目录
  - 3.2.3 设置log的目录
  - 3.2.4、设置conf.d的目录，创建配置文件
  - 3.2.5 修改配置文件logstash.yml
  - 3.2.6 启动logstash
  - 3.2.8 logstash指定配置进行运行
- 3.3 kibana安装
- - 3.3.1 安装kibana
  - 3.3.2 修改kibana.yml
  - 3.3.3 启动kibana
- 3.4 配置nginx
- - 3.4.1 安装nginx和http用户认证工具
  - 3.4.2 修改nginx配置
- 3.5 Filebeat安装
- - 3.5.1 安装filebeat
  - 3.5.2 启动kibana
  - 3.5.3 修改配置Filebeat
  - 3.5.4 登录kibana，创建索引，并且搜集数据
4. 收集应用日志Demo
- 4.1 修改filebeat.yml配置文件
- 4.2 修改logstash.conf配置文件
- 4.3 测试修改的logstash.conf配置文件
- 4.4 重启相关服务
- 4.5 登录kibana，创建索引

1. ELK Stack 简介

ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。

Elasticsearch：分布式搜索和分析引擎，具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。通常被用作某些应用的基础搜索引擎，使其具有复杂的搜索功能；
Logstash：数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；
Kibana：数据分析和可视化平台。通常与 Elasticsearch 配合使用，对其中数据进行搜索、分析和以统计图表的方式展示；
Filebeat：ELK 协议栈的新成员，一个轻量级开源日志文件数据搜集器，基于 Logstash-Forwarder 源代码开发，是对它的替代。在需要采集日志数据的 server 上安装 Filebeat，并指定日志目录或日志文件后，Filebeat 就能读取数据，迅速发送到 Logstash 进行解析，亦或直接发送到 Elasticsearch 进行集中式存储和分析。

2. 组件下载

2.1 安装环境及版本

环境	版本
操作系统	CentOS7
内存	4G+
ElasticSearch	7.10.2
Logstash	7.10.2
Kibana	7.10.2
Filebeat	7.10.2
Java	openjdk 1.8.0_275

2.2 下载安装包

建议把所需安装包手动通过下载工具下载下来，点击进入下载页面，快速下载通道：Elasticsearch、 Logstash、 Kibana、 Filebeat 。

将手动下载的安装包上传至安装机器

3.1.2 安装ElasticSearch

进入到对应上传的文件夹，安装ElasticSearch

查找安装路径：

一般是装在/usr/share/elasticsearch/下。

3.1.3 设置data的目录

创建/data/es-data目录，用于elasticsearch数据的存放

修改该目录的拥有者为elasticsearch

3.1.4 设置log的目录

创建/data/es-log目录，用于elasticsearch日志的存放

修改该目录的拥有者为elasticsearch

3.1.5 修改配置文件elasticsearch.yml

修改如下内容：

3.1.6 启动elasticsearch

启动

查看状态

设置开机启动

启动成功之后，测试服务是否开启

返回如下信息，说明安装、启动成功了

3.2 Logstash安装

3.2.1 安装logstash

3.2.2 设置data的目录

创建/data/ls-data目录，用于logstash数据的存放

修改该目录的拥有者为logstash

3.2.3 设置log的目录

创建/data/ls-log目录，用于logstash日志的存放