Elastic Stack部署

1、Elastic Stack简介

Elastic Stack早期名字叫ELK,是由三个开源软件组成得数据处理框架,后期由于有新的成员加入到ELK中,ELK更名为Elastic Stack以反映其组成成员得变化情况。

Elastic Stack主要组件如下:

Elasticsearch:用来数据检索和存储

Logstash:用来数据传输与清洗

Kibana:用于数据展示,数据可视化等领域

Beats:专门用于数据传送得轻量级组件,logstash是基于java语言开发,运行需要java环境,beats则不同,由go语言开发,更加轻量级,可以将 络、日志、指标、审计等各种数据从不同得数据源头发送到Logstash或者Elasticsearch

  现在Elasticsearch、Logstash、Kibana、Beats作为一个整体,目的依然是要提供一套整体处理数据得解决方案,包括数据得收集、清洗、整理、传输、存储、检索、应用等各个方面

2、elasticsearch安装部署

2.1 安装准备

elasticsearch基于java语言开发,所以在安装elasticsearch之前,首先要安装jdk,elasticsearch7版本以上都要求jdk1.8以上版本,推荐版本为OracleJDK1.8.0_131,需要注意,elasticsearch默认是集群模式部署,会存在主分片和副本分片,且两个分片不会存在一个服务节点上,推荐部署elasticsearch部署两台以上的服务器

? elk官方下载地址:https://www.elastic.co/cn/downloads/

2.2 创建普通用户及用户组

2.3 修改系统参数

修改最大连接数,/etc/security/limits.conf中添加两行

2.4 调整虚拟内存vm.max_map_count大小

修改/etc/sysctl.conf文件,添加下面一行内容,使其生效

2.5 安装与配置

2.6 切换用户修改elasticsearch.yml文件,具体配置如下:

其他节点参考以上配置,仅需修改node.name与network.host两个配置参数

2.7 服务启动

2.8 服务验证

浏览器访问IP+端口

3、elasticsearch-head安装

3.1 elasticsearch-head简介

  elasticsearch只是后端提供各种api,无法直观使用它,elasticsearch-head将是一款专门针对于elasticsearch的客户端工具,它是一个基于node.js的前端工程,故在部署直线首先要安装node.js

3.2 安装node.js(Linux环境)

3.3 npm安装

如果出现以下错误:

解决方法如下

再重新执行npm install即可

grunt工具包安装

检查当前目录npm安装情况

3.4 安装elasticsearch-head

3.5 启动npm

3.6 浏览器验证

3.7 注意

elasticsearch-head在连接es集群时候,es集群需要添加一下参数配置:

4、Kibana安装部署

  kibana在整个Elastic Stack中起到了数据可视化的作用,也就是通过图、表、统计等方式将复杂的数据以更加直观的形式展示出来,由于kibana运行于Elasticsearch基础之上,所以将kibana视为elasticsearch的用户图形界面

4.2 安装准备

安装前需要先安装jdk(略)

4.3 创建安装用户

4.4 安装与配置

安装目录/app

修改文件所属用户用户组

切换至kibana用户修改kibana.yml

具体配置如下:

4.5 服务启动

4.6 服务验证

5、filebeat安装部署

5.1 filebeat概述

filebeat一般安装于宿主机,用于收集文本型日志数据

5.2 安装filebeat

解压安装包

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2021年5月1日
下一篇 2021年5月1日

相关推荐