1、Elastic Stack简介
Elastic Stack早期名字叫ELK,是由三个开源软件组成得数据处理框架,后期由于有新的成员加入到ELK中,ELK更名为Elastic Stack以反映其组成成员得变化情况。
Elastic Stack主要组件如下:
Elasticsearch:用来数据检索和存储
Logstash:用来数据传输与清洗
Kibana:用于数据展示,数据可视化等领域
Beats:专门用于数据传送得轻量级组件,logstash是基于java语言开发,运行需要java环境,beats则不同,由go语言开发,更加轻量级,可以将 络、日志、指标、审计等各种数据从不同得数据源头发送到Logstash或者Elasticsearch
现在Elasticsearch、Logstash、Kibana、Beats作为一个整体,目的依然是要提供一套整体处理数据得解决方案,包括数据得收集、清洗、整理、传输、存储、检索、应用等各个方面
2、elasticsearch安装部署
2.1 安装准备
elasticsearch基于java语言开发,所以在安装elasticsearch之前,首先要安装jdk,elasticsearch7版本以上都要求jdk1.8以上版本,推荐版本为OracleJDK1.8.0_131,需要注意,elasticsearch默认是集群模式部署,会存在主分片和副本分片,且两个分片不会存在一个服务节点上,推荐部署elasticsearch部署两台以上的服务器
? elk官方下载地址:https://www.elastic.co/cn/downloads/
2.2 创建普通用户及用户组
2.3 修改系统参数
修改最大连接数,/etc/security/limits.conf中添加两行
2.4 调整虚拟内存vm.max_map_count大小
修改/etc/sysctl.conf文件,添加下面一行内容,使其生效
2.5 安装与配置
2.6 切换用户修改elasticsearch.yml文件,具体配置如下:
其他节点参考以上配置,仅需修改node.name与network.host两个配置参数
2.7 服务启动
2.8 服务验证
浏览器访问IP+端口
3、elasticsearch-head安装
3.1 elasticsearch-head简介
elasticsearch只是后端提供各种api,无法直观使用它,elasticsearch-head将是一款专门针对于elasticsearch的客户端工具,它是一个基于node.js的前端工程,故在部署直线首先要安装node.js
3.2 安装node.js(Linux环境)
3.3 npm安装
如果出现以下错误:
解决方法如下
再重新执行npm install即可
grunt工具包安装
检查当前目录npm安装情况
3.4 安装elasticsearch-head
3.5 启动npm
3.6 浏览器验证
3.7 注意
elasticsearch-head在连接es集群时候,es集群需要添加一下参数配置:
4、Kibana安装部署
kibana在整个Elastic Stack中起到了数据可视化的作用,也就是通过图、表、统计等方式将复杂的数据以更加直观的形式展示出来,由于kibana运行于Elasticsearch基础之上,所以将kibana视为elasticsearch的用户图形界面
4.2 安装准备
安装前需要先安装jdk(略)
4.3 创建安装用户
4.4 安装与配置
安装目录/app
修改文件所属用户用户组
切换至kibana用户修改kibana.yml
具体配置如下:
4.5 服务启动
4.6 服务验证
5、filebeat安装部署
5.1 filebeat概述
filebeat一般安装于宿主机,用于收集文本型日志数据
5.2 安装filebeat
解压安装包
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!