编译安装日志分析平台 elk + filebeat

开始之前

假设您已经拥有一台内存至少1G的 计算机或虚拟机并且安装了screen命令
并且您应该了解 命令的使用 , 如果不了解您可以粗略的看一下 screen简明教程

下载安装包

java http://www.oracle.com/technetwork/java/javase/downloads/index.html
elk https://www.elastic.co/cn/products

• 下载安装包

  因为es是不能运行在root用户的 , 即使可以也不建议使用 root
  因此, 我们可以单独创建一个用户来运行elk

  给elk的文件目录变更用户

  ---

  开始安装

  请自行更换 /opt 为你的实际目录

  java 8

  把以下几行添加到 /etc/bashrc 的末尾

  使环境变量生效

  验证安装是否成功

  执行命令：

  回到root账户 , 修改/etc/security/limits.conf 添加如下行并重启计算机 :

  如果需要在浏览器访问, 还需要关闭防火墙和selinux

  浏览器访问

  如果需要测试是否真的启动完成 , natstat 和 telnet 这两个命令都可以

  至此logstash安装和启动完毕

  我们用组合键回到默认会话

  kibana

  kibana 只需要修改基础配置文件即可启动 , 并进行浏览器测试

  修改配置文件

  启动

  返回如下信息则说明启动成功

  至此kibana安装和启动完毕

  我们用组合键回到默认会话

  测试

  如果顺利的到了这里 , 那么elk其实已经可以使用了 , filebeat不是必须的.
  我们找来一些日志验证一下前面工作的正确性

  • 上传日志到服务器 :

  • 这是一份普通的nginx日志
  • 界面一闪而过 , 回到了这里
    • 选择@timestamp 继续下一步
    • 首页如下

    修改配置

    修改filebeat的配置文件 , 和上面一样我们使用sed修改配置文件

    我们还需要修改 logstash 的配置文件才能使用 filebeat 来自动捕获数据

    修改logstash的输入输出配置

    为了避免你已经手动修改了配置文件 , 我们不再使用sed为改为手动修改配置文件

    最终配置文件大概会是这个样子

    重启logstash

    如果正常启动并进入监听状态 , 我们回到刚才的会话

    启动filebeat

    如果配置正确 , 那么一般不会遇到什么问题

    测试filebeat

    因为我们已经在 /var/log/dev.log 这份配置文件 , 那么我们就增加它的内容 , 来测试filebeat是否正常扫描和输出到logstash

    里使用死循环来增加日志内容 , 数据是重复的 , 仅可用于验证filebeat的工作
    第三行的 while 是每隔1秒就复制 tmp.log 的内容到 dev.log 的末尾
    您随时可以用 ^C [Ctrl +c] 来终止复制过程

    然后我们查看浏览器的kibana , 右上角倒数第二个按钮, 开启自动刷新并选择五秒

    

    如果一切无误, 坐等5秒 , 就会发现有新的数据展示在页面上

    此时可以明显的观察到 , 红框的时间部分每隔5秒就会变化一次

    声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！