logstash日志分析的配置和使用

logstash日志分析的配置和使用

      logstash是一个数据分析软件，主要目的是分析log日志。整一套软件可以当作一个MVC模型，logstash是controller层，Elasticsearch是一个model层，kibana是view层。

      首先将数据传给logstash，它将数据进行过滤和格式化（转成JSON格式），然后传给Elasticsearch进行存储、建搜索的索引，kibana提供前端的页面再进行搜索和图表可视化，它是调用Elasticsearch的接口返回的数据进行可视化。logstash和Elasticsearch是用Java写的，kibana使用node.js框架。

      这个软件官 有很详细的使用说明，https://www.elastic.co/，除了docs之外，还有视频教程。这篇博客集合了docs和视频里面一些比较重要的设置和使用。

一、logstash的配置

1. 定义数据源

      写一个配置文件，可命名为logstash.conf，输入以下内容：

2. 定义数据的格式

      根据打日志的格式，用正则表达式进行匹配

      由于打日志的格式是这样的：

2015-05-07-16:03:04|10.4.29.158|120.131.74.116|WEB|11299073|http://quxue.renren.com/shareAppsappinstalled=0&userId=11299073&from=groupmessage|/shareApp|null|Mozilla/5.0 (iPhone; CPU iPhone OS 8_2 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Mobile/12D508 MicroMessenger/6.1.5 NetType/WIFI|duringTime|98||

      以|符 隔开，第一个是访问时间，timestamp，作为logstash的时间戳，接下来的依次为：服务端IP，客户端的IP，机器类型(WEB/APP/ADMIN)，用户的ID(没有用0表示)，请求的完整 址，请求的控制器路径，reference，设备的信息，duringTime，请求所花的时间。

     如上面代码，依次定义字段，用一个正则表达式进行匹配，DATA是logstash定义好的正则，其实就是(.*，并且定义字段名。

     我们将访问时间作为logstash的时间戳，有了这个，我们就可以以时间为区分，查看分析某段时间的请求是怎样的，如果没有匹配到这个时间的话，logstash将以当前时间作为该条记录的时间戳。需要再filter里面定义时间戳的格式，即打日志用的格式：

     在上面的字段里面需要跟logstash指出哪个是客户端IP，logstash会自动去抓取该IP的相关位置信息：

     同样地还有客户端的UA，由于UA的格式比较多，logstash也会自动去分析，提取操作系统等相关信息

      哪些字段是整型的，也需要告诉logstash，为了后面分析时可进行排序，使用的数据里面只有一个时间

3. 输出配置

      最后就是输出的配置，将过滤扣的数据输出到elasticsearch

      我们将上述配置，保存到logstash.conf，然后运行logstash

      在logstash启动完成之后，输入上面的那条访问记录，logstash将输出过滤后的数据：

     可以看到logstash，自动去查询IP的归属地，并将请求里面的device字段进行分析。

二、配置Elasticsearch和kibana

1. Elasticsearch

      这个不需要怎么配，使用默认的配置即可。配置是: config/elasticsearch.yml

      如果需要设置数据的过期时间，可以加上这两行（目测是这样配的，没有验证过，读者可以试一下）：

      Elasticsearch默认监听在9200端口，可对其进行查询和管理，例如看索引的健康状态：

      输出