目录

Splunk总体介绍

简介

Splunk是什么    

Splunk做什么

Splunk如何做

应用场景

日志管理

为机器数据建立索引

搜索、关联、调查

钻取分析

监控&告警

表和仪表盘

IT运维监控

IT运维监控视图

丰富的App和插件

安全和欺诈

安全神经中心

安全挑战

高级威胁检测

内部威胁

合规

欺诈与盗窃

用户行为分析

数据从哪儿来

数据源类型

文件和目录

络事件

Windows数据源

其他数据源

数据提取

数据如何分析

强大的SPL语言

可视化及 告

可视化的类型

表格

图表

单值卡片

仪表

地图

数据钻取

钻取的动作类型

钻取的行为

共享

Splunk App体系

Splunk App应用

Splunk Add-on附加组件

Splunk二次开发

Splunk Web 框架

各种开发方式对比

Splunk机器学习

介绍

机器学习和分析命令

示例展示

助手

扩展的 SPL 命令

算法

分类算法

回归算法

特征提取Feature Extraction

异常检测Anomaly Detectors

聚类算法Clustering Algorithms

预处理Preprocessing

时间序列分析Time Series Analysis

工具算法Utility Algorithms

示例展示

预测数值字段

预测分类字段

检测数字异常值

检测分类异常值

时间序列预测分析

对数据类事件进行聚簇

性能

查询类型如何影响性能

Splunk部署

支持的操作系统

Unix/Linux类

Windows类

支持的浏览器

硬件建议

中小规模数据环境

大规模的数据环境和分布式部署

Splunk容量规划

磁盘容量

Splunk案例

GE通用

基本信息

用户场景

Splunk产品版本对比

Splunk许可模式

---

 

 

Splunk总体介绍

简介

Splunk 是一款顶级的日志分析软件，如果你经常用 grep、awk、sed、sort、uniq、tail、head 来分析日志，那么你需要 Splunk。能处理常规的日志格式，比如 apache、squid、系统日志、mail.log 这些。对所有日志先进行 index，然后可以交叉查询，支持复杂的查询语句。然后通过直观的方式表现出来。日志可以通过文件方式传倒 Splunk 服务器，也可以通过 络实时传输过去。或者是分布式的日志收集。总之支持多种日志收集方法。

这个软件分为免费版本和专业版本。

Splunk是什么    

Splunk是一个分析计算机系统产生的机器数据，并在广泛的场景中提供数据收集、分析、可视化分布式的数据计算平台。

• Splunk 是一个数据引擎。
• 针对所有IT系统和基础设施数据， 提供数据搜索、 表和可视化展现。
• Splunk是软件 – 5分钟就可以下载和安装。
• 可以运行在各种主流的操作系统平台。

 

Splunk做什么

Splunk如何做

应用场景

日志管理

为机器数据建立索引

搜索、关联、调查

具有专利的Splunk 搜索处理语言 (SPL，直观且功能强大。自动将您的各类数据格式，提供 140 多种命令,可以统计搜索、计算指标、甚至在滚动时间窗内查找特定条件。放大和缩小的时间线以自动揭示趋势、峰值和蕴含的模式，并且可以以钻取深入细节。

钻取分析

通过使用即时搜索和时间线控制深入分析前后的所有数据,快速显示趋势峰值和异常。只需轻点鼠标,就可利用 Splunk 的独特字段提取功能找到任何数据字段内的任何值,以跟踪事件序列和快速实现”大海捞针”。无论是否正在调查一个安全警 ,分析业务中断的根源,或调查潜在数据泄露,都会在几秒钟到几分钟而不是几小时或几天内得到答案。

监控&告警

将搜索转化为实时告警,通过电子邮件或 RSS 自动触发通知,执行修复操作,向系统管理控制台发送 SNMP 陷阱或在服务台生成故障票据。告警可基于各种阈值、基于趋势的条件和其他复杂标准而触发。在出现告警时获得其他信息,协助运维人员更快进行根本原因分析并找到问题的解决方案。

 

表和仪表盘

使用同一界面搜索实时和历史数据。使用熟悉的搜索命令来定义、限制或扩大搜索范围,并跨越多种数据源进行关联以发现新的现象。关联基于时间的数据、外部数据、位置、子搜索或连接跨越多种数据源。搜索帮助提供键入提示建议和上下文帮助,方便使用搜索处理语言 (SPL 的所有高级特性。

IT运维监控

IT运维监控视图

 

丰富的App和插件

Splunk提供了丰富的开箱即用的App和插件(Splunk可以看做是一个安卓生态)，从业务层到IT层全面监控。Splunk积累了1000多个不同场景的App和插件，涵盖了主流的IT软硬件厂商，能够可视化、采集数据，大部分情况下，从Splunk市场下载App即可满足多种多样的需求。

并且提供了方便的界面，能够让使用者可以自己创建新的App和插件。

安全和欺诈

安全神经中心

Splunk 整合多个 IT 领域，以启用协作并实施最佳实践，以与数据交互并调用操作，从而应对现代 络威胁挑战。鉴于 Splunk 用作神经中心，团队可以优化人员、流程和技术。安全团队可以利用数据统计、可视化、行为和探索分析，从而有助于见解、决策和运营。

安全挑战

 

• 高级威胁检测

  使用任何时间段内任何数据的任何字段查找关系,继而跟踪杀伤链的各个阶段。

• 内部威胁

  使用 Splunk,以在偷盗、滥用或损坏机密数据前检测恶意员工和其他内部威胁。

• 合规性

  提供更高水平的自动化,并连续监测合规性和监管规定。

• 欺诈与盗窃行为

  通过实时或历史数据搜索和生成数据透视表,以研究和检测欺诈或盗窃行为并查明滥用行为。

• 用户行为分析

  通过利用数据科学和机器学习的解决方案,检测 络攻击和内部威胁。

• 适应响应倡议

  由Splunk 引导的适应响应方案会连接最佳安全供应商 区,以改善 络检测战略。

高级威胁检测

杀伤链方法论

 

图.杀伤链方法论

络杀伤链由攻击流程与防御概念构成。如图1所示，攻击流程分为侦察、武器化、散布、恶用、设置、命令与控制、目标达成等七个阶段3。

1. 侦察阶段。侦察阶段是攻击者为达成目标，进行探测、识别及确定攻击对象（目标）的过程。在这个阶段，可通过 络收集企业/机关 站、 道资料、招标公告、职员的 会关系 (socialmedia networks)、学会成员目录等各种与目标相关的情 。

2. 武器化阶段。武器化阶段是指通过侦察阶段确定目标后，准备 络武器的阶段。 络武器可由攻击者直接制造，也可利用自动化工具来制造。

3. 散布阶段。散布阶段是指将制造完成的 络武器向目标散布的阶段。据洛克希德·马丁公司 络安全保障小组称，自2004年至2010年间，使用最为频繁的散布手段有邮件附件、 站、USB(Universal Serial Bus)等。

4. 恶用阶段。恶用阶段是指 络武器散布到目标系统后，启动恶意代码的阶段。在大部分的情况下，往往会利用应用程序或操作系统的漏洞及缺陷。

5. 设置阶段。设置阶段是指攻击者在目标系统设置特洛伊木马、后门等，一定期限内在目标系统营造活动环境的阶段。

6. 命令与控制阶段。这一阶段是指攻击者建立目标系统攻击路径的阶段。在大部分情况下，智能型 络攻击并非是单纯的自动攻击，而是在攻击者的直接参与下实施的。一旦攻击路径确立后，攻击者将能够自由接近目标系统。

7. 目标达成阶段。这一阶段是指攻击者达到预期目标的阶段。攻击目标呈现多样化，具体来讲有侦察、敏感情 收集、破坏数据的完整性4、摧毁系统等。

通过筛查与杀伤链的不同阶段关联的恶意软件分析解决方案、电子邮件和 络解决方案的日志，Splunk 软件能帮您发现遭入侵系统的指标和隐藏在您机器数据中的重要关系。

 

确定影响和范围

通过使用任意字段值将事件链接在一起以重新构建攻击序列来发现跨不同安全技术的相关事件，包括威胁情 、 络安全（例如电子邮件和 关）、防火墙、终端安全和终端威胁检测和响应解决方案。

端到端的可视化

Splunk 软件允许不同的安全团队协作、应对和防御高级威胁。团队可以向上、向下和在其中查看安全和 IT 技术栈，以及回顾过去来发现、分析和应对与遭入侵主机和高级威胁相关的活动。团队成员可以在任何活动或条件上快速创建实时关联搜索，这样可将情 整合回系统以进行持续监测。

内部威胁

内部威胁来自现有或以前的员工，承包商或有权访问公司 络的合作伙伴，故意或意外渗透，误用或破坏敏感数据。 由于这些内部人员已经在组织内部，所以他们经常使用合法凭据和权限来访问和下载敏感资料，从而避开传统安全产品的检测。

Splunk可以帮助您以下列方式检测并击败内部威胁：

• 当用户操作或模式被认为是内部人员不适当地获取敏感数据或通过 络或端点进行渗透时 警。
• 当异常值偏离正常行为的基准时的警 ，因为这些异常值可能是内部威胁
• 一旦明确确定内部威胁，就启动自动缓解补充其他安全技术，
• 为其他的安全解决方案提供补充，以对用户内部行为的全面了解，或可能被内部人员规避
• 通过搜索数周或数月的历史事件数据快速调查内部人员活动，以快速确定用户行为的范围，意图和严重性
• 通过利用数据科学和机器学习的现成的用户行为分析解决方案来检测 络攻击

合规

将其作为单一平台来自动遵循广泛的政府和工业规范、管理框架和内部要求，包括 PCI、HIPAA、FISMA、GLBA、NERC、SOX、EU Data Directive、ISO、COBIT 和 20 个关键的安全控制。 Splunk 能让客户创建关联规则和 告来确定对于敏感数据或关键雇员的威胁，并自动展示合规性或确定关于技术控制的非合规区域。

• 遵循 SIEM 或集中式收集／日志、持续监控和保留安全事件的要求
• 快速搜索过去几天、几周或几个月的大量的安全事件和机器数据以加快事件调查或满足审计师的特殊要求
• 创建 告和仪表板来显示遵循任何所需技术控制的状态
• 通过关联规则、异常检测或风险评分启用实时、已知和未知威胁检测

欺诈与盗窃

欺诈、盗窃和滥用的检测和防御是对于大数据的挑战，尤其是业务移入在线领域时。内部或外部的欺诈模式经常依赖于大量的由业务应用和系统产生的非结构化机器数据和日志文件。

Splunknbsp;软件允许组织核查这种机器数据来满足广泛的反欺诈、反盗窃和反滥用的团队需要，包括：

• 欺诈检测 – 在欺诈发生的时候,实时关联搜索或异常检测能确定欺诈并告警,这样在达到不利影响的最低限度前,组织可以采取行动以防止欺诈
• 欺诈调查 – 快速搜索和透视大量的当前或历史计算机数据来研究可能的欺诈和了解可能的欺诈行为的”主体、内容、位置、何时间以及方式”
• 欺诈分析和 告 – 轻易进行对于广泛的内部用户的欺诈风险的分析、测量和管理
• 增强现有的反欺诈工具 – 对于来自独立工具的事件数据进行索引来为单个交易创建汇总的欺诈评分
• 创建综合的 告和仪表板来在单一虚拟管理平台上查看企业范围的欺诈风险

用户行为分析

Splunk 用户行为分析 (UBA) 是一种以机器学习为支持的解决方案，提供您需要的答案，以查找用户、端点设备和应用程序的未知威胁和异常行为。它不仅关注外部攻击，而且侧重于内部威胁。它的机器学习算法产生具有风险评级的可操作结果，并提供证据表明增强安全运营中心 (SOC) 分析师现有技术以加快行动。此外，它为安全分析师和威胁寻找员提供视觉枢纽点，以便主动调查异常行为。

Splunk 用户行为分析软件：

• 使用以行为为中心的专用和可配置的机器学习框架，利用无监督的算法来增强检测足迹
• 通过将数百个异常自动拼接为单一威胁，增强 SOC 分析师用户和实体行为分析 (UEBA) 功能 
• 通过在攻击的多个阶段可视化威胁来提供增强的上下文
• 支持与 Splunk Enterprise 进行双向集成，以进行数据采集和关联，并使用 Splunk 企业安全 (ES) 进行事件范围界定、调查和自动响应

用户行为分析的主要功能

• 大数据基础（Hadoop、Spark 和 GraphDB）

使用大数据基础构建，Splunk UBA 可水平扩展，每天处理数十亿事件，并支持分析数十万个组织实体。

• 无人监督的机器学习

专门构建的无人监督的机器学习算法产生较少的误 提供广泛的覆盖并产生高度可信的结果，这有助于事件响应和寻找威胁。

• 多维行为基线

历史和实时数据有助于创建行为基线，例如，概率后缀树、计数多个时间序列和更多 – 这有助于识别异常值并提供组织度量的可见性。

• 自定义威胁生成

定制底层机器学习框架，以拼接感兴趣的异常，并通过细粒度控制来解决定制用例。

• 用户监控和观察列表

使用自定义小部件或即时观察列表监视用户及其活动，以便快速方便地访问。

• 异常抑制与评分

通过应用自定义分数确定检测到的异常的优先级，并抑制触发的异常，以获得更高的保真度威胁。

• Splunk Enterprise 和 Splunk 企业安全的双向整合

与 Splunk Enterprise 无缝集成以进行数据采集，将异常和威胁实时传输到 Splunk 企业安全，通过高保真警 帮助组织获得对其安全状态的视觉洞察并自动响应。  

安全仪表板

安全仪表板可在组织中找到高级别摘要可视化威胁和异常以及异常用户、设备和应用程序的统计信息。 

杀伤链视图

 

杀伤链视图通过攻击持续时间、涉及的实体、在杀伤链的入侵阶段、扩展阶段和渗透阶段观察到的异常分类等细节，对攻击进行可视化探索。

对等组

对等组分析可视化使用行为分析计算的动态对等组视图、Active Directory 和组织结构突出显示类似的用户和异常值。

开箱即用的分析

开箱即用的分析可显示跨多个实体计算的聚合和基线的仪表板，并可显示实体级别的详细细目。

用户风险评分和监控

用户风险评分和监控监控用户并通过多个风险评分（如内部风险百分比、外部风险百分比、异常数量、威胁数量）和整体用户评分进行过滤。

异常类别

异常类别超过 45 个异常类别可以开箱即用 – 包括异常 络活动、可疑数据移动、异常活动时间等 – 每个都可以自定义得分优先级，并抑制有效的狩猎和威胁生成。所有异常均通过机器学习算法触发。

威胁类别

类别威胁超过 20 种威胁类别可以开箱即用 – 包括数据泄露、横向移动、受影响帐户、可疑行为和其他 – 可以自定义得分优先级。客户可以通过指导机器学习框架应拼接哪些异常以及如何拼接来编写自己的用例（威胁）所有威胁均通过机器学习算法触发。

 

集成事件可视化

集成事件可视化通过 UBA 资产和身份协会观察 ES 中的威胁行为者的活动，查看 UBA 产生的异常和威胁以及资产调查员中的其他 Swimlane 指标， 参考具有额外详细信息的专用 UBA 仪表板。

数据从哪儿来

Splunk索引数据不考虑格式或位置 — 日志、点击流、传感器、 络流量、 页服务器、客户应用、管理程序、 交媒体以及云服务。由于该结构和方案仅适用于搜索时间,可以不受限制地分析数据。

 

数据示例

数据类型	位置	它可以告诉您什么
应用日志	本地日志文件、log4j、log4net、Weblogic、WebSphere、JBoss、.NET、PHP	用户活动、欺诈检测、应用性能
业务流程日志	业务流程管理日志	跨渠道客户活动、购买、帐户变更以及问题 表
呼叫详细信息记录	呼叫详细信息记录 (CDR)、计费数据记录、事件数据记录均由电信和 络交换机所记录。	计费、收入保证、客户保证、合作伙伴结算，营销智能
点击流数据	Web 服务器、路由器、代理服务器和广告服务器	可用性分析、数字市场营销和一般调查
配置文件	系统配置文件	如何设置基础设施、调试故障、后门攻击、”定时炸弹”病毒
数据库审计日志	数据库日志文件、审计表	如何根据时间修改数据库数据以及如何确定修改人
文件系统审计日志	敏感数据存储在共享文件系统中	监测并审计敏感数据读取权限
管理并记录 API	通过 OPSEC Log Export API (OPSEC LEA) 和其他 VMware 和 Citrix 供应商特定 API 的 Checkpoint 防火墙	管理数据和日志事件
消息队列	JMS、RabbitMQ 和 AquaLogic	调试复杂应用中的问题，并作为记录应用架构基础
操作系统度量、状态和诊断命令	通过命令行实用程序（例如 Unix 和 Linux 上的 ps 与 iostat 以及 Windows 上的性能监视器）显示的 CPU、内存利用率和状态信息	故障排除、分析趋势以发现潜在问题并调查安全事件
数据包/流量数据	tcpdump 和 tcpflow 可生成 pcap 或流量数据以及其他有用的数据包级和会话级信息	性能降级、超时、瓶颈或可疑活动可表明 络被入侵或者受到远程攻击
SCADA 数据	监视控制与数据采集 (SCADA)	识别 SCADA 基础结构中的趋势、模式和异常情况，并用于实现客户价值
传感器数据	传感器设备可以根据监测环境条件生成数据，例如气温、声音、压力、功率以及水位	水位监测、机器健康状态监测和智能家居监测
Syslog	路由器、交换机和 络设备上的 Syslog	故障排除、分析、安全审计
Web 访问日志	Web 访问日志会 告 Web 服务器处理的每个请求	Web 市场营销分析 表
Web 代理日志	Web 代理记录用户通过代理发出的每个 Web 请求	监测并调查服务条款以及数据泄露事件
Windows 事件	Windows 应用、安全和系统事件日志	使用业务关键应用、安全信息和使用模式检测问题。
线上数据	DNS 查找和记录，协议级信息，包括标头、内容以及流记录	主动监测应用性能和可用性、最终客户体验、事件调查、 络、威胁检测、监控和合规性

数据源类型

• 文件和目录Files and directories

• 络事件Network events

• Windows数据源Windows sources

• 其他数据源Other sources

文件和目录

很多数据是直接从文件和目录中提取的。可以使用 文件和目录监视器 来从文件和目录中提取数据。

参照 从文件和目录中获取数据。

络事件

Splunk可以索引从 络端口收到的数据，例如从TCP端口收到的syslog-ng或者应用程序发来的数据。同样，UDP也是可以的，但是如果可能的话，尽量使用TCP协议。

Splunk也可以接收和索引远程设备的SNMP事件。

从 络端口接收数据参照 从TCP和UDP端口接收数据。

接收SNMP数据参照  发送SNMP事件到Splunk。

Windows数据源

Splunk Enterprise Windows版可以收集不同种类的Windows数据:

• Windows 事件日志数据

• Windows 注册表数据Registry data

• WMI数据

• Active Directory活动目录数据

• Performance 性能监视器数据

在非Windows版本的Splunk上索引和搜索Windows数据，必须使用Windows版的Splunk收集数据。参考 如何监控远程Windows数据的考虑要点。更详细的参考 监视 Windows数据 。

其他数据源

Splunk也支持其他类型的数据源，例如：

• 性能度量

从基础设施、安全系统和应用系统获取性能度量信息。Get metrics data from from your technology infrastructure, security systems, and business applications.

• 先入先出 (FIFO) 队列

  • 脚本输入

从API、其他远程数据结构和消息队列获取数据.

• 模块化输入

在Splunk框架上自定义一个输入采集.

• Http事件收集器

Http事件收集器，使用Http或者https协议从数据源收集数据。

数据提取

待续。。。

数据如何分析

强大的SPL语言

SPL是Splunk Search Language的简称，是Splunk的专利分析语言，但不仅仅是一种搜索语言，是非关系数据分析的事实标准。SPL 提供 140 多种命令，可让搜索、关联、分析和可视化任何数据 — 一种可在 5 个重要领域概括的强大语言。

待续。。。

可视化及 告

在针对任意业务、运营和安全需求的自定义仪表板和 表中查看趋势和特性。使用图表叠加、平移和缩放控制深入分析。预测性可视化允许您预测高点和低点,计划系统资源并预测工作量。也可以为任意人员自定义仪表板和 表,以 PDF 形式分享或将其嵌入其他应用中。

可视化的类型

表格

 

图表

 

图表类型	说明
饼图	单个维度
柱状图	表示数据集中的一个或者多个维度。每一组数据代表了一种值。
线图和区域图	线图用来展示在数据在时间上的变化趋势 区域图展示统计数据在时间上的变化趋势
散点和气泡图	表示数据集中的多个维度。数据点的大小、分布情况表达了模式和关系。

 

单值卡片

单值看片用来重点显示一条数据，以及围绕着此数据的相关数据。单值可以是任何想要呈现的数据，例如受欢迎的柠檬水的销售情况。

上图中显示了货币单位和通过颜色强调数据，右上角的箭头显示了变化趋势（当前是增长）。下边的曲线显示了随着时间数据的变化趋势。

仪表

使用仪表可以显示数据的变化范围以及当前数据所在的位置，有圆形仪表、空白仪表、标记仪表三种。

圆形仪表

空白仪表

标记仪表

标记仪表使用颜色来标记不同的数据范围段。

地图

地图用来在地理维度上展现数据，有地区分布图和

地区分布图

地区分布图通过颜色在地图的区域上显示不同的数据，例如通过颜色来表示各个区域的销量情况。

城市群地图

城市群地图，在像百度地图这样的图形上，显示不同的地域的数据情况，例如不同城市的销量情况，用圆圈的大小表示销量。

数据钻取

当使用者在Dashboard上用户的点击数据点、表格行或单元，或者其他可视化元素的某些位置，有时候需要根据点击的内容深入下去，从宏观到细节。此时就需要钻取这种交互的方式。

每一个可视化都可以配置单独的数据钻取，

钻取的动作类型

链接到一个目标位置

Dashboard或表单的点击或者其他行为链接到外部目标。 外部目标可以是一个二次搜索，另一个Dashbaord或表单或 站。

在当前的Dashboard中触发交互

钻取还可以在同一个仪表板或表单中触发上下文更改。 例如，您可以根据点击的值显示或隐藏内容。