大数据等于BI吗?并非如此

在这个概念泛滥的大数据热炒时代,各种公司一夜转型大数据,如何辨别小数据和大数据,不仅是技术基础,更重要的是思维方式。

大数据和BI有很多对立。我们在项目实施中一直遵循这一原则。例如:

1.全量思维。不用抽样建模,再回到DW实施。大数据利用全量数据直接跑,先在大宽表中找到以前靠业务经营选择的字段,即依靠机器学习建规则,再在全局数据中实施。大数据在这个层面首先是基础设施,能够完成以前不能完成的任务。例如某保险公司,SAS只能跑几十万用户的一种分类模型,现在可以把个险3600万用户跑个全量,得到上千个分类,发现业务经营给不了事实。这是大数据的IT属性,Hadoop分布式计算带来的颠覆创新。

2. 个性化。 BI面向决策,面向人的干预。输出形式更多的dashboard.report。因此对事实描述更多是基于群体共性,而不是个体刻画。例如回到保险公司的例子,当我们用大数据计算出每一个个体客户的流失风险概率,做个性化客户视图。而BI系统需要汇总成宏观统计数据。前者帮助我们深刻的了解每一个用户,适合于精准推荐类营销类问题,回答How much how strong的程度类模糊问题;后者帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题,准确回答yes or no的统计意义概率问题。

大数据对个体刻画还是BI的群体描述,引发了下面第三种差异。

3. Insight or Automation群体共性的描述获得的Yes or no的问题对于复杂经济现象越来越难回答,维度指标越来越多。例如上面客户流失风险的例子,被BI系统做成统计指标后汇 高层做决策,高层形成客户挽留计划一类的执行策略往往风险很大,包括质疑数据准确性,执行效率反馈周期等等,其结果就是面对这样的宏观不决策不作为。因此,某种意义上,BI形成的Insight,因为没有形成闭环干预,而没有发挥作用。

大数据强调Automation. 淘宝更强调为每一笔 购做自动推荐的生产系统。上面的保险客户流失例子,大数据刻画客户后提供给一线销售,数据服务下沉而不是汇总上 ,每一个保险员做微决策微行动,风险小反馈及时。大数据更强调提供自动化工具,而不是统计 告。

4. 反馈和实验方法 因为引入了Automation,和记录行为数据,效果更直接及时。例如互联 最多用的AB testing. Hulu每日上线的测试有200多个,可见测试方法在数据分析中的重要程度。

在这个概念泛滥的大数据热炒时代,各种公司一夜转型大数据,如何辨别小数据和大数据,不仅是技术基础,更重要的是思维方式。更多关于大数据和BI的话题以及讨论,欢迎登陆科技官 https://www.evget.com/tecserv/bigdata与我们沟通交流。

标签:

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2019年6月15日
下一篇 2019年6月15日

相关推荐

发表回复

登录后才能评论