数据技术的发展历史就是人类追求美好生活过程最真实的写照。

大数据分析的历史与未来展望

最早的数字不是阿拉伯人发明的，数字的起源如同文字起源一样古老。

结绳记事

印度-阿拉伯数字系统是一系列的十进制进位制的计数系统，起源于9世纪的印度。

此系统像一种语系，当地的很多文字系统的不同记数符 都是起源于此系统。

起源于印度的婆罗米数字，在中世纪时传入中东和西方。各个地区根据当地的文字系统改造了其数字字符。现在还在使用的三大分支是：

• 西方阿拉伯数字，世上最流行的记数系统
• 阿拉伯文数字，中东和西亚地区最流行的记数系统
• 印度数字，印度祖传的记数系统

赌博催生了概率论

• 伦敦霍乱爆发地图成为数据可视化的开山之作

数据库的起源–打孔卡

1880年美国进行人口普查的数据全靠手工处理，历时7年才得到结果。

同年，美国人口调查局职员霍列瑞斯发明了用于人口普查数据的穿孔卡片及机器，并用于1890年美国人口普查，仅6周就完成了统计。

霍列瑞斯后来创建了一个公司，叫做制表机公司，但是他后来还有一个名字叫做国际商用机器公司（IBM）。

二战时的应用

美军运筹研究人员从战场调查入手，采用统计评估的方法将作战详 转换为统计数据，并建立起数据与研究问题之间的联系。

• 大型战舰

  大幅度机动遭神风敢死队命中率为22%，明显小于不采取机动的49%

  大幅度机动防空武器命中率为78%，不机动时为74%

• 小型战舰

  大幅度机动遭神风敢死队命中率为36%，高于不采取机动的26％

  大幅度机动防空武器命中率为59%，略低于不机动时的66%

二战结束后，一大批二战士兵退伍，在他们中有一批人结合当时在军队了解的知识和当时的时政，完成了自己的创业。

商业智能与营销管理理论的兴起

福特汽车的用户画像

罗伯特·麦克纳马拉将现代管理原则引入福特，用数量方法控制成本和产出。

• 顾客画像，有钱人买进口车，福特开始生产经济型轿车（当时美国本土流行大油耗，大轮胎，车高载货多的车型(皮卡或小卡车)，但是有钱人会去进口国外的小型轿车）
• 数据表明造成行车事故最多的是机械故障，投资改善
• 数据表明撞车后造成死亡最大的原因是方向盘挤压胸口，发明了新方向盘技术，加保险带。

福特的用户画像策略，使得北美的企业越来越相信数据，再也没有企业拍脑袋决定策略，都是先看过数据后再说。

随着数据积累的越来越多，人们需要一个能够管理数据，快速处理数据的工具。

这时，IBM推出了关系数据库。

关系数据库的出现

1970年，IBM的埃德加·科德博士发表了一篇划时代的论文’A Relational Model of Data for Large Shared Data Banks’(大型共享数据库的关系模型)，开启了关系数据库时代，这个模型依旧是现在大多数数据库系统的基础。

1981年，埃德加·科德获图灵奖。

基于关系数据库的系统开始大量应用于企业业务，例如材料需求计划（MPP）系统，就表示了计算机最早的主流商业用途之一。

在计算机的辅助下，人类处理信息的速度空前的加快了。

然后，人们的数据就积累到了过去从来没有想象过的量级，企业就打算用数据来进行一些分析，提升企业的经营。也就引出了商业智能。

商业智能的提出

1958年，IBM研究员汉斯·彼得·卢恩将商业智能(BI)定义为“能够理解所呈现的事物之间的相互关系，从而引导行动朝着预想目标前进的能力”。

1970年，“商业智能”随着用于分析商业和操作性能的新出现的软件和系统的兴起，他的受欢迎程度也越来越高。

随着数据的不断积累，最终引出了数据仓库的概念。

商业营销理论的发展

1970年代，市场营销学开始快速发展

1972年，营销学之父菲利普·科特勒教授出版了《营销管理》一书，提出了4P’s理念，强调企业的发展取决于市场和顾客，而不是由企业的自主愿望驱动的

在管理理念的知道下，数据被大量应用到企业管理的方方面面

市场研究公司开始出现、企业的数据文化开始培养

随着顾客数据越来越全面，4C’s理论要求对顾客进行全方位的了解

企业开始注重用户数据的收集和使用，针对消费者个性化服务成为主流。业务促进技术，最终让数据分析技术更加辉煌。

大数据出现的标志性时间

• 互联 崛起

  • 1991年

    Tim Berners-Lee定义了超文本规范，标志着万维 的诞生

  • 1998年

    根据R J T Morris和B J J Truskowski在他们2003年的《存储系统的进化》一书中所说，从这一年开始数字存储比纸张成本更低

  • 1998年

    谷歌搜索在这一年第一次亮相，成为搜索互联 数据的工具

• 数据大爆炸的开启

  • 2004年

    始于出版 经营者O’Reilly和MediaLive International之间的一场头脑风暴论坛，WEB2.0诞生，即用户生产的web，其中大部分内容由服务的用户提供，而不是服务提供者本身。这为数据大爆炸提供了基础。

  • 2004年

    FackBook这样的 交 站出现，数据大爆炸开始

  • 2005年

    Hadoop这个开源框架被创造出来，专门用于存储和分析大数据集。他的灵活性使他对管理非结构化数据（语音、视频、原始文本）特别有用，我们正在越来越多的生产和收集这些数据。

大数据时代

• 大数据时代的来临

  • 零售商、银行、制造商、电信供销商和保险公司等都在利用数据挖掘技术，从定价、促销和人口统计数据，到经济、风险、竞争和 交媒体如何影响他们的商业模式、收入、运营和客户关系等各个领域之间的关系。
  • 制造业存在大量的设备，通过感应器采集不同类型的数据获得如音响、震动、压力、电流、电压和控制器的数据，大量的数据构建制造业的大数据，作为设备诊断和健康管理分析工具的输入项
  • 媒体的大数据应用，针对不同用户调整消息（广告）和内容（文章）

• 机器学习的革命性突破

  • 基于深度学习的神经 络强势崛起，给工业界带来了深刻的变革和机遇。深度学习的成功不是源自脑科学或认知科学的进展，而是因为大数据的驱动和计算能力的极大提升。

大数据人才培养路线

• 数据管理

  • Python
  • SQL
  • Hadoop
  • 云计算
  • Excel

• 运营 表

  • KPIs
  • 数据分析
  • 沟通技能
  • WOW

• 洞察分析

  • 营销分析与优化
  • 特定业务问题分析
  • 战略分析
  • PPT演示

• 算法模型

  • 统计检验与回归决策树
  • 篮分析
  • 人工智能

数据驱动决策

• 建立目标

  • 确认业务目标
  • 提高数据技能和完善的项目管理与执行能力
  • 获取行业领域知识

• 数据整合

  • 查找数据源和集成
  • 编程技巧与效率
  • 数据QA流程
  • 获取数据清洗、变换、整合的技术能力

• 分析方案

  • 计算方式
  • 有效的 表设计和计量设计
  • 营销前分析
  • 典型的分析方法

• 呈现与建议

  • 洞察于建议
  • 向非技术客户展示分析结果
  • 使用数据回答企业的问题
  • 商务交际的最佳实践

• 测量与评估

  • 执行后分析
  • 后分析中得出统计上正确的答案
  • 可操作性的洞察结果

成长路线

• 第一阶段

  • 数学
  • 统计学
  • 计算机基础知识

• 第二阶段

  • R
  • Python
  • Java
  • SAS
  • Hadoop
  • 云计算

• 第三阶段

  • 数据库
  • 数据存储
  • 数据质量控制

• 第四阶段

  • 数据处理
  • 数据计算
  • 数据可视化
  • BI 表制作
  • 数据项目管理

• 第五阶段

  • 算法
  • 数据挖掘技术

• 第六阶段

  • 数据科学家

• 第七阶段

  • CDO/CXO

最后，说一句让我感触很深的话：人的大脑不是用来记忆的，是用来思考的。