目录

• 前言
• 一、大数据时代到来的动因
• • 1.1 第三次信息化浪潮
  • 1.2 信息科技为大数据时代提供技术支撑
  • • 1.2.1 存储设备容量不断增加
    • 1.2.2 CPU处理能力大幅提升
    • 1.3.1 络带宽不断增加
  • 1.3 数据生产方式的变革促成大数据时代的来临
• 二、大数据的简单介绍
• • 2.1 大数据的定义
  • 2.2 大数据的特点(5V)
  • 2.3 大数据的发展历程
  • 2.4 大数据的关键技术
  • 2.5 大数据计算模式
  • 2.6 大数据产业
  • 2.7 大数据与云计算、物联 的关系
  • 2.8 大数据开发的一般过程
  • • 2.8.1 数据采集
    • 2.8.2 数据存储
    • 2.8.3 数据清洗
    • 2.8.4 数据分析
    • 2.8.5 数据可视化
  • 2.9 大数据的应用场景
• 三、大数据的影响以及未来前景展望
• • 3.1 大数据的影响
  • 3.2 大数据行业发展趋势的两个层面
  • • 3.2.1 国家层面
    • 3.2.2 高校教育和就业层面
  • 3.3 未来展望
  • 3.4 大数据职业发展路线

前言

此系列主要为我的学弟学妹们所创作，在某些方面可能偏基础。如果读者感觉较为简单，还望见谅！如果文中出现错误，欢迎指正~

1.2 信息科技为大数据时代提供技术支撑

1.2.1 存储设备容量不断增加

1.3.1 络带宽不断增加

二、大数据的简单介绍

2.1 大数据的定义

大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2.2 大数据的特点(5V)

2.4 大数据的关键技术

下图为大数据技术的不同层面及其功能的解释：

2.5 大数据计算模式

2.7 大数据与云计算、物联 的关系

云计算、大数据和物联 代表了IT领域最新的技术发展趋势，三者相辅相成，既有联系又有区别，在此就不过多赘述云计算和物联 。如有兴趣可自行查阅相关资料。

1、Matplotlib(Python)：一个2D绘图库，可以绘制许多高质量的图形

2、Seaborn(Python)：Matplotlib基础上的高级绘图库，运用简单的操作就能够画出较为复杂的图形

3、Tableau：一个强大的数据可视化工具，可实时进行可视化数据分析和数据探索

4、Echarts：由百度前端技术部开发的，基于Javascript的数据可视化图表库，提供直观、生动、可交互、可个性化定制的数据可视化图表

2.9 大数据的应用场景

随着大数据的发展，大数据技术已经广泛应用在众多行业，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的 会各行各业都已经融入了大数据的印迹：

4物流仓储：京东物流，上午下单下午送达、下午下单次日达

三、大数据的影响以及未来前景展望

3.1 大数据的影响

图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式

• ETL工程师—数据清洗
• 数据仓库工程师—数据仓库搭建
• 实时流处理工程师
• 用户画像工程师
• 数据挖掘
• 算法工程师
• …

1. 林子雨 大数据技术原理与应用（第3版）
2. 尚硅谷 大海哥大数据Hadoop 3.X

本片文章到这里就结束了，如有不足请指出~