项目目标

平台层通过对各业务板块各种数据的采集、整理、汇聚，建立一个基于“互联 +”、云计算技术和人工智能技术的数据湖，实现各业务板块的生产监视、智能设备状态监测、智能故障诊断、智能运行保障、生产数据分析等功能，打造涵盖智慧型生产、经营、发展、党建等全领域的综合平台。

业务层公司数据湖融合实时数据库、关系数据库，实现数据资产管理，提供大数据应用和数据分析计算模型。其中，实时数据是主要的数据形式，实时数据库集群承担高通量数据接入的任务同时，为总部实时业务应用系统提供高实时性的数据查询、计算、组态数据源服务，同时完成数据的标准化、格式化、清洗和整理，将整齐的数据通过Kafka或其他适配器等方式输出到Hadoop数据湖，并负责提供从Hadoop平台到实时库等其他所需数据应用的输入输出组件。数据集中、挖掘，对实现与下属单位互联互通、智能处理、智能协同的目标，使用标准化、自动化、数字化、信息化、智能化等手段，打造涵盖智慧型生产、经营、发展、党建等全领域的综合平台，形成具有“自分析、自诊断、自管理、自趋优、自恢复、自学习、自提升”为特征的智慧企业生态系统。

展示层随着数据湖数据存储、分析、挖掘的深入应用，将极大的激发各部门、各层级对于业务数据的分析和探索，在此之上的数据 表展示需求也将呈现复杂性、综合性、多终端性、个性化等特点。本平台主要目标是建立一个快速的可视化 表平台，无缝化对接数据湖，提供丰富的 表展示功能，面对各层次人员提供对应的数据 表及分析服务。

基于此平台，我们不仅可以在 表开发过程中，加快开发速度，提高数据应用的及时性，还可以在业务需求变更、调整后，大大的降低维护难度，实现可视化做到随需应变。最终在深入完善复杂 表、打印导出、图形化分析、移动决策、大屏监控、自助分析等多个可视化分析领域的支撑。

项目建设路线

第一期：建设企业数据湖，梳理企业应用系统内部的业务数据类型，数据量；将结构化、非结构化数据打标签导入数据湖中心湖中，构建视频池、文本池和应用池分类。对某些应用场景构建BI 表分析。

第二期：建立主数据管理和数仓，ETL规范和流程，数据安全管理，数据可视化管理，数据监控的管理。梳理数据湖使用人员的角色和权限，对数据湖进行基于业务需求场景的多租户管理。根据业务的微服务化，逐步构建企业大数据微服务平台，细粒度的平台资源管理。

需求总结

综上所述，通过此技术架构，可以在大数据基础数据湖建设方面实现以下功能：

1、统一数仓：建设成熟稳定、性能先进、灵活架构、便捷易用的大数据存储与计算数据湖，实现企业内部统一汇聚、统一标准的数据仓库。

2、统一管理：建设数据权限、元数据管理、数据生命周期管控能力。

3、全量数量：建设数据全量存储、全量计算的大数据基础数据湖，实现快速对接系统数据，提供批量数据采集与处理能力。

4、数据汇集：建设多源异构数据整合接入能力。

5、数据计算：建设海量数据混合计算处理能力（批量处理和实时流处理），以及丰富多样的数据挖掘算法工具。

6、数据展现：多种维度、多种展现方式、多种接入方式的灵活的，可定制化的，可拖拽的 表平台。

7、数据湖扩展：建设具有良好兼容性与扩展性的基础数据湖，以较好地支撑后续大数据应用系统的建设。

8、图片及视频流数据保存至数据湖中，并支持快速检索。

项目建设路线

第一期：建设企业数据湖，梳理企业应用系统内部的业务数据类型，数据量；将结构化、非结构化数据打标签导入数据湖中心湖中，构建视频池、文本池和应用池分类。对某些应用场景构建BI 表分析。

第二期：建立主数据管理和数仓，ETL规范和流程，数据安全管理，数据可视化管理，数据监控的管理。梳理数据湖使用人员的角色和权限，对数据湖进行基于业务需求场景的多租户管理。根据业务的微服务化，逐步构建企业大数据微服务平台，细粒度的平台资源管理。

需求总结

综上述，通过此技术架构，可以在大数据基础数据湖建设方面实现以下功能：

1、统一数仓：建设成熟稳定、性能先进、灵活架构、便捷易用的大数据存储与计算数据湖，实现企业内部统一汇聚、统一标准的数据仓库。

2、统一管理：建设数据权限、元数据管理、数据生命周期管控能力。

3、全量数量：建设数据全量存储、全量计算的大数据基础数据湖，实现快速对接系统数据，提供批量数据采集与处理能力。

4、数据汇集：建设多源异构数据整合接入能力。

5、数据计算：建设海量数据混合计算处理能力（批量处理和实时流处理），以及丰富多样的数据挖掘算法工具。

6、数据展现：多种维度、多种展现方式、多种接入方式的灵活的，可定制化的，可拖拽的 表平台。

7、数据湖扩展：建设具有良好兼容性与扩展性的基础数据湖，以较好地支撑后续大数据应用系统的建设。

8、图片及视频流数据保存至数据湖中，并支持快速检索。

基于CDH的数据湖软件部署

本次x x项目底层数据湖是由公司所发行的Hadoop企业版，简称CDH。该版本作为业界最领先的企业级数据中心基础软件， Enterprise 除了包含业界最流行的基于开源Hadoop及其生态组件构建的CDH核心，还包含了很多为支撑企业级业务的高级管理特性。借助于 Enterprise的整体解决方案，企业可以专注于自己的业务能力。