Qlik资讯|DevOps还没搞明白，DataOps又来了？

相信DevOps已经是大家的老朋友了，那么你听说过DataOps吗？DataOps借鉴了DevOps的原理，在软件开发（Dev）和IT运营（Ops）的基础上构建和增强数据管道的实践和技术，以快速满足业务分析需求。那么DataOps究竟都有哪些亮点呢？

相信DevOps已经是大家的老朋友了，那么你听说过DataOps吗/span>DataOps借鉴了DevOps的原理，在软件开发（Dev）和IT运营（Ops）的基础上构建和增强数据管道的实践和技术，以快速满足业务分析需求。那么DataOps究竟都有哪些亮点呢/span>

在当今竞争异常激烈的商业环境中，实时洞察信息至关重要。用户需要强大的分析解决方案才能快速做出决策。

然而传统的数据批处理面临速度缓慢、不够灵活、工作量大等问题。数据使用者需要更加方便地实时访问数据。许多现有的流程和技术根本无法满足这种日益增长的需求，使IT部门的工作变得更加复杂，遇到更大的瓶颈。

与之相比，

数据仓库自动化

业务需求日新月异不断变化。数据集也日趋多样化。为了满足实时传输分析就绪数据方面日益增长的需求，Qlik的数据集成平台实现了整个数据仓库生命周期的自动化。

实时数据提取和更新

变更数据捕获可实时地将数据从各种异构数据库、数据湖和企业数据源（如大型机和SAP）移至数据仓库。

• CDC streams流
• 通用数据源、目标数据库和平台
• 企业范围的监控

自动持续精化的数据细化

Qlik实现了仓库设计、ETL代码生成及数据更新的自动化——一切皆采用最优方法。该平台可以快速进行大规模的复杂数据联合关联、建模及转换。统一的编配和管理控制台可以在本地和云中执行任何规模的集成任务。

• 智能模型驱动工作流
• 自动ETL、字段集和数据集市脚本生成
• 试运行变更管理扩展
• 将新数据集更新到目录，便于即时获取

数据湖创建

企业用户需要确保数据可靠、及时更新，以便进行分析。Qlik用于数据湖创建的数据集成平台实现了数据管理过程的自动化。该平台根据数据使用者的独特需求和安全凭证为其提供查询查找、理解和使用数据的强大工具。还可以让数据工程师快速添加新数据源，确保顺利完成从实时数据摄取提取到精化细化、配置和管理的整个过程。即使在具有多个大量用户、数据源或复杂基础架构的大型环境中，数据保护功能也很容易管理。

实时数据流

变更数据捕获（CDC）实时地将数据从各种异构数据库、数据仓库和企业数据源（如大型机和SAP）移至数据湖。

• CDC streams流
• 通用数据源、目标和平台
• 企业范围的监控

可靠的企业就绪数据

Qlik为数据湖以及企业内的所有数据创建安全的企业级目录，无论数据位于何处。企业用户可以通过一个数据集市查找、理解和使用任何企业数据源，获取洞察信息。

• 智能集成数据目录
• 安全和管理
• IT和企业协作

自动持续精化的数据细化

Qlik将变更流标准化，整合到数据湖中的一个转换就绪数据存储区。自动将多表和多元数据合并为灵活的数据格式，并保留完整历史记录的灵活格式。最终结果，数据使用者可以快速访问可靠的数据，而无需了解背后的自动化结构。

• 管道过程自动化和编配
• 弹性和自动修复
• 大规模准备和配置

CDC串流——CDC Streaming

CDC

Qlik通过完全自动执行端到端复制的简单图形界面实时移动数据，使数据工程师可以轻松设置、控制和监测数据管道。

1. 基于日志的无代理方法
2. 零内存占用架构
3. 针对云进行了优化

通用数据源、目标和平台

Qlik支持各种数据源和目标库，用户可以在本地和云中或混合环境中进行数据的加载、提摄取、迁移、分配、整合或同步。

1. RDBMS关系型数据库：Oracle、SQL、DB2、MySQL、Sybase、PostgreSQL
2. 数据仓库：Snowflake、Azure Synapse、Exadata、Teradata、IBM Netezza、Vertical、Pivotal、MS SQL
3. 云：AWS、Azure、Google Cloud、Databricks
4. Hadoop：Apache、Cloudera、MapR
5. 串流平台：Apache Kafka、Confluent
6. 企业应用程序：SAP、Salesforce
7. 遗留系统：IMS/DB、DB2 z/OS、RMS、VSAM、COBOL

企业范围的监控

在分布式数据中心和云环境中设计、执行和监测数千个集成任务。通过关键绩效指标和警 轻松实时扩展和监测数据流。

1. 集中式管理
2. 性能和资源利用优化
3. 开放式REST和.NET API

Qlik数据集成平台提供了实施最具挑战性的企业级集成计划所需的一切。

标签：