数据质量管理平台 Qualitis 0.9.0 版本发布

Qualitis 是微众银行开源的一款数据质量管理系统,用于解决业务系统运行、数据中心建设及数据治理过程中的各种数据质量问题。它提供了一整套统一的流程来定义和检测数据集的质量并及时 告问题。

本次发布的 0.9.0 版本,与上一版本【重磅发布】Qualitis 0.8.0 版本发布跨度较大,整合新增了更多功能。完成了 DSS 1.x 版本的适配,集成工作流的 Appjoint 已被 Appconn 取代;支持Linkis 0.x,也支持Linkis 1.0以上的提交执行,需要在集群配置时指定集群的版本。

增强了任务管理和任务提交的定制化配置能力,校验任务的参数定制化,执行多集群切换,可以更好的解决校验效率与资源利用的问题。在配置规则方面,分模块配置优化,库级别对比配置,帮助提升配置效率。

提供了数据质量管理系统中必备的指标管理功能,支持多维度的指标校验,支持用户通过更灵活的自定义SQL计算统计指标,丰富数据治理校验场景。

支持关系型数据数据源,基于Linkis 1.0以上版本的Datasource服务,可以对主流的关系型数据进行数据质量校验。

开源项目地址:https://github.com/WeBankFinTech/Qualitishttps://gitee.com/WeBank/Qualitis

欢迎各位 区的小伙伴使用最新版本的Qualitis,也希望能一起合作共建Qualitis,构建更加强大完善的数据质量校验系统。具体内容如下。

特性增强

  • 新增关系型数据的质量校验 (需Linkis 1.0以上版本提供Datasource服务);
  • 新增数据源管理 (需Linkis 1.0以上版本提供Datasource服务);
  • 新增规则模板权限管理,系统管理员、部门管理员、普通用户可以新增权限范围内的模板;
  • 新增数据质量业务指标管理功能;
  • 新增多维度指标校验功能,支持自定义SQL校验;
  • 新增引擎参数管理 (需接入Linkis 1.0 以上版本),支持多 Linkis 集群切换;
  • 新增任务执行参数配置管理;
  • 支持数据质量分析统计结果导出到指定的存储目录;
  • 支持库级数据全量一致性对比优化;
  • 优化规则管理-规则查询实时统计库表规则部署数量情况;
  • 优化任务提交前数据源校验;
  • 适配 DataSphere Studio 1.x,Appjoint 升级为 Appconn 并实现三级规范;
  • 适配 Apache Linkis (Incubating) 1.x 版本。
  • BUG修复

  • 修复规则数据源配置,字段Decimal类型作为数值类型不可选的问题;
  • 修改部分文档错误内容。
  • 如何加入 WeDataSphere 区共建

    (1)新手任务:认领入门任务,详见https://github.com/apache/incubator-linkis/issues/1161;

    (2)作品沉淀:发布WeDataSphere开源组建相关内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。如: 区开发者专栏 | MariaCarrie:Linkis1.0.2安装及使用指南

    (3)贡献代码:PR和Issue;

    (4)答疑:热心为开发者答疑,如 区群回答开发者问题、issue答疑等;

    (5)其他:沙箱体验、参与活动、成为 区志愿者等。

    声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

    上一篇 2022年2月7日
    下一篇 2022年2月7日

    相关推荐