Qualitis 是微众银行开源的一款数据质量管理系统,用于解决业务系统运行、数据中心建设及数据治理过程中的各种数据质量问题。它提供了一整套统一的流程来定义和检测数据集的质量并及时 告问题。
本次发布的 0.9.0 版本,与上一版本【重磅发布】Qualitis 0.8.0 版本发布跨度较大,整合新增了更多功能。完成了 DSS 1.x 版本的适配,集成工作流的 Appjoint 已被 Appconn 取代;支持Linkis 0.x,也支持Linkis 1.0以上的提交执行,需要在集群配置时指定集群的版本。
增强了任务管理和任务提交的定制化配置能力,校验任务的参数定制化,执行多集群切换,可以更好的解决校验效率与资源利用的问题。在配置规则方面,分模块配置优化,库级别对比配置,帮助提升配置效率。
提供了数据质量管理系统中必备的指标管理功能,支持多维度的指标校验,支持用户通过更灵活的自定义SQL计算统计指标,丰富数据治理校验场景。
支持关系型数据数据源,基于Linkis 1.0以上版本的Datasource服务,可以对主流的关系型数据进行数据质量校验。
开源项目地址:https://github.com/WeBankFinTech/Qualitishttps://gitee.com/WeBank/Qualitis
欢迎各位 区的小伙伴使用最新版本的Qualitis,也希望能一起合作共建Qualitis,构建更加强大完善的数据质量校验系统。具体内容如下。
特性增强
BUG修复
如何加入 WeDataSphere 区共建
(1)新手任务:认领入门任务,详见https://github.com/apache/incubator-linkis/issues/1161;
(2)作品沉淀:发布WeDataSphere开源组建相关内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。如: 区开发者专栏 | MariaCarrie:Linkis1.0.2安装及使用指南
(3)贡献代码:PR和Issue;
(4)答疑:热心为开发者答疑,如 区群回答开发者问题、issue答疑等;
(5)其他:沙箱体验、参与活动、成为 区志愿者等。
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!