Qualitis一个支持多种异构数据源的数据质量管理平台

《开源精选》是我们分享Github、Gitee等开源 区中优质项目的栏目，包括技术、学习、实用与各种有趣的内容。本期推荐的 Qualitis 是一个数据质量管理平台，支持对各种数据源进行质量验证、通知和管理。用于解决数据处理引起的各种数据质量问题。

项目概述

Qualitis基于 Spring Boot 向Linkis平台提交质量模型任务。提供数据质量模型构建、数据质量模型执行、数据质量验证、数据质量生成 告等功能。

同时，Qualitis提供财务级资源隔离、管理和访问控制的企业级特性。也保证了在高并发、高性能、高可用的场景下也能正常工作。

特征

系统架构图

快速部署

1. 基础软件安装

Gradle (4.9)
MySQL (5.5+)
JDK (1.8.0_141)
Hadoop (2.7.2)
Hive (1.2.1)
Zookeeper (3.4.9)
Linkis (0.9.1)，需要 Spark 引擎。

2.下载

3.编译

安装

解压

zip

tar

连接MySQL并初始化数据

修改配置

修改以下配置：

启动服务

登录

打开浏览器并输入“localhost:8090”

配置

点击“配置”->“集群配置”添加集群。在下面输入配置信息：
集群名称（Hadoop集群的名称）
集群类型 Linkis地址
Linkis Token

示例

提示：

Qualitis 将异常数据保存在数据库中。保存的数据库名称可以在系统设置中配置，如下图：

如图所示，Qualitis提供了${USERNAME}作为用户名替换的表达式。不同用户运行的异常数据存储在各自的数据库中。

用户手册

创建项目

登录后，点击左侧菜单中的“规则配置”按钮。
在下面的二级菜单中，点击“项目”按钮进入项目模块。

然后，点击左上角的“新建项目”按钮，进入“新建项目页面”。

输入以下信息

1) 项目名称

项目名称，唯一。

2) 项目介绍

您可以通过单击“确定”来创建一个新项目。

运行应用

更多内容：https://gitee.com/WeBank/Qualitis