数栖软件

数栖是一站式大数据开发管理平台，帮助快速搭建数据中台，解决数据同步、清洗、开发、治理、管理及服务的能力。离线开发、实时开发、算法开发可以通过可视化拖拽的方式快速构建数据处理流程，兼容多种大数据平台。可以通过对数据的管理和展现，让企业的管理者可以更快速更高效的使用数据。

商品介绍

产品架构

一、数据交换（多源异构数据的分布式交换工具）

数栖平台的数据交换功能提供多种类型的数据抽取插件和数据写入插件，以同步中心驱动，灵活配置各输入与输出数据存储，自适配各数据抽取、写入插件的数据转换；数据源存储根据实际布署情况，避免直接操作主库，尽量选择备库进行数据抽取；目标存储是以HDFS为核心的分布式系统，方便支持在线BI及算法挖掘，支持未来业务发展时水平扩容。平台功能包括数据源管理、数据同步模块、数据同步任务管理、同步任务监控。

功能：离线数据同步、实时数据同步、非结构化数据同步、整库数据同步、监控告警、DataPipeline、数据计量

1. 支持多种数据源

提供20+种多源异构数据的稳定高效传输，如：MySQL、Oracle、SQLServer、Hive、GreenPlum、Postgresql、MongoDB、HBase、OTS、FTP、HDFS、OSS 、HANA、DB2、CarbonThriftServer等，支持以插件化、热插拔的方式对数据源进行扩充，快速支持二次开发。

1. 支持向导和脚本双模式

1. 灵活的预处理机制

提供数据预处理功能，支持简单的数据清洗函数策略，如：replace、filter、substr、pad等以及通过Transformer自定义复杂转换函数，在数据交换的前、中、后任何阶段进行数据预处理操作，从而避免由于数据敏感、重复等因素造成的困扰。

1. 支持实时/离线、全量/增量同步

提供每日数据全量、增量同步，仅需用户输入相应的过滤条件即可实现，平台也提供bizData函数，支持部分具备时间戳的标识业务库进行增量同步。支持非结构化数据同步，支持整库同步方式、满足各类业务场景要求

1. 细粒度的过程控制

数据同步过程中，可根据具体场景对容错、并发、速率和运行内存等控制配置等参数进行设置并进行监控，避免抢占业务资源的同时保障任务按时、准确完成。支持数据源的条件过滤、数据冲突策略、转换规则配置高级配置等；支持对同步任务配置依赖关系（约束同步任务与其他任务的执行先后顺序）和定时调度策略。

1. 系统安全性

针对各环节，采取必要的权限和内控机制，防范安全漏洞。统计分析的各项数据信息的准确性、安全性要求很高。为了保证系统的安全可靠，整个系统采用各种软硬件技术将系统核心的信息与用户操作界面进行有机的隔离和授权访问，达到有权者畅通无阻、无权者寸步难行的效果。

二、数据开发（一站式大数据研发套件）

功能离线开发：数据集成、离线作业、临时作业、函数开发、资源文件、表管理实时开发：实时计算、实时同步、函数开发、资源文件算法开发：可视化建模、Notebook建模、模型管理数据服务：服务开发、服务管理、应用管理发布运维：发布中心、运维中心、智能监控、导入导出