【SDC】StreamSets实战之路-1-环境篇- StreamSets简介

StreamSets总体介绍

StreamSets是国外一家致力于数据处理与分析的大数据解决方案的公司。公司主要选择DataOps发展路线,解决将数据转化为业务价值的重大挑战。至于为什么选择DataOps这条路子,有兴趣的同学可以查看https://streamsets.com/why-dataops/what-is-dataops/。

自公司成立以来,成功研制了多款用于数据处理的软件及平台。下图是该公司主要的产品:

【SDC】StreamSets实战之路-1-环境篇- StreamSets简介

Streamsets推出的产品主要包含:Data Collector、Transformer和Control Hub。Data Collector和Transformer主要用于数据收集、处理、分析等,Control Hub作为一个平台管理软件提供设计、发布、监控、智能数据流管理等。

Data Collector:是一种轻量级,功能强大的设计和执行引擎,可实时传输数据。使用该软件来路由和处理数据流中的数据。目前为开源产品。

Transformer:是一个执行引擎,可在Apache Spark(一种开放源代码群集计算框架)上运行

文章知识点与官方知识档案匹配,可进一步学习相关知识CS入门技能树Linux入门初识Linux24978 人正在系统学习中

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年5月25日
下一篇 2022年5月25日

相关推荐