StreamSets总体介绍
StreamSets是国外一家致力于数据处理与分析的大数据解决方案的公司。公司主要选择DataOps发展路线,解决将数据转化为业务价值的重大挑战。至于为什么选择DataOps这条路子,有兴趣的同学可以查看https://streamsets.com/why-dataops/what-is-dataops/。
自公司成立以来,成功研制了多款用于数据处理的软件及平台。下图是该公司主要的产品:
Streamsets推出的产品主要包含:Data Collector、Transformer和Control Hub。Data Collector和Transformer主要用于数据收集、处理、分析等,Control Hub作为一个平台管理软件提供设计、发布、监控、智能数据流管理等。
Data Collector:是一种轻量级,功能强大的设计和执行引擎,可实时传输数据。使用该软件来路由和处理数据流中的数据。目前为开源产品。
Transformer:是一个执行引擎,可在Apache Spark(一种开放源代码群集计算框架)上运行
文章知识点与官方知识档案匹配,可进一步学习相关知识CS入门技能树Linux入门初识Linux24978 人正在系统学习中
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!