慎选 ETL工具(informatica?beeload? kettle?)

近年来由于信息化如海啸般袭来,商业智能(BI)、大数据、数据挖掘、数据分析、人工智能相关需求应用而生。要做到这些终极决策需求,需要及时、精准、海量数据中获取,既不能直接在业务层抽取数据(影响业务性能、数据存在”脏数据”……);传统手工代码小量数据处理还是可以应对。随着数据量日趋成倍增长, 需要满足大中小企业数据集成—ETL工具就是其诞生的理由!

 

提起ETL工具,业内人士首先是想到国外有商用informatica(自研) IBM DS(收购)OGG(收购)——贵 , 还有免费开源kettletalend——免费。

商用 informatica 1993年创立于 (美国加利福尼亚州)并于1999年4月在纳斯达克上市

商用 beeload (中国 北京 自研),2003年设计架构于 中国 北京 ,并于2004年4月1.0发布

开源 kettle2006年加入了开源BI组织  自2017年9月起,已被(日立集团下的公司)收购

开源 talend2008年底在(北京成立分公司),办公地点位于CBD

  1. 选 ETL工具需谨慎         (好工具事半功倍)
  2. 专业高效实施能力         (人力时间是成本)

由于国内对ETL工具大范围需求量急剧增加,各软件公司如雨后春笋般包装开源kettle的;甚至免费用开源talend,前期宣称仅收取实施费用“而已”。岂不知在做ETL数据集成过程中实施占整个项目的80%的权重,还有后续的长期维护人力成本。所以用户在选型ETL工具过程中,是否包装开源ETL工具kettle 产品要重中之重。原因很简单,ETL工具实施和后期维护才是占绝对比例的人力和时间成本。使用开源kettle产品用户实例:

Kettle:无增量同步,当多作业任务运行时,不能串行和并行导致失败需要重启,定时调度不好用,上线维护管理存在隐患。用kettle配置了200多个作业,数据源有oralcesqlserverDB2informixMysql……txtexcelwen、文件特别是业务数据量日益增多后,管理相当麻烦棘手。考虑更换商用产品时,面临需要改造和迁移,人力成本、时间成本和迁移成本,风险评估高。无人敢轻易带头更换。。。。。。领导当时就图产品免费的/开源与否解决问题就行啦!可以省一大笔开销……炸听,理儿是这个理儿! 技术人员就是成本——增加工作量会使用“而已”,作为数据库管理员(DBA)感觉像埋放一枚“地雷”。重要的是,研究开源kettle 无服务支持,遇到棘手的问题无人问津,束手无策!1、掉进这个项目里出不来 2、新增其他项目组任务。后悔当初没有建议购买商用工具,至少可以给分担出去。每年有N个项目等着要做,如今成了:发现开源bug 、规避开源bug、策略开源bug、解决开源bug……kettle从免费到“鸡肋”。最痛苦不堪莫过于干活儿的技术工程师们的烦恼(一言难尽呐!)

informatica :      引领行业概念、性能自不必说。IT源自西方(得服!)实际落地中国多年后(水土不服—有!)

                            重要的是产品费用和高昂长期无限量级维护服务费——非持续性土豪企业级飘过~

 

Beeload:              一款纯国产品牌 ETL 工具  自研核心 版本分类:分享版标准版企业版集群版

                             性能稍逊色国际品牌(同样软硬件环境及数量级,国际品牌1秒完成,而国产需要1.5秒)

                        

 

开源(如kettle):开源使用风险自己承担(数据安全),商用风险产品公司承担!   如果对开源(如 kettle)的

                                 BUG  —— 有足够的能力(精通JAVA) 和时间去解决, 选择开源(kettle)没毛病哈!

                   

总之吧,      世上没有免费午餐,只有利益权衡!

                      世上没有最最好的,只有适合即可!

                      根据实际数据集成项目大小,合理甄选,量体裁衣才是最对的!

                                            

                                            ——————“工欲善其事,必先利其器“  工具也!

                                                                   “明日复明日,明日何其多” 时间也!

                                                                  

 

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2018年3月19日
下一篇 2018年3月20日

相关推荐