零成本,全开源软件搞定数据仓库的架构之Jenkins的安装

接上篇CDH的安装。

书接上文,在CDH安装完以后,我们就有个CDH的环境了,就是人们常说的Hadoop环境了,Hadoop的很多操作都是支持shell方式的。

我为什么要说shell方式呢,因为当然Hadoop可以使用大家都很习惯的java工程的方式来开发,但是这个对人的要求实在有些高。所以我习惯使用shell的方式来实现数据仓库的一些基础操作。这个时候你就要会使用到一些调度的平台,我的选择是Jenkins,理由是其他的我没有用过。

Jenkins的安装特别方便,我推荐大家下载一个war包来安装。我就是下载了一个war包。启动命令是:java -jar jenkins.war。当然它还有一些启动的参数如端口,使用内存什么的,不是重点。并且 上的材料也多,我就不多写的。

Jenkins的插件也是挺多的,但是我推荐大家一定要用SVN的插件。这样Jenkins可以自动把你或者你的团队写的Shell文件调用过来。也避免了一些文件丢失的问题。

下一篇文章,我写如何用jenkins来调用svn版本库中的文件,实现数据mysql向hive的全量抽取。

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2021年7月3日
下一篇 2021年7月3日

相关推荐