文章目录
- 1、kettle简述
-
- 1.1、kettle是什么
- 2、kettle安装配置
-
- 2.1、先决条件
-
- 2.1.1、安装jdk8
- 2.2、kettle下载
- 2.3、打开kettle
- 3、kettle基本概念
-
- 3.1、转换和作业
- 3.2、运行工具
-
- 3.2.1、SPOON
- 3.2.2、KITCHEN和PAN
- 3.2.3、Carte
- kettle基本使用及常见问题
br> br>
1、kettle简述
1.1、kettle是什么
Kettle最早是一个开源的ETL工具,全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年,Pentaho公司收购了Kettle项目,原Kettle项目发起人Matt Casters加入了Pentaho团队,成为Pentaho套件数据集成架构师,从此,Kettle成为企业级数据集成及商业智能套件Pentaho的主要组成部分,Kettle亦重命名为Pentaho Data Integration。Pentaho公司于2015年被Hitachi Data Systems收购。(Hitachi Data Systems于2017年改名为Hitachi Vantara)
2、kettle安装配置
2.1、先决条件
kettle是纯java开发,运行前需要准备java环境,新版本需要使用java8以上版本兼容
2.1.1、安装jdk8
下载地址:
https://www.oracle.com/java/technologies/javase-downloads.html
2.3、打开kettle
下载的kettle压缩包为免安装包,解压pdi软件包,windows下双击spoon.bat打开即可使用,打开比较缓慢,耐心等待
spoon.sh文件修改位置
3.2、运行工具
Kettle里有不同的工具,用于ETL的不同阶段。主要工具如下:
-
- Spoon:图形化工具,用于快速设计和维护复杂的ETL工作流
-
- Kitchen:运行作业的命令行工具
-
- Pan:运行转换的命令行工具
-
- Carte:轻量级的(大概1MB)Web服务器,用来远程执行转换或作业,一个运行有Carte进程的机器可以作为从服务器,从服务器是Kettle集群的一部分
3.2.1、SPOON
Spoon是Kettle的集成开发环境(IDE)。它基于SWT提供了图形化的用户接口,主要用于ETL的设计。
在Kettle安装目录下,有启动Spoon的脚本。如Windows下的Spoon.bat,类UNIX下的spoon.sh

3.2.2、KITCHEN和PAN
spoon主要应用与开发、测试、调试阶段,而开发完成后部署到生产环境中时,一般的运行方式都是使用命令的方式运行,这时就需要用到Kitchen和Pan
Kitchen和Pan是kettle的命令运行工具,在概念和用法上都非常相近,这两个命令的参数也基本是一样的,不同的是执行的对象不同;Kitchen用于执行作业,Pan用于执行转换
pan、kitchen、carte的使用可以参考 kettle命令运行工具(pan、kitchen、carte)
3.2.3、Carte
Carte服务用于执行一个作业,就想Kitchen一样。但和Kitchen不同的是,Carte是一个服务,一直在后台运行,而Kitchen只是运行一个作业就退出
当Carte在运行时,一直在某个端口监听HTTP请求。远程机器客户端给Carte发出一个请求,在请求里包含了作业的定义。当Carte接到了这样的请求后,它验证请求并执行请求里的作业。Carte也支持其它几种类型的请求。这些请求用于获取Carte的执行进度、监控信息等
Carte是Kettle集群中一个重要的构建快。集群可将单个工作或转换分成几部分,在Carte服务器的多个计算机上并行执行,因此可以分散工作负载
kettle基本使用及常见问题
参考 站:https://www.kettle.net.cn/
———–日常记录—————
文章知识点与官方知识档案匹配,可进一步学习相关知识MySQL入门技能树数据库组成表31413 人正在系统学习中
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!