ETL
文章平均质量分 65
zisheng_wang_DATA
这个作者很懒,什么都没留下…
展开
-
Win7下Kettle-7.0安装部署
1、Kettle概念 Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。 Kettle 中文名称叫水壶,该项目的主程序员MATT 希望把各种数据放到一个壶里,然后以一种指定的格式流出。 Kettle这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么原创 2017-03-10 13:36:52 · 29582 阅读 · 4 评论 -
Kettle-7.0使用举例
1.使用举例 1.1建立转换 选中列表中的的“表输入”、“表输出”、“插入/更新”,拖拽到右侧工作区。鼠标选中节点键盘按shift键,拖拽即可连线。下图是一个转换,有两个动作,一是直接从数据源表同步数据到目标表,一是检查源表的插入和更新,同步到目标表。黑色线为生效,灰色线为失效,节点和连接可双击进行编辑。双击编辑表输入动作。可预览数据是否正确。双击编辑表输出动作。要获取的字段设置如下所示:点击“原创 2017-03-10 16:59:53 · 10377 阅读 · 2 评论 -
Windows下Kettle-7.0集群安装
1 配置子服务器 打开ketlle目录,找到pwd目录,里面有4个XML文件,分别是子服务器的配置文件和密码文件: Carte-config-master-8080.xml是主服务器的配置文件。编辑该文件,根据情况修改其中的name\hostname\port\master等属性。Name是服务器的名称,hostname是主机名或者IP,port是端口号,Master表明是否是主服务器。此外,原创 2017-04-06 16:18:20 · 2328 阅读 · 3 评论 -
Kettle-7.0增量抽取订单数据
原文来自:http://www.ukettle.org/thread-594-1-1.html业务需求:从mysql数据库中,抽取订单和订单明细数据,做一定的轻度清洗,并将清洗后的数据存放到指定目录下,清洗出来的错误数据存到另一个存error data的目录。 实现步骤: 1.使用表输入控件,数据库连接选择mysql如下图:2.将取数的SQL逻辑写到代码填充处,并且取数的时间范围原创 2017-05-11 15:27:39 · 9500 阅读 · 1 评论 -
Kettle 7.0 怎么连数据库资源库
1.为什么使用资源库如果我们是团队开发项目,除了使用SVN等版本控制软件,还可以使用Kettle的资源库,他会将转换、作业直接保存在数据库中,而且,连接资源库的话,我们就不需要每一次都新建数据库连接了,用起来还是蛮方便的。2.链接资源库Kettle7.0里面,是在右上角这个Connect来连接的2.1 资源库的类型资源库有3中类型Pentaho Repository(默认是如下图)要想链接下面两种类原创 2017-05-17 09:40:08 · 16247 阅读 · 19 评论