zsg86的博客

kettle系列-我的开源kettle调度、管理平台[kettle-manager]介绍http://www.cnblogs.com/majinju/p/5739820.htmlkettle系列-kettle管理平台部署说明http://www.cnblogs.com/majinju/p/5767001.html 问题汇总：1.用kettle可以从hive2中将数据抽出...

 Informatica  结构1个或多个资源库（Respository）PowerCenter数据整合引擎是基于元数据驱动的，提供了基于数据驱动的元数据知识库（Repository），该元数据知识库可以在主流的关系型数据库中部署。该院数据库中存储所有的ETL元数据，包括：源、目标表的物理和逻辑元数据，ETL转换规则，知识库用户权限，ETL任务运行历史信息等元数据。2个S...

1.配置kettle支持的hadoop版本修改data-integration\plugins\pentaho-big-data-plugin\plugin.properties中active.hadoop.configuration=hdp23支持的hadoop版本在data-integration\plugins\pentaho-big-data-plugin\hadoop-c...

场景：kettle数据抽取节点A、B，Postgresql集群数据管理节点C。A和B上同时跑着数据抽取任务，有两个任务运行过程中卡住。于是打算重启抽取任务，先truncate这两个表（一个任务对应一个表），问题出现了，有一个表truncate执行卡住，delete卡住，drop table也不行，但是可以insert和select。一定是表锁住了！解决办法：1.查询表中存在的锁se...

 使用kettle将hive中的数据抽取到hdfs中，报 java.lang.OutOfMemoryError: Requested array size exceeds VM 原因是，hive中有两个字段定义的长度为21亿，超过了jvm数据长度，减小这两个字段长度即可。    ...