datax
不定期更新相关内容
大数据私房菜
这个作者很懒,什么都没留下…
展开
-
datax同步oracle数据到pg
{ "job": { "setting": { "speed": { "channel": 1 }, "errorLimit": { "record": 0, "percentage": 0.02 } }, "content": [{ "reader": { "name": "oraclereader", "pa...原创 2019-10-31 11:21:20 · 2025 阅读 · 1 评论 -
解决datax抽mysql数据到hdfs之null值变成‘‘(引号)的问题
在抽数据的过程中会发现:mysql的null值通过datax抽取到hdfs,会变成引号,这不是我们所需要的,所以需要修改一下datax的源码如图所示:recordList.add(null);改成recordList.add("\\N");原理:在hdfs中,null值存的是 \N(修改好的源码,见我上传的资源)...原创 2019-02-20 17:14:18 · 2966 阅读 · 1 评论 -
解决datax抽hdfs数据到mysql之null值变成 \N 或者 转换错误 的问题
修改datax源码plugin-unstructured-storage-util下的UnstructuredStorageReaderUtil.class加上一个判断,因为在hdfs中,null值存储的是 \N ,所以需要把它转换成 null存储到Mysql中if (columnValue.equals(nullFormat) || columnValue.equals("\\N")...原创 2019-02-21 12:24:01 · 5224 阅读 · 0 评论 -
datax抽取mongoDB只需要访问隐藏节点源码修改
背景:由于在mongoDB的业务库数据量较大,且使用方比较多,搜索,业务方和数仓,使得主节点和其他从节点压力很大,为了不影响正常的业务,DBA新增了一台隐藏节点作为搜索和数仓抽取数据用,用datax抽取mongo的数据默认是主节点优先,所以需要修改datax-mongodbreader的源码,使得抽数据时只访问隐藏节点package com.alibaba.datax.plugin.r...原创 2019-04-30 23:54:26 · 2131 阅读 · 1 评论 -
解决datax抽取hdfs文件有空文件时报错
抽取hdfs文件时,当目录下有空文件时,会报以下错误修改源码如下:// add by liuzc if (f.getLen() == 0) { String message = String.format("code add by liuzc _文件[%s]长度为0,将会跳过不作处理!", f.get...原创 2019-06-11 20:39:49 · 3769 阅读 · 2 评论