使用sqoop从pg导入hive

 1、第一次导入全量数据

sqoop import --connect jdbc:postgresql://ip:5432/dc_centerdb_xy   --username dc_center_xy --password pg123 --verbose -m 5  --split-by ccc_dx_etl_time --table anaphylaxis_info --hive-import --hive-database emr_center --hive-partition-key  import_date  --hive-partition-value old_all  --hive-delims-replacement '_N_' --hive-overwrite --fields-terminated-by '\001' --null-string '' --null-non-string '' ''



 

 2、后续每天导入增量数据

today=`date "+%Y-%m-%d"`

timestamp=`date -d "$today 00:00:00" +%s`
unix_timestamp=`expr $timestamp \* 1000`
now_date=`date +%Y%m%d`


sqoop import --connect jdbc:postgresql://ip:5432/dc_centerdb_xy   --username dc_center_xy --password pg123  --verbose -m 1   --table anaphylaxis_info --where "ccc_dx_etl_time > unix_timestamp " --hive-import --hive-database emr_center --hive-partition-key  import_date  --hive-partition-value $now_date  --hive-delims-replacement '_N_' --hive-overwrite --fields-terminated-by '\001' --null-string '' --null-non-string '' ''