使用sqoop全量和增量导入脚本（hive--mysql mysql--hive）

一、MySQL ----> Hive

1、考虑到安全性问题，我们会将数据库、服务器的连接信息放在一个配置脚本里，然后在执行脚本里调用这个配置脚本，从而使配置和执行进行解耦分离
2、配置脚本(db_config.sh)

!/bin/sh
jdbc=mysql://ip:3326/test
username=root
password=root
table=wb_robot
hive-database=zl_test
hive-table=t1

3、将MySQL历史全量数据进行导入到hive

!/bin/sh
 # @date 2019-08-04
 # mysql表按天分区全量导入hive库
source /etc/profile
 ##  设置时间
 if [[ -z $1 ]]; then
datetime=`date -d "-1 day" +"%Y-%m-%d"`
else
datetime=$1
fi
echo "datetime:${datetime}"
statdate=`date -d "${datetime}" +"%Y%m%d"`
echo "statdate:${statdate}"
two_days_ago=`date -d "2 days ago" +"%Y-%m-%d"`

source /usr/local/zll/config/db_config.sh

/opt/cloudera/parcels/CDH/bin/sqoop import  \
--connect ${jdbc} \
--username ${username} \
--password ${password} \
--table total \
--h