一、MySQL ----> Hive
1、考虑到安全性问题,我们会将数据库、服务器的连接信息放在一个配置脚本里,然后在执行脚本里调用这个配置脚本,从而使配置和执行进行解耦分离
2、配置脚本(db_config.sh)
!/bin/sh
jdbc=mysql://ip:3326/test
username=root
password=root
table=wb_robot
hive-database=zl_test
hive-table=t1
3、将MySQL历史全量数据进行导入到hive
!/bin/sh
# @date 2019-08-04
# mysql表按天分区全量导入hive库
source /etc/profile
## 设置时间
if [[ -z $1 ]]; then
datetime=`date -d "-1 day" +"%Y-%m-%d"`
else
datetime=$1
fi
echo "datetime:${datetime}"
statdate=`date -d "${datetime}" +"%Y%m%d"`
echo "statdate:${statdate}"
two_days_ago=`date -d "2 days ago" +"%Y-%m-%d"`
source /usr/local/zll/config/db_config.sh
/opt/cloudera/parcels/CDH/bin/sqoop import \
--connect ${jdbc} \
--username ${username} \
--password ${password} \
--table total \
--h