Sqoop抽取数据

#!/bin/bash
:<<EOF
程序运行参数：
1：数据库密码
2：开始日期
3：截止日期

create table Hive数据库名.表名
(
  id      int,
  name string
)
PARTITIONED BY(dt string)
ROW FORMAT DELIMITED;

ALTER TABLE 数据库名.表名 ADD IF NOT EXISTS PARTITION (dt='201810');
EOF

if [ $# -lt 2 ];then
    echo "参数不对：1：数据库密码，2：开始日期，3：截止日期"
    exit;
fi

startdate=`date -d "$2" +%Y%m%d`
enddate=`date -d "$3" +%Y%m%d`

while [[ $startdate < $enddate  ]]
do
    echo $startdate
:<<EOF
    sqoop import \
    --connect jdbc:oracle:thin:@192.168.1.2:3173:数据库 --username 账号--password $1 \
    --query "select 字段 FROM 表 PARTITION (PARTITION${startdate:0:6}) WHERE 1=1 and \$CONDITIONS" \
    --fields-terminated-by "\001" \
    --hive-drop-import-delims \
    --null-string '\\N' \
    --null-non-string '\\N' \
    --delete-target-dir \
    --target-dir /apps/hive/warehouse/数据库.db/表/dt=${startdate:0:6} \
    -m 1
EOF
    startdate=`date -d "+1 month $startdate" +%Y%m%d`
done