SQOOP

SQOOP是用于对数据进行导入导出的。
    (1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中
    (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中

1.把数据从mysql导入到hdfs(默认是/user/<username>)中
  sqoop import --connect jdbc:mysql://hadoop3:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**'  -m 1 --append  --hive-import
  sqoop import --connect jdbc:mysql://hadoop3:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t'  --null-string '**'  -m 1 --append  --hive-import  --check-column 'TBL_ID' --incremental append --last-value 6
 
2.把数据从hdfs导出到mysql中  
  sqoop export --connect jdbc:mysql://hadoop3:3306/hive  --username root --password admin --table t1 --fields-terminated-by '\t' --export-dir '/ids'
 
3.设置为作业，运行作业
  sqoop job --create myjob -- import --connect jdbc:mysql://hadoop3:3306/hive  --username root --password admin --table TBLS --fields-terminated-by '\t'  --null-string '**'  -m 1 --append  --hive-import  
 
4. 导入导出的事务是以Mapper任务为单位。

sqoop job --exec myjob

  sqoop            ##sqoop命令

    import             ##表示导入

    --connect jdbc:mysql://ip:3306/sqoop    ##告诉jdbc，连接mysql的url

    --username root                                    ##连接mysql的用户名

    --password admin                                 ##连接mysql的密码

    --table mysql1                                       ##从mysql导出的表名称

    --fields-terminated-by '\t'                        ##指定输出文件中的行的字段分隔符

    -m 1                                                      ##复制过程使用1个map作业

    --hive-import                                         ##把mysql表数据复制到hive空间中。如果不使用该选项，意味着复制到hdfs中  

  sqoop 

    export                                       ##表示数据从hive复制到mysql中

    --connect jdbc:mysql://ip:3306/sqoop

    --username root

    --password admin

    --table mysql2                                       ##mysql中的表，即将被导入的表名称

    --export-dir '/user/root/warehouse/mysql1'  ##hive中被导出的文件目录

    --fields-terminated-by '\t'    ##hive中被导出的文件字段的分隔符

注意：mysql2必须存在