前提概述
将来sqoop在使用的时候有可能会跟那些系统或者组件打交道?
HDFS, MapReduce, YARN, ZooKeeper, Hive, HBase, MySQL
sqoop1就是一个工具, 只需要在一个节点上进行安装即可。
如果sqoop要跟hive交互,那么sqoop节点机器一定要有hive系统。
版本sqoop1和sqoop2
这里使用sqoop1.4.7(CDH6.3里集成的也是这个版本)
下载安装
跟其他apache大数据组件一样的套路,下载解压,配置conf,启动。
下载地址:http://www.apache.org/dyn/closer.lua/sqoop/1.4.7
[admin@centos7x3 sqoop]$ vim conf/sqoop-env.sh
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/software/hadoop
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/software/hadoop
#set the path to where bin/hbase is available
export HBASE_HOME=/opt/software/hbase
#Set the path to where bin/hive is available
export HIVE_HOME=/opt/software/hive
#Set the path for where zookeper config dir is
export ZOOCFGDIR=/opt/software/zookeeper/conf
import操作常用参数
--connect <jdbc-uri> jdbc 连接地址
--connection-manager <class-name> 连接管理者
--driver <class-name> 驱动类
--hadoop-mapred-home <dir> $HADOOP_MAPRED_HOME
--help help 信息
-P 从命令行输入密码
--password <password> 密码
--username <username> 账号
--verbose 打印流程信息
--connection-param-file <filename> 可选参数
参数 | 说明 |
---|---|