Sqoop详细安装与环境配置

本文详细介绍了Sqoop的作用,即在Hadoop和关系数据库之间传输数据,并提供了完整的Sqoop安装教程,包括下载安装包、解压、配置环境变量、导入数据库驱动,以及验证安装成功的步骤。后续文章将讨论如何使用Sqoop进行数据迁移。
摘要由CSDN通过智能技术生成

1.Sqoop作用

Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。

2.安装教程

  1. 下载安装包
    下载地址:http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.2.tar.gz

  2. 解压到opt目录下
    tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz

  3. 改名并移到指定opt目录下的新建子目录soft下
    mv sqoop-1.4.6-cdh5.14.2 soft/sqoop146

  4. 导mysql驱动包mysql-connector-java-5.1.38到sqoop146的lib文件夹下
    官网下载mysql驱动包:
    mv mysql-connector-java-5.1.38-bin.jar /opt/soft/sqoop146/lib
    另一种方法:
    到IDEA本地仓库去找到mysql驱动包拖到lib文件夹下

  5. 导hadoop驱动包到sqoop的lib文件夹
    主要有3个 :
    hadoop-common-2.6.0-cdh5.14.2.jar
    hadoop-hdfs-2.6.0-cdh5.14.2.jar
    hadoop-mapreduce-client-core-2.6.0-cdh5.14.2.jar

cp /opt/soft/hadoop260/share/hadoop
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值