Sqoop详细安装与环境配置

最新推荐文章于 2022-12-02 09:25:06 发布
最新推荐文章于 2022-12-02 09:25:06 发布
阅读量6.6k 收藏 40
点赞数 5
分类专栏： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zp17834994071/article/details/107538935
版权

1.Sqoop作用

Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库（如MySQL，Oracle）导入数据到Hadoop HDFS，并从Hadoop文件系统导出到关系数据库。

2.安装教程

  1. 下载安装包
    下载地址：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.14.2.tar.gz

  2. 解压到opt目录下
    tar -zxf sqoop-1.4.6-cdh5.14.2.tar.gz

  3. 改名并移到指定opt目录下的新建子目录soft下
    mv sqoop-1.4.6-cdh5.14.2 soft/sqoop146

  4. 导mysql驱动包mysql-connector-java-5.1.38到sqoop146的lib文件夹下
    官网下载mysql驱动包：
    mv mysql-connector-java-5.1.38-bin.jar /opt/soft/sqoop146/lib
    另一种方法：
    到IDEA本地仓库去找到mysql驱动包拖到lib文件夹下

  5. 导hadoop驱动包到sqoop的lib文件夹
    主要有3个 ：
    hadoop-common-2.6.0-cdh5.14.2.jar
    hadoop-hdfs-2.6.0-cdh5.14.2.jar
    hadoop-mapreduce-client-core-2.6.0-cdh5.14.2.jar

cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/sqoop146/lib

cp /opt/soft/hadoop260/share/hadoop/hdfs/hadoop-hdfs-2.6.0-cdh5.14.2.jar  /opt/soft/sqoop146/lib

cp /opt/soft/hadoop260/share/hadoop/mapreduce2/hadoop-mapreduce-client-core-2.6.0-cdh5.14.2.jar  /opt/soft/sqoop146/lib

如下图所示：如图所示

  1. 到sqoop的conf文件下更改配置
    cd soft/sqoop146/conf/

  2. 改文件名并修改配置
    cp sqoop-env-template.sh sqoop-env.sh

  3. 修改sqoop-env.sh 中配置
    添加以下配置信息

//hadoop目录
export HADOOP_COMMON_HOME=/opt/soft/hadoop260
//hadoop目录
export HADOOP_MAPRED_HOME=/opt/soft/hadoop260
//hive环境变量目录
export HIVE_HOME=/opt/soft/hive110
//zookeeper配置文件目录
export ZOOCFGDIR=/opt/soft/zk345/conf
//hbase环境变量目录
export HBASE_HOME=/opt/soft/hbase120
  1. 配置sqoop环境变量
vi /etc/profile
//sqoop目录
export SQOOP_HOME=/opt/soft/sqoop146

export PATH=$PATH:$SQOOP_HOME/bin
  1. 激活配置
    source /etc/profile
  2. 验证是否安装成功
    以下命令用于验证Sqoop版本。
    sqoop-version


如图所示出现版本信息，sqoop已经安装成功！

  1. 列出mysql中所有数据库
    sqoop list-databases --username root --password root --connect jdbc:mysql://localhost:3306/

  2. 列出mysql中某个数据库的所有表

    sqoop list-tables --username root --password ok --connect jdbc:mysql://localhost:3306/数据库名

下篇文章中小编会整理出如何使用sqoop从RDB到HDFS的数据迁移、到Hive的数据迁移、到Hbase的数据迁移，以及Hadoop的HDFS中的数据导进到RDB，和一些导数据中遇到的常见报错和解决方案

天ヾ道℡酬勤
关注
  • 5
    点赞
  • 踩
  • 40
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在Hadoop集群环境中为MySQL安装配置Sqoop的教程
12-15
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。 一、安装sqoop 1、下载sqoop压缩包，并解压 压缩包分别是：sqoop-1.2.0-CDH3B4.tar.gz，hadoop-0.20.2-CDH3B4.tar.gz， Mysql JDBC驱动包mysql-connector-java-5
Sqoop导入与导出数据
m0_51691291的博客
12-06 5004
1、Sqoop部署 基础环境：hadoop完全分布式集群、hive、zookeeper、hbase 1.1、下载安装包 官网下载安装包：官网链接地址 将下载好的安装包上传至Linux，解压并修改名称 1.2、修改配置文件 进入Sqoop的conf目录下 复制文件并重命名 cp sqoop-env-template.sh sqoop-env.sh 修改sqoop-env.sh文件，并添加如下内容，具体路径应灵活修改 export HADOOP_COMMON_HOME=/usr/local/soft/hado
clickhouse 超详细常用命令（零基础也能直接上手的指令说明）
采集啄米记录贴
05-20 1万+
主题 在clickhouse中有一些常用的基础命令，这里进行记录总结一下。 clickhouse的安装可以参照我的另一篇clickhouse安装记录 clickhouse概念框架 常用命令 1.服务启动/停止 注：需要按照教程正确安装了服务后 启动： service clickhouse-server start 停止：service clickhouse-server stop 重启：service clickhouse-server restart 2.登录...
Sqoop全量数据导入、增量数据导入、并发导入 （Sqoop进阶）
热门推荐
little prince，blue coder
07-17 3万+
Sqoop支持两种方式的全量数据导入和增量数据导入，同时可以指定数据是否以并发形式导入。下面依次来看： 全量数据导入 就像名字起的那样，全量数据导入就是一次性将所有需要导入的数据，从关系型数据库一次性地导入到Hadoop中（可以是HDFS、Hive等）。全量导入形式使用场景为一次性离线分析场景。用sqoop import命令，具体如下： # 全量数据导入 sqoop import...
ClickHouse大数据分析技术与实战
11-10
ClickHouse是一个用于OLAP的数据分析引擎，由俄罗斯搜索巨头Yandex公司开源。1、可支持PB级超大容量的数据库管理系统。2、基于SQL语句， 使用成本低。 3、超亿级数据量分析的秒级响应，计算性能横向扩展。4、海量数据即查即用。5、提供数据的预聚合能力，进一步提升数据查询的效率。6、列式存储， 数据压缩，降低磁盘IO和网络IO，提升计算性能，节约70%物理存储。7、支持副本， 实现跨机房的数据容灾。课程基于ClickHouse的**的20.x版本，从理论到实践，由浅入深详解ClickHouse的原理和使用。1. 本课程从零开始，有Linux操作系统和SQL使用经验即可。2. 课程以案例驱动，包含大量的实践案例。3. 将ClickHouse与MySQL、Kafka、HDFS等第三方系统集成，增强ClickHouse的功能。4. 课程覆盖面广，既有基础功能的详细讲解， 也包含了集群部署、查询优化、运维管理等高级内容。
Sqoop的安装
Javatomcat12138的博客
12-02 1695
Apache Sqoop(TM)是一个工具，是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。。Sqoop于2012年3月成功从孵化器毕业，现在是一个顶级的Apache项目，最新的稳定版本是1.4.6(下载).Sqoop2的最新版本是1.99.7(下载).请注意，1.99.7与1.4.6不兼容，功能也不完整，它不适合用于生产部署。
基于Kettle+Clickhouse+Superset构建实时大数据
02-22
1、ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以掌握一个ETL工具的使用，必不可少。Kettle作为ETL工具是非常强大和方便的。Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。2、Clickhouse 是俄罗斯的“百度”Yandex公司在2016年开源的，一款针对大数据实时分析的高性能分布式数据库，与之对应的有hadoop生态hive，Vertica和百度出品的palo。这是战斗民族继nginx后，又开源的一款“核武器”。Hadoop 生态体系解决了大数据界的大部分问题，当然其也存在缺点。Hadoop 体系的最大短板在于数据处理时效性。基于 Hadoop 生态的数据处理场景大部分对时效要求不高，按照传统的做法一般是 T + 1 的数据时效。即 Trade + 1，数据产出在交易日 + 1 天。ClickHouse 的产生就是为了解决大数据量处理的时效性。独立于Hadoop生态圈。3、Superset 是一款由 Airbnb 开源的“现代化的企业级 BI（商业智能） Web 应用程序”，其通过创建和分享 dashboard，为数据分析提供了轻量级的数据查询和可视化方案。 Superset 的前端主要用到了 React 和 NVD3/D3，而后端则基于 Python 的 Flask 框架和 Pandas、SQLAlchemy 等依赖库，主要提供了这几方面的功能：01、集成数据查询功能，支持多种数据库，包括 MySQL、PostgresSQL、Oracle、SQL Server、SQLite、SparkSQL 等，并深度支持 Druid。02、通过 NVD3/D3 预定义了多种可视化图表，满足大部分的数据展示功能。如果还有其他需求，也可以自开发更多的图表类型，或者嵌入其他的 JavaScript 图表库（如 HighCharts、ECharts）。03、提供细粒度安全模型，可以在功能层面和数据层面进行访问控制。支持多种鉴权方式（如数据库、OpenID、LDAP、OAuth、REMOTE_USER 等）。 基于Kettle+Clickhouse+Superset构建亿级大数据实时分析平台课程将联合这三大开源工具，实现一个强大的实时分析平台。该系统以热门的互联网电商实际业务应用场景为案例讲解，对电商数据的常见实战指标处理使用kettle等工具进行了详尽讲解，具体指标包括：流量分析、新增用户分析、活跃用户分析订单分析、团购分析。能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。项目代码也是具有很高的商业价值的，大家可以根据自己的业务进行修改,便可以使用。本课程包含的技术：开发工具为：IDEAKettleClickhouseSupersetBinlogCanalKafkaHbaseHadoopZookeeperFlinkSpringBootSpringCouldPythonAnconaMySQL等 课程亮点：1.与企业对接、真实工业界产品2.强大的ETL工具Kettle全流程讲解实现3.ClickHouse高性能列式存储数据库4.Superset现代化的企业级BI可视化5.数据库实时同步解决方案6.集成Flink实时数据转换解决方案7.主流微服务SpringBoot后端系统8.互联网大数据企业热门技术栈9.支持海量数据的实时分析10.支持全端实时数据分析11.全程代码实操，提供全部代码和资料12.提供答疑和提供企业技术方案咨询 
Sqoop 安装配置（超详细）
JIE的博客
11-03 1万+
我没有装 HBase 和 Zookeper，所以只指定了 HADOOP 和 Hive 的路径，注意删掉前面的符号。使用 Sqoop 时的一些警告信息真令人头大，我们可以手动去关闭掉这些警告信息。为了后续方便操作 Hive，我们需要将 Hive 的驱动放入 Sqoop 的。拷贝 MySQL 驱动到 Sqoop 中的。至此，我们的 Sqoop 就已经安装完成啦。配置如下，根据自己的集群情况来看。，出现如下版本信息表示安装成功。，否则会被认为是一行注释。选择自己集群合适的版本。瞬间就舒服多了，哈哈哈。
sqoop的安装和使用
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 3353
本实验通过练习sqoop的安装和配置，为学习sqoop准备，并且通过练习将mysql中表的数据导入到HDFS上来对sqoop的使用有一个初步的了解。完成sqoop的安装和配置并且练习将mysql数据库里的数据导入到HDFS中。本次环境是：Ubuntu16.04+ jdk1.8.0_73 + hadoop2.7.3 + sqoop-1.4.6 +mysql-5.7.22解压sqoop安装包然后进行配置后，在sqoop的bin目录下输入命令【】检查是否配置成功。然后在mysql中创建表并添加数据最后导入到HDF
大数据环境搭建———>Sqoop安装与配置
08-03
大数据环境搭建———>Sqoop安装与配置
Mac安装Sqoop
01-07
2. 配置环境变量 Hadoop, Hive, HBase and ZooKeeper must be installed and configured for Sqoop to work. vi ~/.bash_profile export ZOOKEEPER_HOME=/usr/local/Cellar/zookeeper/3.4.14 export HADOOP_HOME=/...
第十二节、sqoop的安装与使用.pdf1
08-03
第十二节、sqoop的安装与使用第十二节、sqoop的安装与使用一、功能概述二、安装配置1. 解压缩文件2. 配置文件3. 拷贝jar包4. 环境变量三、常用功
Hadoop hbase hive sqoop集群环境安装配置及使用文档
10-25
Hadoop hbase hive sqoop集群环境安装配置及使用文档
infrared-remote-candroid studiodemo
05-05
android studio下载
【新质生产力】新质生产力赋能智能制造数字化解决方案.pptx
05-05
【新质生产力】新质生产力赋能智能制造数字化解决方案.pptx
基于matlab实现的用于应用布格重力异常数据反演地下异常密度体.rar
05-05
基于matlab实现的用于应用布格重力异常数据反演地下异常密度体.rar
node-v8.10.0-linux-x64.tar.xz
最新发布
05-05
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
基于Yolov5目标检测和deepsort目标跟踪无人机跟踪.zip
05-05
无人机最强算法源码，易于部署和学习交流使用
Sqoop的安装与配置
12-23
以下是Sqoop的安装与配置步骤： 1. 确保已经安装和配置好Hadoop、Hive和MySQL。 2. 进入/opt目录，并解压Sqoop的安装包到/app目录下，并将解压好的安装包重命名为sqoop。执行以下命令： ```shell mkdir /app cd /opt tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /app cd /app mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop ``` 3. 配置Sqoop的环境变量。编辑~/.bashrc文件，并添加以下内容： ```shell export SQOOP_HOME=/app/sqoop export PATH=$PATH:$SQOOP_HOME/bin ``` 保存并退出文件。 4. 使环境变量生效。执行以下命令： ```shell source ~/.bashrc ``` 5. 配置Sqoop的连接参数。进入Sqoop的conf目录，并复制模板文件sqoop-env-template.sh为sqoop-env.sh。执行以下命令： ```shell cd /app/sqoop/conf cp sqoop-env-template.sh sqoop-env.sh ``` 6. 编辑sqoop-env.sh文件，并设置以下参数： ```shell export HADOOP_COMMON_HOME=/path/to/hadoop export HADOOP_MAPRED_HOME=/path/to/hadoop export HIVE_HOME=/path/to/hive export ZOOKEEPER_HOME=/path/to/zookeeper ``` 将/path/to/hadoop、/path/to/hive和/path/to/zookeeper替换为实际的路径。 7. 配置Sqoop的数据库连接参数。进入Sqoop的conf目录，并复制模板文件sqoop-site-template.xml为sqoop-site.xml。执行以下命令： ```shell cd /app/sqoop/conf cp sqoop-site-template.xml sqoop-site.xml ``` 8. 编辑sqoop-site.xml文件，并设置以下参数： ```shell <property> <name>sqoop.metastore.client.enable.autoconnect</name> <value>true</value> </property> <property> <name>sqoop.metastore.client.autoconnect.url</name> <value>jdbc:mysql://localhost:3306/sqoop_metastore</value> </property> <property> <name>sqoop.metastore.client.autoconnect.username</name> <value>sqoop</value> </property> <property> <name>sqoop.metastore.client.autoconnect.password</name> <value>password</value> </property> ``` 将localhost、3306、sqoop_metastore、sqoop和password替换为实际的数据库连接信息。 9. 完成以上配置后，Sqoop就已经安装和配置好了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值