怎样将HDFS数据导出到MySQL中?

Sqoop导出与导入是相反的操作,也就是将HDFS、Hive、Hbase等文件系统或数据仓库中的数据导出到关系型数据库中,在导出操作之前,目标表必须存在于目标数据库中,否则在执行导出操作时会失败。而Hive、Hbase的数据通常都是以文件的形式存储在HDFS中,因此,本节就重点讲解如何将HDFS数据导出到MySQL中。

为了方便操作,这里就将10.4.1小节中导入到HDFS上/sqoopresult目录下的结果文件part-m-00000进行导出操作。首先在本地MySQL数据库中(例如前面自定义的userdb数据库)提前创建目标表结构,该表结构需要与HDFS中的源数据结构类型一致,具体emp_export.sql语句如文件所示。

文件 emp_export.sql

  DROP TABLE IF EXISTS `emp_export`;
  CREATE TABLE `emp_export` (
   `id` int(11) NOT NULL,
   `name` varchar(100) DEFAULT NULL,
   `deg` varchar(100) DEFAULT NULL,
   `salary` int(11) DEFAULT NULL,
   `dept` varchar(10) DEFAULT NULL,
   PRIMARY KEY (`id`)
  );

完成上面目标表emp_export的创建工作后,接下来就将HDFS上/sqoopresult目录下的part-m-00000文件进行导出操作,具体指令示例如下。

$ sqoop export \

--connect jdbc:mysql://hadoop01:3306/userdb \

--username root \

--password 123456 \

--table emp_export \

**--export-dir /sqoopresult

执行完指令后,进入MySQL数据库,查看表emp_export的内容,如图1所示。

1663926546119_111.jpg

图1 表emp_export

从图1可以看出,使用Sqoop成功将HDFS的数据导出到MySQL数据库中。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值