sqoop
RayBreslin
大数据开发、设计企业应用
展开
-
(转)使用Sqoop,最终导入到hive中的数据和原数据库中数据不一致解决办法
【转载原文:https://www.cnblogs.com/zdfjf/p/5277597.html】 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。1.问题背景 使用Sqoop把oracle数据库中的一张表,这里假定为stu...转载 2020-08-03 08:37:55 · 1479 阅读 · 0 评论 -
CDH中sqoop日志位置
一、目的在CDH服务器中无法找到sqoop日志位置,所以搜索方法查看sqoop日志,在此记录。二、环境1.CDH5.15.2三、步骤1.登录cm,点击下面yarn2.点击“应用程序”可以查看到错误应用3.点击“应用程序详细信息”4.还没有结束,点击“logs”5.还没有完,点击“here”6.看到亲爱的日志四、总结1....原创 2019-05-07 19:33:34 · 6596 阅读 · 0 评论 -
sqoop 报错:Could not load db driver class: com.microsoft.sqlserver.jdbc.SQLServerDriver
一、问题描述将sql server的数据导入hive,结果报错:Warning: /opt/cloudera/parcels/CDH-5.15.2-1.cdh5.15.2.p0.3/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail.Please set $ACCUMULO_HOME to th...原创 2019-05-06 19:18:38 · 4066 阅读 · 0 评论 -
Hive ERR:Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x
1.问题描述使用sqoop将postgresql中表导入hive,报错:Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=root, access=WRITE, inode="/user":...原创 2019-03-19 19:09:08 · 1189 阅读 · 2 评论 -
sqoop(5):export之hbaseTomysql
一、实现功能1.目的:使用sqoop将hbase中数据导入到mysql中,sqoop没有这个直接功能,需要hive做一个中间转换。2.环境:hadoop2.7.3、hive1.2.1、hbase-0.98.6、sqoop-1.4.7.bin。二、实现步骤1.开启hdfsyarn(这个一定要开启,因为sqoop需要调用)zkmetastorehbase服务器2.建表...原创 2018-11-18 00:34:55 · 308 阅读 · 0 评论 -
sqoop(4):export之hdfsTomysql
1.直接命令提交(1)在mysql的sqoop下创建tomysql这张表create table tomysql(id int primary key not null,name varchar(20) not null);(2)命令行bin/sqoop export \--connect jdbc:mysql://bigdata.ibeifeng.com:3306/s...原创 2018-11-11 09:24:12 · 306 阅读 · 0 评论 -
sqoop(3):import之mysql/sqlserver/pgsql/Oracle To hive
一、mysqlToHive1.配置(1)往/etc/profile最后加入export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/modules/hive-1.2.1/lib/*然后刷新配置source /etc/profile(2) 把hive-site复制到sqoop中!cp ../hive-1.2.1/conf/hi...原创 2018-11-11 09:23:33 · 729 阅读 · 0 评论 -
sqoop(2):import之mysqlToHDFS
一、实现功能将mysql数据库中数据导入到hdfs上。二、方法1.mysql中新建测试表create database if not exists sqoop;use sqoop;//创建测试表create table tohdfs(id int primary key not null,name varchar(20) not null);//插入测试数据...原创 2018-11-11 09:23:11 · 369 阅读 · 0 评论 -
sqoop(1):安装和配置
一、功能在大数据处理之后,需要数据展示,所以,要把相对较少的数据存储到关系型数据库中,然后做一套框架给外部查询展示。sqoop的作用就是把数据从hdfs或者hive中导出到mysql等关系型数据库二、sqoop部署1.解压tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/modules/2.重命名sqoop-env...原创 2018-11-10 14:43:53 · 749 阅读 · 0 评论