Sqoop导入SQL Server数据

最新推荐文章于 2024-07-16 14:56:57 发布
最新推荐文章于 2024-07-16 14:56:57 发布
阅读量5.6k 收藏 2
点赞数 3
分类专栏： 大数据 数据库 文章标签： sql server 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zleven/article/details/54286651
版权
本文详细介绍了如何准备从SQL Server导入数据到Hadoop的步骤，包括安装SQL Server JDBC驱动和SQL Server Hadoop Connector，并提供了相关下载链接和配置说明。
摘要由CSDN通过智能技术生成

在《SQOOP数据导入》中介绍了如何从Oracle中导入数据到HDFS、Hive及HBase中。如果需要使用SQOOP从SQL Server中导入数据，则相对麻烦一点，我们需要做一些额外的工作。下面将介绍如何使用SQOOP从SQL Server中导入数据。

一、导入前准备

1.1安装SQL Server JDBC驱动

由于SQOOP本身不包含SQL Server数据库JDBC驱动，因此，我们需要手动安装驱动。首先，到 https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=21599 下载JDBC驱动：1033\sqljdbc_3.0.1301.101_enu.tar.gz，解压文件，拷贝sqljdbc4.jar文件到SQOOP安装目录的lib目录下。

  • 注意：sqljdbc4.jar需要6.0 或更高版本的 Java 运行时环境 (JRE)。

1.2安装SQL Server Hadoop Connector

安装完SQL Server JDBC驱动后，还需要安装SQL Server Hadoop Connector，才能实现SQL Server和Hadoop

最低0.47元/天 解锁文章
zlEven
关注
专栏目录
使用sqoop导入sql server数据库
qxf1374268的博客
03-28 6566
问题描述： 以前都只是使用sqoop导入mysql和oracle数据库的数据，今天突然来了一个sql server数据库，发现按照以前的写法不对，所以开始了我的百度之路。。。 首先，我按照这个大兄弟说的，去下载了sql server的驱动， 但是，在下载SQL Server Hadoop Connector的时候，我突然发现： 微软竟然不支持下载这个名字叫SQL ...
Sqoop抽取Sqlserver数据到hbase
fengfengchen95的博客
07-31 1378
Sqoop抽取Sqlserver数据到hbase 语法： sqoop  import --connect "jdbc:sqlserver://10.96.183.70:1433;database=SPC" --username mes --password mes+123  \ --query \ "select \ random+fdatec+boardsn+idstation+imulti...
Sqoop将SQLServer数据表导入HDFS
01-15
sqoop将关系型数据库，导入到hadoop集群中，供大家参考，一起学习。
命令行导入sql文件【以Ubuntu为例】
最新发布
niTaoTaoa的博客
07-16 436
使用MySQL用户（通常是root用户）登录MySQL。以上步骤完成后，你的SQL文件内容就会被导入到MySQL数据库中了。使用以下命令将SQL文件导入到数据库中。假设你的SQL文件在。，MySQL用户名是。
SQOOP 导出SQL SERVER中数据
日进一步
06-13 1176
从SQL Server导出数据到HDFSsqoop import --connect 'jdbc:sqlserver://192.168.20.105:1433;databasename=dep' --username sa --password Server2008!  --table test_table --fields-terminated-by '\001' --target-dir /...
sqoop连接SQL server的驱动包
06-13
利用sqoop导出sql server的数据时所需的驱动包，只需要将该包放到hive或sqoop的lib目录下即可。
Sqoop导入SQLServer业务数据
蝈蝈
11-17 1690
1 Sqoop 1.1 使用 import-all-tables将SqlServer的历史数据全量同步到HDFS /usr/bin/sqoop import-all-tables \ --connect "jdbc:sqlserver://sqlserver的ip:1433;database=数据库名称" \ --username '用户名' \ --password '面膜' \ --warehouse-dir "目录" \ --autoreset-to-one-mapper --m 1 \ --exc
Sqoop 导入SQlServer数据时报错
蝈蝈
11-17 621
1 Sqoop将业务数据SQLServer数据导入到HDFS时，出现如下错误 Container [pid=19170,containerID=container_e43_1604046194386_1457_01_000004] is running 802816B beyond the ‘PHYSICAL’ memory limit. Current usage: 1.0 GB of 1 GB physical memory used; 2.5 GB of 2.1 GB virtual memory u
Sqoop-sqlserver-hdfs.rar
11-05
总的来说，"Sqoop-sqlserver-hdfs.rar"压缩包为在Hadoop环境使用Sqoop将SQL Server数据迁移到HDFS提供了必要的工具和依赖。了解并熟练掌握这些工具的使用，对于数据工程师来说是进行大数据操作的重要技能。
Sqoop安装测试、连接Sqlserver使用
joklove的博客
05-29 1812
Sqoop安装测试、连接Sqlserver使用 Sqoop是一个开源的工具，它允许用户将数据从关系型数据库抽取到Hadoop中，用于进一步的处理。抽取出来的数据可以被Mapreduce程序使用。也可以被其他类似于Hive的工具使用。一旦形成分析结果，Sqoop便可以将这些结果导回数据库，以供其他客户端使用。 安装部署步骤 1、安装Sqoop的前提是已经具备Java和Hadoop的环境。在系统环境变量中设置HADOOP_HOME变量 2、下载地址：链接:http://mirrors.hust.edu.cn/
sqoop全量导入与增量导入sqlserver数据
鲁边的博客
05-11 1755
sqoop全量导入与增量导入sqlserver数据1.全量导入正常导入即可2.增量导入sqoop支持两种增量导入到hive的模式， 一种是 append，即通过指定一个递增的列,(如果没有可以插入一列自增的数)比如： --incremental append  --check-column id --last-value 0 另一种是可以根据时间戳，比如： --incremental lastmo...
使用sqoop将数据从hive导出至MySQL数据库
只想躺着的博客
12-04 491
导出语句： sqoop export --connect 'jdbc:mysql://ip:port/db?user=root&password=12345' --table emp --columns "ID,NAME,ADDRESS" --export-dir /../company.db/epm --input-fields-terminated-by '\036' --input...
sqoop连接sqlServer
shengjk1的博客
03-14 2797
背景：最近公司需要把sqlServer的数据导入到hive中方便数据组的同事进行分析。国内资料相对老套，很多资料针对于sqoop1.3及其以下的，所以记录以下，方便后来者软件：sqoop-1.4-cdh5.10 sqlServer2005下面各位看官，跟着小二一起进行sqoop连接sqlServer的奇妙旅程。 总体来说就三点：1.sqoop1.4不需要connector-hadoop插件
为Microsoft SQL Server配置Sqoop
sn_gis的专栏
06-12 1183
为Microsoft SQL Server配置Sqoop
sqoop导出orc数据至mysql_请问sqoop 如何把sqlserver 数据导入 hive，且用orc格式存储...
weixin_31495637的博客
01-31 337
1.环境java version "1.8.0_65"hadoop 2.7.2hive 2.0sqoop 1.4.62.所需软件包①.sqljdbc_3.0.1301.101_chs.tar//下载地址:http://www.microsoft.com/en-us/d ... ang=en&id=21599②.sqoop-sqlserver-1.0.tar //改软件包微软已经不提...
sqoop数据导出导入
不言尘世
02-26 482
一 sqoop简介： Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…) 间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的 数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。 Sqoop 项目开始于 2009 年，最早是作为 H...
Hadoop用Sqoop连接Sql Server 2008
pigHead_chen的专栏
03-15 4985
依然是ubuntu12 第一步安装Sqoop 1，download  tarball 2，解压到/usr/local/Sqoop-x.x.x，并重命名为Sqoop 3，设置SQOOP_PATH。 hduser@localhost:/usr/local/sqoop$ export SQOOP_HOME="/usr/local/sqoop" hduser@localhost:/usr/lo
通过sqoop 将sqlserver 数据导入HDFS
kuangrenkuaile的专栏
09-06 1054
（1）下载jdbc的sqlserver驱动 在HDFS与SqlServer数据库之间导入数据，需要下载jdbc的sqlserver驱动sqljdbc_3.0.1301.101_enu.tar.gz，下载链接：https://download.csdn.net/download/sn_gis/7483613 （微软官网的资源已失效）。并将jar文件拷入$SQOOP_HOME/lib 下 （2）但...
Sqoop导入导出操作介绍
04-04
Sqoop可以处理多个关系型数据库的导入导出，包括MySQL、Oracle、PostgreSQL、SQL Server等。 Sqoop导入操作： 1. 首先需要安装Sqoop，并配置好相关参数，比如数据库连接信息、Hadoop集群信息等。 2. 使用Sqoop的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值