Spring 配置 hbase

最新推荐文章于 2024-09-30 20:10:16 发布
最新推荐文章于 2024-09-30 20:10:16 发布
阅读量3.5k 收藏 3
点赞数
分类专栏： 大数据 文章标签： spring hadoop hbase hbasetemplate sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zl18310999566/article/details/72143186
版权

最近项目要用Hadoop来做数据分析，所以让我先熟悉一下相关的知识，第一次接触，公司也没有人有这方面的经验，只好自己摸着石头过河，理论知识只能在之后的使用过程中慢慢积累和深入学习，现在只能先想办法把项目跑起来。

环境的搭建是运维给搞好的，Hadoop是2.6.0版本，这里需要注意的是，相关端口需要运维提前给好相关权限，我用了半天时间找一个问题，最后发现是一个端口没有权限造成的，白白浪费了时间。

配置

pom文件

内容没有给全，主要贴出了hbase需要的，其他的根据个人需要而添加 

  <properties>
    <spring.version>4.1.6.RELEASE</spring.version>
    <spring.hadoop.version>2.4.0.RELEASE</spring.hadoop.version>
    <hadoop.version>2.6.0</hadoop.version>
    <hbase.version>1.3.1</hbase.version>
  </properties>

    <dependency>
      <groupId>org.springframework</groupId>
      <artifactId>spring-tx</artifactId>
      <version>${spring.version}</version>
    </dependency>

    <dependency>
      <groupId>org.springframework.data</groupId>
      <artifactId>spring-data-hadoop</artifactId>
      <version>${spring.hadoop.version}</version>
      <exclusions>
        <exclusion>
          <groupId>org.springframework</groupId>
          <artifactId>spring-context-support</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.slf4j</groupId>
          <artifactId>slf4j-log4j12</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

    <!-- hbase -->
    <dependency>
      <groupId>com.yammer.metrics</groupId>
      <artifactId>metrics-core</artifactId>
      <version>2.2.0</version>
    </dependency>

    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-common</artifactId>
      <version>${hadoop.version}</version>
      <scope>compile</scope>
    </dependency>

    <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-client</artifactId>
      <version>${hbase.version}</version>
      <scope>compile</scope>
      <exclusions>
        <exclusion>
          <groupId>log4j</groupId>
          <artifactId>log4j</artifactId>
        </exclusion>
        <exclusion>
          <groupId>org.slf4j</groupId>
          <artifactId>slf4j-log4j12</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

web.xml

<?xml version="1.0" encoding="UTF-8"?>
<web-app version="3.0"
         xmlns="http://java.sun.com/xml/ns/javaee"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://java.sun.com/xml/ns/javaee
         http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd">
  <display-name>${maven.project.name}</display-name>

  <listener>
    <listener-class>org.springframework.web.util.IntrospectorCleanupListener</listener-class>
  </listener>

  <!-- ========================================================= -->
  <!-- Spring配置 -->
  <!-- ========================================================= -->
  <listener>
    <description>spring监听器</description>
    <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
  </listener>
  <context-param>
    <param-name>contextConfigLocation</param-name>
    <param-value>classpath*:/spring/*.xml</param-value>
  </context-param>

  <!-- ========================================== -->
  <!-- 字符集过滤器，对request和response中的字符编码 -->
  <!-- ========================================== -->
  <filter>
    <description>字符集过滤器</description>
    <filter-name>characterEncodingFilter</filter-name>
    <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>
    <init-param>
      <description>字符集编码</description>
      <param-name>encoding</param-name>
      <param-value>UTF-8</param-value>
    </init-param>
    <init-param>
      <param-name>forceEncoding</param-name>
      <param-value>true</param-value>
    </init-param>
  </filter>
  <filter-mapping>
    <filter-name>characterEncodingFilter</filter-name>
    <url-pattern>/*</url-pattern>
  </filter-mapping>

  <!-- ====================== -->
  <!-- SpringMVC配置 -->
  <!-- ====================== -->
  <servlet>
    <servlet-name>springmvc</servlet-name>
    <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
    <init-param>
      <description>spring mvc 配置文件</description>
      <param-name>contextConfigLocation</param-name>
      <param-value>classpath*:/servlet-context.xml</param-value>
    </init-param>
    <load-on-startup>1</load-on-startup>
  </servlet>
  <servlet-mapping>
    <servlet-name>springmvc</servlet-name>
    <url-pattern>/</url-pattern>
  </servlet-mapping>
  <welcome-file-list>
    <welcome-file>/index.jsp</welcome-file>
  </welcome-file-list>
</web-app>

servlet-context.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
	   xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	   xmlns:context="http://www.springframework.org/schema/context"
	   xmlns:aop="http://www.springframework.org/schema/aop"
	   xmlns:mvc="http://www.springframework.org/schema/mvc"
	   xmlns:tx="http://www.springframework.org/schema/tx"
	   xmlns:p="http://www.springframework.org/schema/p"
	   xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.1.xsd
	http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.1.xsd
	http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.1.xsd
	http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.1.xsd
	http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc-4.1.xsd"
	   default-autowire="byName">
	<description>Spring MVC视图解析配置</description>
	<import resource="classpath:spring/hbase-config.xml" />
	<!-- ======================================= -->
	<!-- spring组件扫描 -->
	<!-- ======================================= -->
	<context:component-scan base-package="com.jikefriend.test.hdfs" />

	<!--对静态资源文件的访问-->
	<!--<mvc:resources mapping="/resource/**" location="/resource/" />-->

	<mvc:annotation-driven>
		<mvc:message-converters>
			<bean id="mappingJacksonHttpMessageConverter" class="org.springframework.http.converter.json.MappingJackson2HttpMessageConverter">
				<property name="supportedMediaTypes">
					<list>
						<value>application/json;charset=UTF-8</value>
						<value>application/x-www-form-urlencoded;charset=UTF-8</value>
					</list>
				</property>
			</bean>
			<bean class="org.springframework.http.converter.StringHttpMessageConverter" />
			<bean class="org.springframework.http.converter.FormHttpMessageConverter" />
			<bean class="org.springframework.http.converter.BufferedImageHttpMessageConverter" />
			<bean class="org.springframework.http.converter.ByteArrayHttpMessageConverter" />
			<bean class="org.springframework.http.converter.ResourceHttpMessageConverter" />
		</mvc:message-converters>
	</mvc:annotation-driven>
</beans>

hbase相关配置

hbase-config.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xmlns:context="http://www.springframework.org/schema/context"
       xmlns:hdp="http://www.springframework.org/schema/hadoop"
       xmlns:p="http://www.springframework.org/schema/p"
       xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
	http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd
	http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd">

    <context:property-placeholder location="classpath*:**/*.properties"/>

    <context:component-scan base-package="com.jikefriend.test.hdfs.hbase"/>

    <hdp:configuration id="hadoopConfiguration">
    </hdp:configuration>

    <hdp:hbase-configuration configuration-ref="hadoopConfiguration" zk-quorum="${hbase.zk.host}" zk-port="${hbase.zk.port}" >
        zookeeper.znode.parent=/hbase
    </hdp:hbase-configuration>

    <bean id="hbaseTemplate" class="org.springframework.data.hadoop.hbase.HbaseTemplate">
        <property name="configuration" ref="hbaseConfiguration"/>
    </bean>

</beans>

hbase.properties

hbase.zk.host=zk1.com,zk2.com
hbase.zk.port=2181
fs.defaultFS=hdfs://hd.host:8020
8020端口：NameNode 运行 HDFS 协议的端口。结合 NameNode 的主机名称建立其地址。（可以在管理页面看到）
到此，基本的配置信息就已经完成了。

代码编写

实体类User.java

package com.jikefriend.test.hdfs.hbase;

public class User {

    private String name;
    private String email;
    private String password;

    public User(String name, String email, String password) {
        super();
        this.name = name;
        this.email = email;
        this.password = password;
    }

    public String getName() {
        return name;
    }

    public String getEmail() {
        return email;
    }

    public String getPassword() {
        return password;
    }

    @Override
    public String toString() {
        return "User [name=" + name + ", email=" + email + ", password="
                + password + "]";
    }
}
与hbase交互的Repository.java 

package com.jikefriend.test.hdfs.hbase;

import org.apache.hadoop.hbase.client.HTableInterface;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.util.Bytes;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.hadoop.hbase.HbaseTemplate;
import org.springframework.data.hadoop.hbase.RowMapper;
import org.springframework.data.hadoop.hbase.TableCallback;
import org.springframework.stereotype.Component;

import java.util.List;


@Component
public class UserRepository {

    @Autowired
    private HbaseTemplate hbaseTemplate;

    private String tableName = "users";

    public static byte[] CF_INFO = Bytes.toBytes("cfInfo");

    private byte[] qUser = Bytes.toBytes("user");
    private byte[] qEmail = Bytes.toBytes("email");
    private byte[] qPassword = Bytes.toBytes("password");

    public List<User> findAll() {
        return hbaseTemplate.find(tableName, "cfInfo", new RowMapper<User>() {
            public User mapRow(Result result, int rowNum) throws Exception {
                return new User(Bytes.toString(result.getValue(CF_INFO, qUser)),
                        Bytes.toString(result.getValue(CF_INFO, qEmail)),
                        Bytes.toString(result.getValue(CF_INFO, qPassword)));
            }
        });

    }

    public User save(final String userName, final String email,
                     final String password) {
        return hbaseTemplate.execute(tableName, new TableCallback<User>() {
            public User doInTable(HTableInterface table) throws Throwable {
                User user = new User(userName, email, password);
                Put p = new Put(Bytes.toBytes(user.getName()));
                p.add(CF_INFO, qUser, Bytes.toBytes(user.getName()));
                p.add(CF_INFO, qEmail, Bytes.toBytes(user.getEmail()));
                p.add(CF_INFO, qPassword, Bytes.toBytes(user.getPassword()));
                table.put(p);
                return user;
            }
        });
    }

}
最后是用于验证的Controller.java 

package com.jikefriend.test.hdfs.hbase;

import com.alibaba.fastjson.JSON;
import org.springframework.data.hadoop.hbase.HbaseTemplate;
import org.springframework.stereotype.Controller;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.ResponseBody;

import javax.annotation.Resource;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.HttpServletResponse;
import java.util.List;

@Controller
public class UserController {

    @Resource
    private UserRepository userRepository;

    @ResponseBody
    @RequestMapping("/hadoop/hbase/find/all")
    public String findAll(HttpServletRequest request, HttpServletResponse response) {
        try {
            List<User> list = userRepository.findAll();
            System.out.println(JSON.toJSON(list));
        } catch (Exception e) {
            e.printStackTrace();
        }

        return "ok";
    }

    @ResponseBody
    @RequestMapping("/hadoop/hbase/find/save")
    public String save(HttpServletRequest request, HttpServletResponse response,
                       @RequestParam("userName") String userName,
                       @RequestParam("email") String email,
                       @RequestParam("password") String password) {
        try {
            User user = userRepository.save(userName, email, password);
            System.out.println(JSON.toJSON(user));
        } catch (Exception e) {
            e.printStackTrace();
        }

        return "ok";
    }
}

到此就算结束了，可以通过 hbase shell来进行验证

数据导入hbase

Sqoop是Apache顶级项目，主要用来在Hadoop和关系数据库中传递数据。通过sqoop，我们可以方便的将数据从关系数据库导入到HDFS，或者将数据从HDFS导出到关系数据库。

使用如下命令，将mysql中某张表的数据导入到hbase中

sqoop import --connect jdbc:mysql://mysql.host:mysqlport/databasename \
--table [mysqltable] --hbase-table [hbasetable] --column-family testfamily  \
--hbase-row-key id --hbase-create-table --username [mysqluname] --password [mysqlpwd]

  • --connect jdbc:mysql://mysql.host:mysqlport/databasename     mysql.host为Mysql 服务的Host，mysqlport是Mysql的监听端口，databasename是数据库名称
  • --table [mysqltable]                 mysqltable表示要导出数据库的表。
  • --hbase-table [hbasetable]      hbasetable表示要在在HBase中建立的表。
  • --column-family testfamily       表示在表hbasetable中建立列族testfamily。
  • --hbase-row-key id                  表示表A的row-key是hbasetable表的id字段。
  • --hbase-create-table               表示在HBase中建立表。
  • --username [mysqluname]      mysqluname表示连接Mysql的用户名。
  • --password [mysqlpwd]           mysqlpwd表示连接Mysql的用户密码。

参考

Spring for Apache Hadoop，http://projects.spring.io/spring-hadoop/

代码参考，https://github.com/spring-projects/spring-hadoop-samples/tree/master/hbase

sqoop导入数据，http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html，http://blog.csdn.net/zklth/article/details/7193943

spring中操作hbase
panda-star的博客
10-18 1471
spring中操作hbase 一、简介 这里介绍在spring中对hbase的操作。使用的是spring-data-hadoop-hbase包及相关包，包含原生的HbaseTemplate调用以及自定义的对象存取服务类HbaseService。 二、知识点 对hbase的操作是基于HbaseTemplate类，内包含对hbase数据的增删改查操作，以及自定义对语句的操作。这里列下其实现的操作接口HbaseOperations，如下： package org.springframework.data.hado
spring与hbase整合demo
08-04
此外，我们还需要配置HBase模板（HBaseTemplate），这是Spring为HBase提供的一个操作接口，用于执行CRUD（创建、读取、更新和删除）操作。 接着，HBase的表和列族管理是通过HBaseAdmin接口实现的。在Spring配置中，...
Spring常用配置
weixin_34310369的博客
09-08 128
----------------------------------------------------------------------------------------------[版权申明：本文系作者原创，转载请注明出处]文章出处：http://blog.csdn.net/sdksdk0/article/details/52471101作者：...
spring的配置
2302_79804180的博客
09-30 496
XML 配置：传统的 Spring 配置方式是使用 XML 文件。- Java 配置：从 Spring 3.0 开始，可以使用 Java 类进行配置。- Redis：一种高性能的内存数据库，也可作为缓存使用，Spring Data Redis 提供了对 Redis 的支持。总之，Spring 提供了丰富的配置选项和可以与众多优秀的服务提供商集成，以满足不同项目的需求。- Log4j2：另一个强大的日志框架，也可在 Spring 项目中使用。- 构造函数注入：在 bean 的构造函数中传入依赖的对象。
Spring + Hbase整合
csmnjk的专栏
12-09 2702
1、版本说明 （1）spring版本：4.3.9.RELEASE （2）Hbase版本：1.1.2 （3）Hadoop版本：2.7.1 Hbase和hadoop的版本一定要与集群上的版本一致，不然程序会报方法不存在的各种异常！ 2、Hbase和Hadoop的pom &lt;!-- habse --&gt; &lt;dependency&gt; &lt;groupId&gt;o...
spring配置
feifeiwuxian的专栏
08-09 126
1.先上一段关于ioc的xml的配置 pom文件 <dependencies> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context</artifactId> <version>5.0.5.RELEASE</versi
Spring配置
weixin_41709536的博客
09-15 193
5 Spring配置 别名 Bean配置 import <import resource="beans1.xml"> <import resource="beans2.xml"> <import resource="beans3.xml"> 一般用于团队开发，导入合并为一个，项目中多人开发，不同类需要注册在不同在bean中，可以利用import将不同的bean合并为总的，使用时直接使用总的。 6 依赖注入 6.1 构造器注入 6.2 Set方式注入 依赖：b
基于SpringMVC+Spring+HBase+Maven搭建的Hadoop分布式云盘系统.zip
04-10
这是一个基于Java技术栈，利用SpringMVC、Spring、HBase和Maven构建的Hadoop分布式云盘系统的项目。该项目旨在实现一个高效的、可扩展的云存储解决方案，利用Hadoop的分布式特性来处理大规模数据存储需求。 首先，...
spring操作hbase demo
05-23
3. **配置HBase连接**：在Spring的配置文件（如applicationContext.xml）中，配置HBase的相关信息，包括Zookeeper地址、HBase表名等： ```xml <bean id="hbaseConfiguration" class="org.apache.hadoop.hbase.conf...
spring与hbase集成
03-04
确保在 Maven 或 Gradle 的配置文件中包含 Spring Data HBase 的依赖： ```xml <groupId>org.springframework.data <artifactId>spring-data-hadoop 版本号 ``` 接下来，我们需要配置 Spring 容器以管理 ...
详解spring封装hbase的代码实现
08-30
本篇文章将详细解析如何使用 Spring 进行 HBase 的封装，并提供相关的配置和代码示例。 首先，我们需要引入 HBase 的相关依赖。在 Maven 项目中，可以在 `pom.xml` 文件中添加如下依赖： ```xml <groupId>org....
springboot集成hbase
09-17
本示例示springboot集成hbase的一个工具，用户下载后，只需要更改HBaseUtil类中的配置为自己的hbase服务器上的相关配置及更改resources下hbase.keytab和krb5.conf文件为自己服务器上的文件即可使用
Spring 配置
海鸟儿~GIS
06-17 304
一、spring的三种装配机制： 1、在XML中进行显示配置。 2、在java中进行显示配置。 3、隐式的bean发现机制和自动装配。 二、1、spring自动化装配：（1）组件扫描（component scanning），Spring会自动发现应用上下文所创建的bean。（2）自动装配（autowiring），Spring自动满足bean之间的依赖。 例子：带有@component注解
Spring的配置
木落
02-18 195
1、别名 <!--别名，如果添加了别名，我们也可以使用别名获取到这个对象--> <alias name="user" alias="userAlias"/> 2、bean的配置 <!-- id：bean的唯一标识符，也就是相当于我们学的对象名 class：bean对象所对应的全限定名：包名+类名 name:也是别名，而且name可以同时取多个别名 --> <bean id="userT" class="com.kuang.pojo.UserT" name="use
Spring-配置
m0_67400973的博客
04-25 841
1.有网络时配置(idea版) 新建一个spring项目，选项如下： 生成目录如下： 2.环境测试 结果： 3.创建bean 在spring框架中，使用面向接口编程，实现解耦。 4.配置spring-config.xml 5.获取spring容器中的Bean 执行流程： 从类路径ClassPath中寻找指定的XML配置文件，找到并装载，完成ApplicationContext的实例化工作。 通过getBean方法从ApplicationContext容器中获取装配好的Bean实例以供使用 调
关于Spring的配置
m0_65365393的博客
07-16 736
然后在该类之前进行注解依赖注入@Component(value=“xxx”）注意，在此value可不写，vaule值是注入Spring容器后，该实体类的id当value没写的时候，该实体类的id（符合命名规范时）默认为该实体类的类名且首字母小写。我们可以看到，在controller的实现类中将service的实体类进行了装配，在service层的实现类中，我们将dao的类进行了装配，在dao层的实现类中将QueryRunner进行了装配。注意：不可单独使用，需要搭配@Component使用。
Spring----（1）Spring的配置
LL的博客
06-25 2244
Spring基础，Spring的配置
spring用hbase
最新发布
10-27
4. **配置管理**：Spring Boot可以帮助自动配置HBase环境，包括连接URL、认证信息等，使得配置更易于管理。 5. **事务管理**：Spring的事务管理机制也可以应用在HBase上，确保在分布式环境中的一致性和数据完整性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值