自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

啊大海全是水的博客

千里征程一杯酒,万行代码一盏灯

  • 博客(85)
  • 资源 (1)
  • 论坛 (2)

原创 基于spark的数据采集平台

数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_server平台介绍数据采集,处理,监控,调度,管理一体化平台具体介绍请看github连接中的readme 文档

2020-06-10 09:59:55 89995

原创 hbase查找数据流程理解

整体hbase 查找数据流程以hbase1.2.6 为例子1 跟进zookeeper 获取对应的meta 表位置,meta 表位置只有1个在zookeeper 的目录是 /hbase/meta-region-server 问题:为什么meta 表 只有一个位置? 解答:和之前的hbase 寻址流程比 少了一次查询,并且一个meta 表中存储的regin信息足够用了,比如默认...

2019-07-24 19:41:58 756

原创 docker centos yum install

1 安装docker centos 需要满足的条件如下: 要安装Docker CE,您需要CentOS 7的维护版本。不支持或测试存档版本。 该centos-extras库必须启用。默认情况下,此存储库已启用,但如果已将其禁用,则需要重新启用它。 centos-extras: 在CentOS 5和6中,为CentOS提供附加功能而不破坏上游兼容性或更新基本组件,但...

2019-06-06 12:50:55 4767

原创 kafka的isr理解

问题如下:kafka 为了保证数据的一致性使用了isr 机制1 首先我们知道kafka 的数据是多副本的,每个topic 下的每个分区下都有一个leader 和多个follower,2 每个follower 的数据都是同步leader的 这里需要注意 是follower 主动拉取leader 的数据注意问题:follewer 只是数据的副本提供数据的可恢复性,本身和kafka 的读...

2019-04-25 22:50:27 6592 5

原创 kafka segment file 解析

kafka 有几个重要的概念需要先了解一下broker:可以理解为kafka 所在的服务器zookeeper:分布式服务框架在kafka 中的作用主要负责保存topic ,partition 元数据,和对broker 的监控及治理,以及partition 的leader 选举(partition 可以有多个副本,但是只有一个处于工作状态,副本只是负责同步数据,当leader partiti...

2018-11-01 19:43:42 4472

原创 spring boot kafka集成

spring boot集成kafka,注意要先安装kafka和zookeeper先导入spring-kafka的jar maven配置如下:<!--kafka客户端需要和kafka的jar版本对应 这里使用的是0.9版本的客户端--> <dependency> <groupId>org.springframework.ka...

2018-03-30 17:47:35 484

原创 spring boot web项目打jar 支持运行jsp

spring boot 打jar pom配置如下:注意spring-boot-maven-plugin 版本问题<build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> ...

2018-03-28 09:27:10 4588

原创 spring boot 使用spring cache 整合多级缓存(EhCache,Redis)

spring boot spring cache实现多级缓存,只是按照自己的思想实现,若有读者有更好的解决思路,欢迎指点spring cache实现多级缓存的思路如下:添加自定义的CacheManager,自定义的Cache,在Cache里实现多级缓存的操作(增删查)配置类如下注意红色标记的部分:package com.zyc.zspringboot.config;import com.zyc...

2018-03-22 18:19:05 10045 5

原创 idea scala插件下载,安装

idea scala插件安装,本文采用离线安装1先查看自己需要的scala 插件版本,查看方法如下:打开idea 找到右下角Configure->Plugins 点进去搜索scala 点击Search in repositories,最后找到updated 那个时间2:到http://plugins.jetbrains.com/plugin/1347-scala 下载对应版本的scala插件...

2018-03-16 16:16:20 7075 2

原创 windows安装scala 配置环境变量

下载scala 安装包地址http://www.scala-lang.org/download/all.html以2.11.0版本为例,选择如下安装包下载完成后运行安装包,一直使用默认即可(当然安装的路径你可以随意,默认的是c盘,我们自定义D:/scala)安装完成之后,需要配置环境变量:新建系统环境变量SCALA_HOME 配置PATH环境变量新增:%SCALA_HOME%\bin;配置CLAS...

2018-03-13 17:12:28 1686

原创 spring boot 项目在idea控制台中文乱码解决

spring boot项目在idea中出现中文乱码解决方法:首先先查看是否是项目编码问题,统一设置成utf-8,结合网上各种更改都不生效,最后发现是由于我使用了spring-boot-maven-plugin插件的原因解决如下:修改插件配置如下<plugin> <groupId>org.springframework.boot</gro...

2018-03-09 19:44:10 10034 3

原创 spring boot 整合quartz,并实现quartz的job实现自动注入功能

本篇废话不多,直接上代码,quartz和spring整合的其他相关知识可以看spring4和quartz2.x整合,对任务做动态操作(增删改查) spring4整合quartz2.x集群配置,并实现任务计数功能quartz当机器挂掉重启后定时任务后执行的策略使用的jar pom配置添加如下:quartz版本是2.x<!-- quartz --> <dependency>...

2018-03-08 09:04:25 5440

原创 spring boot 动态切换application-xx.properties配置文件

在spring boot 中如果想使用application-xx.properties配置文件有3中办法1:在application.properties配置文件中配置spring.profiles.active=xx,xx和application-xx.properties中对应2:在spring boot启动类中 使用SpringApplication实例的setAdditionalProf...

2018-03-07 08:57:26 4782

原创 spring boot shiro redis续

本篇文章是基于前几篇spring boot shiro redis的基础上,如果未看前几篇建议先看前几篇1:springboot redis整合2:springboot shiro整合3:springboot shiro redis整合4:spring boot shiro redis整合遇到的问题spring boot shiro 使用redis对session进行管理请看 ...

2018-03-02 17:15:07 3162 4

原创 spring boot shiro redis整合principals.getPrimaryPrincipal()强制转换类型错误

 spring boot项目使用ShiroUser shiroUser=(ShiroUser)principals.getPrimaryPrincipal() 报错错误:java.lang.ClassCastException:com.zyc.springboot.shiro.ShiroUser cannot be cast to com.zyc.springboot.shiro.ShiroU...

2018-03-01 16:21:46 5349 10

原创 oracle连接遇到的问题

oracle 启动监听服务lsnrctl start停止监听服务lsnrctl stopORA-12514: TNS: 监听程序当前无法识别连接描述符中请求的服务需要配置oracle服务器(你安装oracle服务的机器)中listener.ora文件SID_LIST_LISTENER =  (SID_LIST =    (SID_DESC =      (SID_NAME = CLRExtProc...

2018-02-26 10:26:15 134

原创 springmvc框架,使用ajax 请求数据返回数据中文乱码处理

问题:ajax 发送请求得到的数据中包含中文显示????乱码原因:SpringMVC框架的 @RequestBody 和 @ResponseBody两个注解,分别完成请求对象到对象响应的过程,一步到位,但是因为Spring3.x以后有了HttpMessageConverter消息转换器,把返回String类型的数据编码全部默认转换成iso-8859-1的编码格式,所以就出现了我们遇到的乱码的情况,...

2018-02-12 23:24:22 2570

原创 spring 相关知识点说明

1 @Autowired 作用在属性方法上,是根据参数的类型来进行查找javabean的2 spring aop可能会导致@Autowired注解不成功 如下:接口 UserService,实现类 UserServiceImpl ,如果使用@Autowired private UserService userService;是没问题的,@Autowired private UserServic

2018-01-25 10:53:21 145

转载 mybatis generator配置详解及遇到生成代码重复问题

mybatis generator 生成代码重复问题在文章末尾有解决方法  PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN""http://mybatis.org/dtd/mybatis-generator-config_1_0.dtd">    resource:配置资源加

2018-01-03 15:39:37 11905

原创 spring中读取property的几种方式及解析

在spring中经常使用占位符读取properties文件中的属性值常见写法有以下几种1: //我们下文以a 表示2:<bean class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer"> classpath:com/zyc/jdbc.properties

2017-12-14 18:58:31 2347

原创 spring boot shiro redis整合

spring boot redis整合spring boot redis整合spring boot shiro整合  spring boot shiro整合在上篇整合shiro 的基础上 shiroConfig配置修改如下 红色部分为新增,整合中从redis中获取session时出现类型转换错误在本文结尾有说明及解决方法需要注意的是我这里的实现 是session实现了redis缓存管理,但是其他的...

2017-12-09 16:44:06 4882 4

原创 spring boot shiro整合

spring boot 整合shiro需要的jar 1.4.0 org.apache.shiro shiro-core ${shiro.version} org.apache.shiro shiro-web ${shiro.version} org.apache.shiro shiro-spring ${

2017-12-09 16:29:45 2558

原创 spring boot redis整合

spring boot整合redis 添加jar maven org.springframework.boot spring-boot-starter-data-redis 配置类如下:package com.zyc.springboot.config;import org.springframework.beans.factory.annotation.Value;

2017-12-09 15:26:32 1180

原创 mybatis 分页插件拦截注解不同版本不同的写法,及分页遇到的问题

mybatis @Intercepts注解的写法使用MyBatis 3.4.1或者其以上版本@Intercepts({  @Signature(type = StatementHandler.class,  method = &quot;prepare&quot;,  args = {Connection.class, Integer.class})}) 使用MyBatis 3.4.1(不包含)以下@Intercep...

2017-12-05 09:41:07 700

原创 spring boot web项目部署到外部tomcat

spring boot项目打成war包部署到外部tomcat部署到外部tomcat 在打包之前需要先将spring boot内置的tomcat去除去除内置tomcat有2种1: org.springframework.boot spring-boot-starter-web org.springframework.bo

2017-11-26 21:31:58 1349

原创 spring boot @Transactional事物处理

spring boot 添加事物使用 @Transactional注解简单使用 在启动类上方添加 @EnableTransactionManagement注解使用时直接在类或者方法上使用 @Transactional注解如:package com.zyc;import org.mybatis.spring.annotation.MapperScan;import org.

2017-11-14 10:05:01 3935 1

原创 quartz2.2.3 spring整合遇到的错误,及quartz配置文件说明

出现 Couldn't acquire next trigger: ORA-08177: 无法连续访问此事务处理错误:1:可能是由org.quartz.jobStore.txIsolationLevelSerializable设置为true的原因,将此属性设置为false2:你的job类中可能做了大量的和数据库交互的代码,但是job默认是多线程并发执行的,出现任务堆积导致,如果使用Meth

2017-11-07 17:16:04 2931

原创 spring-boot整合druid配置

准备:druid是阿里巴巴开源的高性能,多功能的连接池,其主要配置参数如下:配置缺省值说明name 配置这个属性的意义在于,如果存在多个数据源,监控的时候可以通过名字来区分开来。如果没有配置,将会生成一个名字,格式是:"DataSource-" + System.identityHashCode(this). 另外配置此属性至少在1.0.

2017-11-01 14:31:08 9282

原创 springboot logback 打印mybatis sql日志

springboot logback打印日志,网上有很多,当然不正确的也有好多网上大部分都是在application.properties中设置如下:logging.level.root=INFOlogging.level.org.springframework.web=DEBUGlogging.level.org.hibernate=ERROR这种方式要打印mybatis s

2017-10-31 16:27:11 18526 2

原创 springboot整合activemq,应答模式,消息重发机制,消息持久化

准备工作:activemq的消息确认机制就是文档中说的ack机制有: AUTO_ACKNOWLEDGE = 1    自动确认CLIENT_ACKNOWLEDGE = 2    客户端手动确认   DUPS_OK_ACKNOWLEDGE = 3    自动批量确认SESSION_TRANSACTED = 0    事务提交并确认INDIVIDUAL_ACKNOWLEDG

2017-10-27 14:59:06 16604 16

原创 spring,shiro,redis实现session共享

spring-shiro 整合请看shiro springmvc整合第一步spring-redis整合请看spring和redis集成用到的redis jar如下 redis.clients jedis 2.6.2 org.springframework.data spring-data-redis 1.4.1.RELEASE

2017-10-24 17:55:38 5112 4

原创 spring boot 整合log4j

pom.xml配置如下: org.springframework.boot spring-boot-starter-web org.springframework.boot spring-boot-starter-logging org.springframework.boot spring-boot

2017-10-23 18:09:12 745

原创 spring4整合quartz2.x集群配置,并实现任务计数功能

spring4整合quartz2.x请看 spring4和quartz2.x整合,对任务做动态操作(增删改查)本篇文章在此基础上实现集群配置quartz存储job方式就分三种,我们最常用的也是quartz默认的是RAMJobStore,RAMJobStore顾名思义就是把job的相关信息存储在内存里,如果用spring配置quartz的job信息的话,所有信息是配置在xml里,

2017-10-21 21:34:59 1538 2

转载 quartz当机器挂掉重启后定时任务后执行的策略

quartz,java世界里面的任务管理容器。至于为什么会有misfire这个概念,我想可以重这三个方面来进行说明:1 所有的线程都在忙于更高优先级的任务2 任务本身CRASH了3 代码的BUG,导置错误的设置了JOB基于这3种原因,其实也是现实世界中的常理。没有任何事情,都能保证100%运行OK。quartz提出了misfire的理论,让任务在错过之后,还能正常的运行。以下分别对几种类型的JOB

2017-10-21 18:55:51 17968

原创 factorybean的解释

介绍:一般情况下,Spring通过反射机制利用bean的class属性指定实现类来实例化bean 。在某些情况下,实例化bean过程比较复杂,如果按照传统的方式,则需要在中提供大量的配置信息,配置方式的灵活性是受限的,这时采用编码的方式可能会得到一个简单的方案。Spring为此提供了一个org.Springframework.bean.factory.FactoryBean的工厂类接口,用户可

2017-10-21 18:28:24 184

原创 springboot junit 测试出现的错误

spring boot  junit 测试代码如下package com.zyc.ew;import org.junit.Test;import org.junit.runner.RunWith;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.b

2017-10-20 18:12:43 7220

原创 centos 6.4 安装activmq-5.11.1

ActiveMq下载链接: https://pan.baidu.com/s/1i5IfRql 密码: c1wp,也可到官网下载 http://activemq.apache.org/overview.html 选择对应的版本将下载好的压缩包上传到服务器解压tar -zxvf apache-activemq-5.11.1-bin.tar.gz –C /usr/local/acti

2017-10-18 11:15:54 213

原创 spring4和quartz2.x整合,对任务做动态操作(增删改查)

quartz 1.x版本和quartz2.x版本变化有点大,所以开始使用quartz时要注意版本项目结构如下本demo 的设计思想是对定时任务的增删改查等,需要通过相关的反射知识,及通过任务描述类中group和trigger来得到相关的job项目使用maven jar如下         org.quartz-scheduler

2017-10-15 16:12:35 6547 4

原创 若要再次显示该网页 web 浏览器需要重新

由于项目中使用post请求得到页面但是在刷新时使用window.location.Reload()来进行刷新,但是请求这个页面时 是通过form post 提交过来的所以在刷新时会提示解决办法是使用window.location.href() 获取jquery $("#formid").submit();来替代

2017-09-30 11:02:10 6074

原创 springboot整合mybatis 注解实现

springboot 整合myabtis sql预警xml 配置文件实现请见spring-boot整合myabtis本节中将实现注解完成sql首先需要了解几个注解@Select ,@Update ,@Delete,@Insert以上节获取role 为例package com.zyc.springboot.dao;import java.util.List;import or

2017-09-25 20:26:26 1840

quartz集群各数据库中对应的表机构

quartz集群时需要在数据库中创建的表结构(oracle,mysql,sqlserver,h2sql等22种数据库)

2017-11-07

和cobar server有关 错误

发表于 2016-11-07 最后回复 2016-11-14

cobar 集群 使用limit 分页问题

发表于 2016-11-07 最后回复 2016-11-09

空空如也
提示
确定要删除当前文章?
取消 删除