- 博客(102)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 基于spark的数据采集平台
数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_server平台介绍数据采集,处理,监控,调度,管理一体化平台具体介绍请看github连接中的readme 文档
2020-06-10 09:59:55
2106344
原创 ZDH-数据管理模块
zdh平台在数据管理这块，实现很多自动化，可视化的功能，主要为了帮助企业完成数字化转型，比如数据ETL, 数据调度，审批流，数据资源管理，告警等功能。
2024-06-02 22:18:56
1097
原创 ZDH大数据采集平台-数据源管理
本次介绍基于ZDH v4.7.18版本预览地址后台管理-登陆用户名：zyc密码：123456安装包下载地址登录预览系统-可下载安装包数据源管理数据源管理主要包含ZDH数据采集平台支持的多种数据源，在4.7.18版本中支持以下数据源JDBC：（常用数据库，oracle,mysql,postgresql,sql server,clickhouse,gbase,达梦，greenplum,hive）HDFS：hadoop分布式文件系统HBASE: 分布式列式存储数据库
2022-02-20 09:29:10
4928
2
原创 ZDH大数据采集平台-采集mysql数据到hdfs
目录项目源码创建mysql数据源创建本地hdfs数据源配置采集任务配置调度点击执行记录查看具体日志高级使用项目源码数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名：zyc密码：123456界面只是为了参考功能,底层的数据.
2021-03-07 10:21:02
1702588
2
原创 大数据采集平台之ZDH_SERVER部署
目录项目源码下载源码打包部署运行项目源码数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名：zyc密码：123456界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情如.
2021-02-27 22:07:10
1793577
3
原创 大数据采集平台ZDH_WEB安装部署
数据采集平台管理端https://github.com/zhaoyachao/zdh_web数据采集平台服务https://github.com/zhaoyachao/zdh_serverweb端在线查看http://zycblog.cn:8081/login用户名：zyc密码：123456界面只是为了参考功能,底层的数据采集服务 需要自己下载zdh_server 部署,服务器资源有限,请手下留情如果觉得项目不错记得分享给同伴和点star！！！...
2021-02-21 09:32:46
1808143
原创 hbase查找数据流程理解
整体hbase 查找数据流程以hbase1.2.6 为例子1 跟进zookeeper 获取对应的meta 表位置，meta 表位置只有1个在zookeeper 的目录是 /hbase/meta-region-server 问题：为什么meta 表 只有一个位置？ 解答：和之前的hbase 寻址流程比 少了一次查询，并且一个meta 表中存储的regin信息足够用了,比如默认...
2019-07-24 19:41:58
2039
原创 docker centos yum install
1 安装docker centos 需要满足的条件如下： 要安装Docker CE，您需要CentOS 7的维护版本。不支持或测试存档版本。 该centos-extras库必须启用。默认情况下，此存储库已启用，但如果已将其禁用，则需要重新启用它。 centos-extras: 在CentOS 5和6中，为CentOS提供附加功能而不破坏上游兼容性或更新基本组件，但...
2019-06-06 12:50:55
6115
1
原创 kafka的isr理解
问题如下：kafka 为了保证数据的一致性使用了isr 机制1 首先我们知道kafka 的数据是多副本的，每个topic 下的每个分区下都有一个leader 和多个follower，2 每个follower 的数据都是同步leader的 这里需要注意 是follower 主动拉取leader 的数据注意问题：follewer 只是数据的副本提供数据的可恢复性，本身和kafka 的读...
2019-04-25 22:50:27
11706
5
原创 kafka segment file 解析
kafka 有几个重要的概念需要先了解一下broker:可以理解为kafka 所在的服务器zookeeper:分布式服务框架在kafka 中的作用主要负责保存topic ，partition 元数据，和对broker 的监控及治理，以及partition 的leader 选举（partition 可以有多个副本，但是只有一个处于工作状态，副本只是负责同步数据，当leader partiti...
2018-11-01 19:43:42
8998
1
原创 spring boot kafka集成
spring boot集成kafka，注意要先安装kafka和zookeeper先导入spring-kafka的jar maven配置如下：<!--kafka客户端需要和kafka的jar版本对应 这里使用的是0.9版本的客户端--> <dependency> <groupId>org.springframework.ka...
2018-03-30 17:47:35
617
原创 spring boot web项目打jar 支持运行jsp
spring boot 打jar pom配置如下：注意spring-boot-maven-plugin 版本问题<build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> ...
2018-03-28 09:27:10
5239
1
原创 spring boot 使用spring cache 整合多级缓存(EhCache,Redis)
spring boot spring cache实现多级缓存，只是按照自己的思想实现，若有读者有更好的解决思路，欢迎指点spring cache实现多级缓存的思路如下：添加自定义的CacheManager,自定义的Cache,在Cache里实现多级缓存的操作(增删查)配置类如下注意红色标记的部分：package com.zyc.zspringboot.config;import com.zyc...
2018-03-22 18:19:05
12613
5
原创 idea scala插件下载，安装
idea scala插件安装，本文采用离线安装1先查看自己需要的scala 插件版本，查看方法如下：打开idea 找到右下角Configure->Plugins 点进去搜索scala 点击Search in repositories，最后找到updated 那个时间2:到http://plugins.jetbrains.com/plugin/1347-scala 下载对应版本的scala插件...
2018-03-16 16:16:20
9359
3
原创 windows安装scala 配置环境变量
下载scala 安装包地址http://www.scala-lang.org/download/all.html以2.11.0版本为例,选择如下安装包下载完成后运行安装包，一直使用默认即可（当然安装的路径你可以随意，默认的是c盘，我们自定义D:/scala）安装完成之后，需要配置环境变量：新建系统环境变量SCALA_HOME 配置PATH环境变量新增：%SCALA_HOME%\bin;配置CLAS...
2018-03-13 17:12:28
2398
原创 spring boot 项目在idea控制台中文乱码解决
spring boot项目在idea中出现中文乱码解决方法：首先先查看是否是项目编码问题，统一设置成utf-8,结合网上各种更改都不生效，最后发现是由于我使用了spring-boot-maven-plugin插件的原因解决如下：修改插件配置如下<plugin> <groupId>org.springframework.boot</gro...
2018-03-09 19:44:10
12739
5
原创 spring boot 整合quartz,并实现quartz的job实现自动注入功能
本篇废话不多，直接上代码，quartz和spring整合的其他相关知识可以看spring4和quartz2.x整合,对任务做动态操作(增删改查) spring4整合quartz2.x集群配置，并实现任务计数功能quartz当机器挂掉重启后定时任务后执行的策略使用的jar pom配置添加如下：quartz版本是2.x<!-- quartz --> <dependency>...
2018-03-08 09:04:25
6912
原创 spring boot 动态切换application-xx.properties配置文件
在spring boot 中如果想使用application-xx.properties配置文件有3中办法1：在application.properties配置文件中配置spring.profiles.active=xx，xx和application-xx.properties中对应2：在spring boot启动类中 使用SpringApplication实例的setAdditionalProf...
2018-03-07 08:57:26
5856
原创 spring boot shiro redis续
本篇文章是基于前几篇spring boot shiro redis的基础上，如果未看前几篇建议先看前几篇1：springboot redis整合2：springboot shiro整合3：springboot shiro redis整合4：spring boot shiro redis整合遇到的问题spring boot shiro 使用redis对session进行管理请看 ...
2018-03-02 17:15:07
3611
4
原创 spring boot shiro redis整合principals.getPrimaryPrincipal()强制转换类型错误
spring boot项目使用ShiroUser shiroUser=(ShiroUser)principals.getPrimaryPrincipal() 报错错误：java.lang.ClassCastException:com.zyc.springboot.shiro.ShiroUser cannot be cast to com.zyc.springboot.shiro.ShiroU...
2018-03-01 16:21:46
7943
11
原创 oracle连接遇到的问题
oracle 启动监听服务lsnrctl start停止监听服务lsnrctl stopORA-12514: TNS: 监听程序当前无法识别连接描述符中请求的服务需要配置oracle服务器(你安装oracle服务的机器)中listener.ora文件SID_LIST_LISTENER = (SID_LIST = (SID_DESC = (SID_NAME = CLRExtProc...
2018-02-26 10:26:15
233
原创 springmvc框架，使用ajax 请求数据返回数据中文乱码处理
问题：ajax 发送请求得到的数据中包含中文显示????乱码原因：SpringMVC框架的 @RequestBody 和 @ResponseBody两个注解，分别完成请求对象到对象响应的过程，一步到位，但是因为Spring3.x以后有了HttpMessageConverter消息转换器，把返回String类型的数据编码全部默认转换成iso-8859-1的编码格式，所以就出现了我们遇到的乱码的情况，...
2018-02-12 23:24:22
3297
2
原创 spring 相关知识点说明
1 @Autowired 作用在属性方法上，是根据参数的类型来进行查找javabean的2 spring aop可能会导致@Autowired注解不成功 如下：接口 UserService,实现类 UserServiceImpl ,如果使用@Autowired private UserService userService;是没问题的，@Autowired private UserServic
2018-01-25 10:53:21
229
转载 mybatis generator配置详解及遇到生成代码重复问题
mybatis generator 生成代码重复问题在文章末尾有解决方法 PUBLIC "-//mybatis.org//DTD MyBatis Generator Configuration 1.0//EN""http://mybatis.org/dtd/mybatis-generator-config_1_0.dtd"> resource：配置资源加
2018-01-03 15:39:37
13320
原创 spring中读取property的几种方式及解析
在spring中经常使用占位符读取properties文件中的属性值常见写法有以下几种1： //我们下文以a 表示2：<bean class="org.springframework.beans.factory.config.PropertyPlaceholderConfigurer"> classpath:com/zyc/jdbc.properties
2017-12-14 18:58:31
4132
原创 spring boot shiro redis整合
spring boot redis整合spring boot redis整合spring boot shiro整合 spring boot shiro整合在上篇整合shiro 的基础上 shiroConfig配置修改如下 红色部分为新增，整合中从redis中获取session时出现类型转换错误在本文结尾有说明及解决方法需要注意的是我这里的实现 是session实现了redis缓存管理，但是其他的...
2017-12-09 16:44:06
5126
4
原创 spring boot shiro整合
spring boot 整合shiro需要的jar 1.4.0 org.apache.shiro shiro-core ${shiro.version} org.apache.shiro shiro-web ${shiro.version} org.apache.shiro shiro-spring ${
2017-12-09 16:29:45
2762
原创 spring boot redis整合
spring boot整合redis 添加jar maven org.springframework.boot spring-boot-starter-data-redis 配置类如下：package com.zyc.springboot.config;import org.springframework.beans.factory.annotation.Value;
2017-12-09 15:26:32
1314
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人