- 博客(38)
- 收藏
- 关注
RSS订阅原创 七.SpringBoot整合MyBatis代码自动生成插件
一、简介1.1 MyBatis Generator介绍MyBatis Generator 是MyBatis 官方出品的一款，用来自动生成MyBatis的 mapper、dao、entity 的框架，让我们省去规律性最强的一部分最基础的代码编写。1.2 MyBatis Generator使用MyBatis Generator的使用方式有4种：命令行生成 Maven方式生成 使...
2019-03-29 13:31:24
1122
原创 六.SpringBoot之集成Logback日志
一、简介Java知名的日志有很多，比如：JUL、Log4j、JCL、SLF4J、Logback、Log4j2，那么这些日志框架之间有着怎样的关系？诞生的原因又是解决什么问题？下面一起来看。1.1 JULJava有自己的日志框架JUL（Java Util Logging）在java.util.logging下，因为对开发者不友好，使用成本太高和日志级别分类不清晰的问题，所有很少有开发者用...
2019-03-29 13:30:17
193
原创 五.SpringBoot静态资源和拦截器处理
默认资源映射Spring Boot 默认为我们提供了静态资源处理，使用 WebMvcAutoConfiguration 中的配置各种属性。建议大家使用Spring Boot的默认配置方式，提供的静态资源映射如下:classpath:/META-INF/resources classpath:/resources classpath:/static classpath:/public...
2019-03-29 13:29:29
336
原创 四.SpringBoot之整合mybatis
添加依赖这里需要添加mybatis-spring-boot-starter依赖跟mysql依赖<!--最新版本，匹配spring Boot1.5 or higher--><dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>myb...
2019-03-29 13:28:32
224
原创 三.SpringBoot之集成jsp
一、简介提起Java不得不说的一个开发场景就是Web开发，也是Java最热门的开发场景之一，说到Web开发绕不开的一个技术就是JSP，因为目前市面上仍有很多的公司在使用JSP，所以本文就来介绍一下Spring Boot 怎么集成JSP开发，以及生产环境的详细部署方法。二、集成JSP开发环境Spring Boot 2.0.4 RELEASE Tomcat 9.0.10 IDEA（...
2019-03-29 13:27:31
120
原创 二.SpringBoot之Thymeleaf模板引擎
前言Web开发是我们平时开发中至关重要的，这里就来介绍一下Spring Boot对Web开发的支持。正文Spring Boot提供了spring-boot-starter-web为Web开发予以支持，spring-boot-starter-web为我们提供了嵌入的Tomcat以及Spring MVC的依赖。项目结构推荐一个好的项目结构会让你开发少一些问题，特别是Spring B...
2019-03-29 13:22:40
244
原创 一 初识SpringBoot
一、关于Spring Boot在开始了解Spring Boot之前，我们需要先了解一下Spring，因为Spring Boot的诞生和Spring是息息相关的，Spring Boot是Spring发展到一定程度的一个产物，但并不是Spring的替代品，Spring Boot是为了让程序员更好的使用Spring。说到这里可能有些人会迷糊，那到底Spring和Spring Boot有着什么样的联系...
2019-03-29 13:21:50
226
原创 Redis入门及在项目中的使用
redis属于NoSql分类，它把数据都是缓存在内存中的，我们都知道内存的读写效率跟硬盘不是一个级别的，最后redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件。既然用redis读取效率那么高，最后内容也会添加到磁盘那么我们就当然要使用它了。一、redis的基本操作redis是一个key-value存储系统。它支持存储的value类型相对更多，包括string(字符串)...
2019-03-29 13:17:57
223
原创 redis桌面管理工具 redis-desktop-manager使用指南
概要：一款好用的redis桌面管理工具，支持命令控制台操作，以及常用，查询key，rename，delete等操作。下载软件，请点击下面链接，进入下载页，选择对应版本：https://redisdesktop.com/downloadredisdesktop桌面管理工具百度网盘：http://pan.baidu.com/s/1kU8sY3P文件名称：redis-desktop-m...
2019-03-29 13:14:13
478
原创 linux下安装redis（单机）
1、下载redis，http://download.redis.io/releases/redis-3.2.7.tar.gz2、linux用的是centos6.53、把redis上传到centos6.5中，我放在/usr/software中4、解压tar -zxvf /usr/software/redis-3.2.7.tar.gz -C /usr/local/5、进入redis...
2019-03-29 13:12:10
124
原创 Samba安装
Samba 介绍Samba 安装 查看是否已安装： CentOS：rpm -qa | grep samba Ubuntu：dpkg -l | grep samba 安装： CentOS 6：yum install samba samba-client samba-common Ubuntu：sudo apt-get install -y ...
2019-03-28 11:02:15
117
原创 mybatis自动生成脚本
利用MyBatis生成器自动生成实体类、DAO接口和Mapping映射文件。这样可以大大节约开发时间，将生成的代码copy到项目工程中即可。要想实现代码的自动生成，首先要下载一个工具：http://download.csdn.net/detail/u010608551/9434523，下载后解压zip文件，解压后的目录应该是如下的效果：如果是创建的maven项目，需要添加一下依赖...
2019-03-28 10:57:56
423
原创 Hive在spark2.0.0启动时无法访问spark-assembly-*.jar的解决办法
1、问题描述 自从spark2.0.0发布之后，每次启动hive的时候，总会发现一个小问题，启动hive --service metastore的时候，会报一个小BUG: 无法访问<PathToSpark>/lib/spark-assembly-*.jar分析其源码架构，发现主要原因是：在/<PathToHive>/bin/hive文件中，有这样的...
2019-03-25 09:01:58
584
原创 docker实践之docker-compose部署mysql
docker实践之docker-compose部署mysql前面用golang写了一个api server，但是要用到一些测试数据，又要方便给别人，想来用docker部署环境最简单了。只需要简单执行两个命令就可以搞定了。博主的环境是windows然后在windows里面部署一个centos7的虚拟机。在虚拟机里面安装部署了docker。1、安装部署docker在linux下面只需简单的一个...
2019-03-20 19:38:07
986
原创 使用Docker部署JavaWeb项目
一、环境准备 首先准备一台Centos 7的虚拟机并安装Docker。 image 准备好Tomct、JDK的安装包以及该java项目的War包。 image 二、编写DockerfileDockerfile是一个由一条条指令组成的文本文件，通过它能快速地构建docker镜像。本文的Dockerfile内容如下：FROM centosADD jd...
2019-03-20 19:37:26
3809
原创 Docker 定制容器镜像的2种方法
二、镜像定制第一种方式（手动修改容器镜像）1.先下载centos镜像[root@docker ~]# docker pull centos2.启动容器并进行配置启动容器，[root@docker ~]# docker run -it -d --name test-centos1 centosd72250ecaa5e3e36226a1edd749f494d9f00ed...
2019-03-20 19:36:53
409
原创 Docker 安装 Mysql 详解
环境说明系统为 CentOS 7.5 发行版，内核为 3.10 版本，Docker 为 1.13 版本[root@localhost ~]# lsb_release -aLSB Version: :core-4.1-amd64:core-4.1-noarchDistributor ID: CentOSDescription: CentOS Linux release 7....
2019-03-20 19:35:08
293
原创 Docker 容器管理
环境准备 启动 Docker，然后下载 Tomcat 镜像，本文以操作 Tomcat 镜像进行说明[root@localhost ~]# docker search tomcatINDEX NAME DESCRIPTION ...
2019-03-20 19:31:06
202
原创 Docker环境搭建
1、关于Docker1.1、什么是DockerDocker概念就是大概了解一下就可以，还是引用一下百度百科吧：Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。一个完整的Docker有以下几个部分组成：dockerClient客...
2019-03-18 18:45:15
293
原创 Docker镜像操作
本文讲解 Docker 镜像操作的常用指令 docker Hub 官网：https://hub.docker.com/镜像操作检索云端镜像-使用 指令 docker search 关键字 可以检索 (搜索) Docker Hub 官网上提供的所有镜像，之后我们就可以下载需要的镜像-检索 " mysql "：[root@localhost ~]# docker search mys...
2019-03-18 18:43:53
391
原创 Docker环境搭建
1、关于Docker1.1、什么是DockerDocker概念就是大概了解一下就可以，还是引用一下百度百科吧：Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。一个完整的Docker有以下几个部分组成：dockerClient客...
2019-03-18 18:37:30
12975
原创 linux系统的安装
用到的软件：VMware-12.5.7vmware12的密钥： 5A02H-AU243-TZJ49-GTC7K-3C61N用到的镜像：CenterOS-6.9-86_64-bin-DVD.iso1、打开VMware进行安装，点击下一步。如图：2、勾选“我接受许可协议中的条款”，然后点击下一步3、由于C盘储存过多，我在这儿选择D盘，点击下一步。4、然后...
2019-03-13 19:19:18
285
1
原创 java--jsoup教程
jsoup是一款Java的HTML解析器，主要用来对HTML解析。官网中文文档在爬虫的时候，当我们用HttpClient之类的框架，获取到网页源码之后，需要从网页源码中取出我们想要的内容，就可以使用jsoup这类HTML解析器了。可以非常轻松的实现。虽然jsoup也支持从某个地址直接去爬取网页源码，但是只支持HTTP，HTTPS协议，支持不够丰富。所以，主要还是用来对HTML进行...
2019-03-13 18:32:34
800
原创 flume+kafka+sparkstreaming+mysql+ssm+高德地图热力图项目
一、概述本篇文章主要介绍如何使用Sparkingtreaming+ flume + Kafka 实现实时数据的计算，并且使用高德地图API实现热力图的展示。背景知识：在有些场合，我们需要了解当前人口的流动情况，比如，需要实时监控一些旅游景点旅客的密集程度，这时可以使用GPS定位系统将该区域内旅客的IP数据进行计算，但是GPS定位系统也有一定的缺点，不是每个旅客都会GPS功能，这时可以使...
2019-03-12 13:18:40
533
原创 hadoop部分：hadoop生态圈的理解（HDFS，MapReduce，HBASE，zookeeper，hive，sqoop，flume，kafka，yarn，spark）
一、简介Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。二、核心 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，...
2019-03-09 16:19:42
2515
原创 SparkStreaming 窗口操作
热点搜索词滑动统计，每隔10秒钟，统计最近60秒钟的搜索词的搜索频次，并打印出排名最靠前的3个搜索词以及出现次数普通SparkStreaming处理方式，如果将时间间隔设置成60s，无法每隔10s输出一次结果；如果将时间间隔设置成60s，同时使用updatebyKeyState，那么统计的是持续的累加结果，无法做到统计60s之内的结果，此时就需要使用滑动窗口来实现。Streaming提...
2019-03-09 14:02:21
549
1
原创 Spark SQL 教程
一、什么是Spark SQLSpark SQL是Spark用来处理结构化数据的一个模块，它提供了两个编程抽象分别叫做DataFrame和DataSet，它们用于作为分布式SQL查询引擎。从下图可以查看RDD、DataFrames与DataSet的关系。image.png二、为什么要学习Spark SQL？我们已经学习了Hive，它是将Hive SQL转换成MapReduc...
2019-03-09 14:01:51
198
原创 spark sql 综合实例
该文主要展示的是spark sql 例子（内容是找了份oracle的例子，翻译成spark sql的）1、需要准备好四张表，既四个文本文件逗号分隔2、为这四张表创建好schema，并注册成表3、时间处理有小部分改动准备的四张表image.pngimage.pngimage.pngimage.png四张表中的数据...
2019-03-09 14:00:19
485
1
原创 SparkStreaming-----SparkStreaming教程
概要Spark流是对于Spark核心API的拓展，从而支持对于实时数据流的可拓展，高吞吐量和容错性流处理。数据可以由多个源取得，例如：Kafka，Flume，Twitter，ZeroMQ，Kinesis或者TCP接口，同时可以使用由如map，reduce，join和window这样的高层接口描述的复杂算法进行处理。最终，处理过的数据可以被推送到文件系统，数据库和HDFS。imag...
2019-03-08 17:37:25
308
原创 Spark中广播变量和累加器
一、前述Spark中因为算子中的真正逻辑是发送到Executor中去运行的，所以当Executor中需要引用外部变量时，需要使用广播变量。累机器相当于统筹大变量，常用于计数，统计。二、具体原理1、广播变量广播变量理解图image注意事项1、能不能将一个RDD使用广播变量广播出去？不能，因为RDD是不存储数据的。可以将RDD的结果广播出去。2、 广播变量只能在...
2019-03-08 17:36:11
122
原创 Spark-RDD持久化
(1) persist算子使用方法：var rdd = sc.textFile("test")rdd = rdd.persist(StorageLevel.MEMORY_ONLY)val count = rdd.count() //或者其他操作StorageLevel说明：StorageLevel的构造函数：class StorageLevel private( ...
2019-03-08 17:32:59
255
原创 Spark运行原理
本文主要分以下章节：一、Spark专业术语定义二、 Spark的任务提交机制一、Spark专业术语定义1、Application：Spark应用程序指的是用户编写的Spark应用程序，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。Spark应用程序，由一个或多个作业JOB组成，如下图所示:image2、Driver：驱动程序S...
2019-03-08 17:31:45
262
原创 Spark经典案例之求平均值,最大最小值,求top值,非结构数据处理,统计每天新增用户数
1、需求分析对输入文件中数据进行就算学生平均成绩。输入文件中的每行内容均为一个学生的姓名和他相应的成绩，如果有多门学科，则每门学科为一个文件。要求在输出中每行有两个间隔的数据，其中，第一个代表学生的姓名，第二个代表其平均成绩。2、原始数据1）math：张三,88李四,99王五,66赵六,772）china：张三,78李四,89王五,96赵六,673）english...
2019-03-08 17:29:55
3778
原创 Spark经典案例之数据排序
业务场景：数据排序1、”数据排序”是许多实际任务执行时要完成的第一项工作，比如学生成绩评比、数据建立索引等。这个实例和数据去重类似，都是先对原始数据进行初步处理，为进一步的数据操作打好基础。1）、需求描述对输入文件中数据进行排序。输入文件中的每行内容均为一个数字，即一个数据。要求在输出中每行有两个间隔的数字，其中，第一个代表原始数据在原始数据集中的位次，第二个代表原始数据。2）输入...
2019-03-08 17:24:55
1418
原创 Spark经典案例之数据去重
/**业务场景：数据去重问题 Created by YJ on 2017/2/7. 统计数据,尽量用reduceByKey,不要用groupByKey,优化点 reduceByKey,在本机suffle后,再发送一个总map，发送到一个总机器上汇总，（汇总要压力小） groupByKey,发送本机所有的map,在一个机器上汇总（汇总压力大）/ /数据格式flie1:2012-3...
2019-03-08 17:23:51
2367
原创 Spark常用Actions算子
介绍以下Actions算子：foreachforeachPatitionreducecollectcountfirsttaketakeSampletoptakeOrderedsaveAsTextFilesaveAsSequenceFilesaveAsObjectFilecountByKeycountByValueaggregate(1) foreach、fore...
2019-03-08 17:22:28
382
原创 Spark常用Transformations算子(二)
介绍以下Transformations算子：joincogroupcartesianpiperepartitionAndSortWithinPartitionsglomrandomSplitzipzipWithIndexzipWithUniqueId(2) joinobject JoinTest { def main(args: Array[String]): ...
2019-03-08 17:21:20
118
原创 Spark常用Transformations算子(一)
介绍以下Transformations算子：mapflatMapmapPartitionsmapPartitionsWithIndexfiltersampleunionintersectionsortBysortByKeygroupByKeyreduceByKeydistinctcoalescerepartition(1) map、mapPartitions、ma...
2019-03-08 17:19:30
206
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人