zjh_746140129的博客

在实际工作中 Redis 最常用的两个使用场景是什么？一个是数据缓存，另一个就是 Session 共享。Spring Boot 针对这两个场景都做了一些优化，让我们在实际项目中使用非常的方便。数据缓存使用 Redis 做为数据缓存是最常用的场景了。我们知道绝大多数的网站/系统，最先遇到的一个性能瓶颈就是数据库，使用 Redis 做数据库的前置缓存，可以非常有效的降低数据库的压力，从而提升整...

问题：CentOS7安装完成后默认使用的是动态IP，当你每次重新启动CentOS7后，它的IP地址都不一样。一般我们都是使用远程连接工具连接CentOS7进行操作，如果每次IP都不一样，系统启动后，每次连接时都需要修改。针对这种情况我们一般都设置一个静态的IP。具体操作如下1.查看网卡文件如果你不知道网卡文件名，可以输入如下命令查看ll /etc/sysconfig/netwo...

前言：在使用Spring Boot2.0+版本时，配置了文件上传的yml，启动时报错如图一所示完成目标：1、无法启动项目报错2、maven配置截图3、解决方案一、错误信息：Description:Failed to bind properties under ‘spring.servlet.multipart.max-file-size’ to org.springframework.util.unit.DataSize:Property: spring.servlet.multipart.

错误如下：微服务之间相互调用传参问题 a服务调用B服务，b 服务接收不到参数错误截图：错误信息：java.lang.IllegalArgumentException: Body parameter 0 was null at feign.Util.checkArgument(Util.java:102) ~[feign-core-9.4.0.jar:na]...

在使用微服务架构中，可能遇到一些业务情况会涉及服务之间相互调用，下面通过一个简单的demo给大家演示下，演示的是oms服务需要调用ump服务。代码如下：1、oms服务提供者主要是这个注解：@EnableFeignClients("com.omsserver.*")完整代码：package com.omsserver.service;//import org.s...

本篇文章主要介绍在Linux（Centons7）下安装docker的中安装nginx容器，以下分为大概步骤和详细步骤，也会把一些遇到的坑和解决方案经验分享给大家，nginx容器安装其实就是下载启动即可，配置多个nginx需要额外修改即可。Docker的三大核心概念：镜像、容器、仓库镜像：类似虚拟机的镜像、用俗话说就是安装文件。容器：类似一个轻量级的沙箱，容器是从镜像创建应用运行实例，...

本篇文章主要介绍在Linux（Centons7）下安装docker，根据官网的文档操作的安装步骤，以下分为大概步骤和详细步骤，也会把一些遇到的坑和解决方案经验分享给大家。Docker的三大核心概念：镜像、容器、仓库镜像：类似虚拟机的镜像、用俗话说就是安装文件。容器：类似一个轻量级的沙箱，容器是从镜像创建应用运行实例，可以将其启动、开始、停止、删除、而这些容器都是相互隔离、互不可见的...

一、Kafka优化总结翻译原文如下：https://www.infoq.com/articles/apache-kafka-best-practices-to-optimize-your-deployment1. 设置日志配置参数以使日志易于管理kafka 日志文档https://kafka.apache.org/documentation/#logkafka 压缩基础知识...

本篇文章主要介绍使用Spring Boot整合log4j，配合ELK（Elasticsearch , Logstash, Kibana）整合Kafka完成日志收集，应用场景比较多的是分布式项目，这样可以直接收集各个节点的日志到一起，便于错误日志查看和分析业务。整个流程如下：使用log4j的appender发送数据到kafka到topic，topic再发送到logstash，然后经过elas...

本篇文章主要介绍使用ELK（Elasticsearch , Logstash, Kibana）整合Kafka完成日志收集，应用场景比较多的是分布式项目，这样可以直接收集各个节点的日志到一起，便于查看和做其他业务，下一篇文章介绍整合Spring Boot项目完成日志收集查看。环境准备：安装好ELK和Kafka简要步骤：①、修改配置文件②、启动Kafka、创建topic③、重启...

笔者安装完elk后启动，访问kibana，结果页面如下，查看日志报错，但是可以单独访问Elasticsearch。去网上查阅有说端口占用、配置文件修改不对、防火墙打开导致，搞了一天还是没解决，后来重新在一台机器重新安装又可以了，很是疑惑，于是重新按照之前的方式来一次，才发现问题出现在安装Elasticsearch时，由于我是把Elasticsearch、Logstash、Kibana分别安装的三台...

笔者在学习使用ELK中遇到一些坑和未解决的问题，在这里分享给大家，希望大家遇到类似问题的评论回复下解决方案。安装过程的坑：1、虚拟机安装时注意把处理器的核数调节到2以上，生产环境不用。2、安装Jdk。3、在安装elasticsearch、logstash、kibana过程中对日志文件、数据存放文件授权。4、如果分开安装elasticsearch、logstash、kibana，...

笔者在学习安装ELK时，由于是本地电脑装的虚拟机环境，可能配置不够，在启动logstash后遇到一个错误。错误信息：OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configurethe number of ...

本篇文章主要介绍在Linux（Centons7）下安装ELK的elasticsearch部署安装，笔者选择了6.1版本，现在已经有6.5的新增了一些功能，推荐安装6.5，使用yum方式安装。注意，logstash至少要有1G内存才能执行在安装Logstash之前，确保已经安装了Java的运行环境简要步骤：①、wget下载kibana包②、rpm安装kibana③、修改配置文...

本篇文章主要介绍在Linux（Centons7）下安装ELK的logstash部署安装，笔者选择了6.1版本，现在已经有6.5的新增了一些功能，推荐安装6.5，使用yum方式安装。注意，logstash至少要有1G内存才能执行在安装Logstash之前，确保已经安装了Java的运行环境简要步骤：①、wget下载logstash包②、rpm安装logstash③、设置data...

本篇文章主要介绍在Linux（Centons7）下安装ELK的elasticsearch部署安装，笔者选择了6.1版本，现在已经有6.5的新增了一些功能，推荐安装6.5，使用yum方式安装。注意，logstash至少要有1G内存才能执行在安装Logstash之前，确保已经安装了Java的运行环境简要步骤：①、wget下载elasticsearch包②、rpm安装elastics...

笔者接触到ELK是由于公司项目采用微服务架构，这样在部署时各个服务需要在不同机器上，而且每个服务部署好几份，这个时候日志到收集就是问题了，不能像之前那样单体应用都在一个机器，可以直接登录查看，所以就开始去了解ELK，最后用ELK+Kafka来完成日志收集处理并展现，而且ELK在大数据行业应用也很广泛。一、ELK介绍ELK Stack是软件集合Elasticsearch、Logstash、K...

笔者在工作中遇到如下问题，随着程序功能越多，配置文件不断增加，一些功能的开关、服务器地址、接口地址、不同环境的一些配置文件不同，这些在每次发布不同环境、更新项目时都比较繁琐，后来学习微服务时接触到了Spring Cloud Config配置中心，用了一段时间发现比之前方便不少，但是还是比较繁琐和麻烦，而且功能还达不到生产级，只能小规模场景下使用，在中大规模企业场景下不建议采用。后来了解到携程Apo...

笔者在工作中遇到如下问题，随着程序功能越多，配置文件不断增加，一些功能的开关、服务器地址、接口地址、不同环境的一些配置文件不同，这些在每次发布不同环境、更新项目时都比较繁琐，后来学习微服务时接触到了Spring Cloud Config配置中心，用了一段时间发现比之前方便不少，但是还是比较繁琐和麻烦，而且功能还达不到生产级，只能小规模场景下使用，在中大规模企业场景下不建议采用。后来了解到携程Apo...

笔者在工作中遇到如下问题，随着程序功能越多，配置文件不断增加，一些功能的开关、服务器地址、接口地址、不同环境的一些配置文件不同，这些在每次发布不同环境、更新项目时都比较繁琐，后来学习微服务时接触到了Spring Cloud Config配置中心，用了一段时间发现比之前方便不少，但是还是比较繁琐和麻烦，而且功能还达不到生产级，只能小规模场景下使用，在中大规模企业场景下不建议采用。后来了解到携程Apo...

笔者在工作中遇到如下问题，随着程序功能越多，配置文件不断增加，一些功能的开关、服务器地址、接口地址、不同环境的一些配置文件不同，这些在每次发布不同环境、更新项目时都比较繁琐，后来学习微服务时接触到了Spring Cloud Config配置中心，用了一段时间发现比之前方便不少，但是还是比较繁琐和麻烦，而且功能还达不到生产级，只能小规模场景下使用，在中大规模企业场景下不建议采用。后来了解到携程Apo...

笔者在之前的linux环境配置中，安装jdk使用都都是rpm和压缩包都方式安装，这次使用yum安装了一个openjdk后，再配置完maven后发现，不能使用mvn -v命令，提示JAVA_HOME should point to a JDK not a JRE错误信息。以下是错误截图和解决方案。在网上看了很多解决方案都是说配置一个jre都环境变量，后来发现其实我都是安装问题，只安装了jre没有安装...

一、安装vim编辑器1、查看原安装包 rpm -qa | grep vim2、删除已安装的vim以及其相关组件 yum remove vim vim-enhanced vim-common vim-minimal3、yum安装 yum -y install vim*安装完成 二、安装wget1、安装wgetyum -y...

以下问题是笔者在实际开发中遇到的问题，这些问题也都是单体应用时不会考虑到，但是分布式应用的时候就必须要考虑这些问题，解决方案和原理后续会整理更新，也希望大家积极回复讨论问题，一起学习。1、多节点部署问题、服务器监控、容灾处理2、为什么不能用synchronized？举例说明？3、举例说明分布式锁的应用场景？为什么用到？4、举例说明分布式事务应用场景？为什么用到5、服务怎么拆分？举例说明...

本篇文章主要介绍使用Sqoop1将MySQL 导入数据到 HDFS。说明：1、Sqoop 与数据库进行通信，获取数据库表的元数据信息 2、Sqoop启动一个Map-Only的MapReduce作业，利用元数据信息并行将数据写入Hadoop简要步骤：①、mysql中创建数据库sqoop②、创建表dept和emp表③、插入数据④、从mysql导出数据到HDFS⑤...

使用Sqoop 导入数据报错信息如下：java.sql.SQLException: Streaming result set com.mysql.jdbc18/09/07 10:09:20 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.18/09/07 10:09:20 INFO tool....

错误一、Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver 解决方法： 1、将mysql的驱动包拷贝到$SQOOP_HOME/lib下 2、检查sqoop的环境变量是否配置成功错误二、SQLExce...

本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Sqoop。简要步骤：①、下载Sqoop解压包②、解压Sqoop③、配置Sqoop④、配置环境变量⑤、查看是否安装成功⑥、查看数据库及数据库表 详细步骤：一、Sqoop下载Sqoop官网：http://sqoop.apache.org/ ...

什么是Sqoop？Sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。核心的功能有两个：1、导入、迁入2、导出、迁出导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命...

本篇文章主要整理了笔者学习大数据时整理的一些文章，文章是从环境搭建到整个大数据生态圈的常用技术整理，环境希望可以帮助到刚学习大数据到童鞋，大家在学习过程中有问题可以随时评论回复！大数据生态圈涉及技术：Hadoop、MapReduce、HDFS、Hive、Hbase、Spark、Scala、Python、Kafka、Flume、Sqoop、Zookeeper大数据生态圈技术图： ...

以下内容结合实际项目和工作经验整理的Spring Boot和Spring Cloud学习教程和一些常见错误，希望能帮助到刚学习到童鞋，学习过程遇到问题评论回复，第一时间会回复！ Spring Boot2.0系列教程合集1、Spring Boot2.0系列教程之idea下新建一个Spring Boot项目（一）2、Spring Boot2.0系列教程之 web初体验（二）3、Sp...

在平时面试过程中，大家被问到Spring框架时，都会被问到Spring IOC 和 AOP，让你说说他们的原理、流程、举例说明等，今天就用通俗易懂的方式给大家讲讲Spring IOC。 资料来源：作者：莫那·鲁道链接：http://thinkinjava.cn 一、广义的IOC1、IOC(Inversion of Control) 控制反转，即“不用打电话过来，我们会打给...

本篇文章主要介绍在windows下使用idea新建web项目将Log4j日志实时写入Kafka。简要步骤：①、新建web项目②、启动zookeeper③、启动Kafka④、创建topic⑤、启动 Kafka 消费者，运行项目，观察Kafka 消费者的控制台 详细步骤：一、新建web项目  代码如下：package com.demo;...

本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Kafka。简要步骤：①、下载Kafka解压包②、解压Kafka③、修改配置文件④、启动Kafka⑤、创建topic 详细步骤：一、Kafka下载http://archive.apache.org/dist/kafka/2.0.0/二、解压...

什么是消息系统？         消息系统负责将数据从一个应用程序传输到另一个应用程序，因此应用程序可以专注于数据，但不担心如何共享它。 分布式消息传递基于可靠消息队列的概念。 消息在客户端应用程序和消息传递系统之间异步排队。 有两种类型的消息模式可用 - 一种是点对点，另一种是发布 - 订阅(pub-sub)消息系统。 大多数消息模式遵循 pub-sub 。一、Kafka 简介(...

本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Flume。目前Flume 的最新版本为1.8，笔者安装的是1.6，是Flume的一个经典版本，通常在生产环境中使用的就是这个版本，在安装Flume前，看先它的前置条件 (1).JDK1.8 (2).足够的内存 (3).足够的磁盘空间 (4).目录及文件要有读写权限简要步骤：...

一、Flume概述Flume是由 Cloudera 提供的一个分布式、高可靠、高可用的服务，用于分布式的海量日志的高效收集、聚合、移动系统。简单来说，Flume 就是一个针对日志数据进行采集和汇总的一个工具（把日志从A地方移动到B地方）Flume 官网：http://flume.apache.org/ Flume 官方文档：http://flume.apache.org/FlumeUs...

Hbase优化1.预先分区默认情况下，在创建 HBase 表的时候会自动创建一个 Region 分区，当导入数据的时候，所有的 HBase 客户端都向这一个 Region 写数据，直到这个 Region 足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的 Regions，这样当数据写入 HBase 时，会按照 Region 分区情况，在集群内做数据的负载均衡。 ...

错误信息：Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting as clients (e.g. shell) will not be able to find this ZK quorum2018-10-24 17:41:57,609 INFO [Thread-2] s...

错误信息：org.apache.hadoop.hbase.NotServingRegionException: Region is not online2018-10-24 17:20:02,554 INFO [node1:16000.activeMasterManager] zookeeper.MetaTableLocator: Failed verification of hbas...

本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Hbase。简要步骤：①、下载Hbase解压包②、安装zookeeper③、解压Hbase，配置环境环境④、修改Hbase脚本文件hbase-env.sh⑤、修改配置文件hbase-site.xml⑥、启动hadoop、启动zookeeper、启动hbase⑦、访问H...

 一、HBase 简介1.HBase 概述HBase 是一个构建在HDFS之上的，分布式的、面向列的开源数据库HBase 是 Google BigTable的开源实现，它主要用于存储海量数据个人理解：     分布式：采用分而治之的思想，比如说我们要将10个G的数据全部写入到HBase，对于这样的一个任务我们可以通过10个节点来处理（并行处理），这样可以大大的提高执行效率。...

使用Spring Boot2.0整合mybatis多数据源遇到如下错误错误信息：org.apache.ibatis.binding.BindingException: Invalid bound statement (not found): com.boot.mapper.one.ScoreMapper.selectByPrimaryKey at org.apache.ibatis.b...

Session 共享什么是 Session由于 HTTP 协议是无状态的协议，所以服务端需要记录用户的状态时，就需要用某种机制来识具体的用户。Session 是另一种记录客户状态的机制，不同的是 Cookie 保存在客户端浏览器中，而 Session 保存在服务器上。客户端浏览器访问服务器的时候，服务器把客户端信息以某种形式记录在服务器上。这就是 Session。客户端浏览器再次访问时只需...

Spring Boot 推荐使用 Thymeleaf 来代替 JSP，Thymeleaf 模板到底是什么来头呢，下面我们来聊聊。Thymeleaf 介绍Thymeleaf 是一款用于渲染 XML/XHTML/HTML 5 内容的模板引擎。类似 JSP、Velocity、FreeMaker 等，它也可以轻易的与 Spring MVC 等 Web 框架进行集成作为 Web 应用的模板引擎。与其...

大数据入门教程系列之Hive篇汇总1、Hive概述、体系架构、分区、桶与倾斜2、大数据入门教程系列之Hive环境搭建--Linux(Centons7)下配置安装Hive3、Hive DDL DML及SQL操作4、Hadoop2.7.4 编译 支持5种压缩（Hive压缩）5、大数据入门教程系列之Hive的Java API 操作6、大数据入门教程系列之Hive内置函数及自定义函...

笔者在使用Java api操作hive时遇到如下错误：hadoop is not allowed to impersonate hadoop (state=08S01,code=0)原因：hiveserver2增加了权限控制，需要在hadoop的配置文件中配置解决方法：在hadoop的core-site.xml中添加如下内容，然后重启hadoop，再使用beeline连接即可参考官...

本篇文章主要介绍Hive内置函数以及自定义UDF函数和UDFT函数，自定义UDF函数通过一个国际转换中文的例子说明。操作步骤：①、准备数据和环境②、演示Hive内置函数③、自定义UDF函数编写、演示 详细步骤：一、准备数据和环境（需启动Hadoop）注：环境和程序基于上一篇java api操作hive：大数据入门教程系列之Hive的Java API ...

Java 想要访问Hive，需要通过beeline的方式连接Hive，hiveserver2提供了一个新的命令行工具beeline，hiveserver2 对 之前的hive做了升级，功能更加强大，它增加了权限控制，要使用beeline需要先启动hiverserver2，再使用beeline连接操作步骤：①、修改hadoop的core-site.xml配置文件②、启动hadoo...

错误信息： SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient创建表...

报错信息：Error: Could not open client transport with JDBC Uri: jdbc:hive2://node1:10000/hive_metadata;user=hadoop: java.net.ConnectException: 拒绝连接 (Connection refused) (state=08S01,code=0)Beeline vers...

本篇文章主要介绍在windows下使用vmware虚拟机中的Linux(Centons7)下配置安装Hive。简要步骤：①、下载hive解压包②、安装mysql服务器，教程可参照笔者博客 yum方式安装mysql数据库③、进入hive的conf目标新建一个hive-site.xml④、在hive-site.xml中写入mysql连接信息⑤、将mysql的驱动包复制到hive...

Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。部分资料来源：作者：刘允鹏链接：https://www.zhihu.com/question/28300645/answer/67707287来源：知乎著作权归作者所有。商业转载请...

笔者在使用mac终端连接阿里云服务器时提示如下错误，后面是解决方案：错误信息：zhoujunhongdeMacBook-Pro:~ zhoujunhong$ ssh root@39.108.68.29@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFI...

笔者在搭建好Hadoop HA 高可用集群启动时报错后采用格式化NameNode后，再次启动没有DataNode，后面是3种解决方案。报错信息：2018-08-24 11:29:43,322 INFO org.apache.hadoop.hdfs.server.common.Storage: Using 1 threads to upgrade data directories (dfs...

笔者在搭建好Hadoop HA 高可用集群启动时报如下错误，后面是解决方案。报错信息：2018-08-24 11:18:07,475 INFO org.apache.hadoop.hdfs.server.namenode.FSImage: Quota initialization completed in 31 millisecondsname space=1storage spac...

一般zookeeper的安装部署可以有三种模式，单机模式、伪分布式和分布式,本篇主要介绍单机和分布式的环境安装配置 一、单机模式1.下载zookeeper-3.4.10.tar.gz 下载地址：http://mirror.bit.edu.cn/apache/zookeeper/2.解压zookeepertar –zxvf zookeeper-3.4.10.tar.gz...

本文主要介绍在linux环境如何配置SSH信任,配置SSH信任的目地是,SSH到目标机器上时,不用再输入密码应用场景：服务器A想要 ssh 无密登录服务器B，则需要在服务器A上面生成密钥，然后远程拷贝到服务器B的.ssh目录下（该目录在用户目录下） 完成目标Master ssh 无密登录Slavel 、node3、node4、node5 Slavel ssh 无密登录Maste...

笔者在windows下运行一个mapreduce的wordcount案例时报错，遇到如下错误The auxService  mapreduce_shuffle do，以下是错误和解决方案 错误信息org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService: mapreduce_shuffle...

笔者在windows下运行mapreduce报错，遇到如下错误Could not locate executable null bin winutils.exe in the Hadoop binaries，以下是错误和解决方案 错误如下：D:\jdk1.8.0_144\bin\java -DHADOOP_USER_NAME=hadoop "-javaagent:D:\idea\In...

本篇文章主要介绍在idea下使用java API操作mapreduce完成wordcount案例，机器使用的是伪分布式，运行案例时需要启动hadoop mapreduce流程详细步骤一、准备数据horse mare pony mustangmare mare mustang buffalopony horse mustang buffalo二、代码...

本篇文章主要介绍在idea下使用java API操作HDFS分布式文件系统，分别用配置文件方式和直接使用URL的方式演示 一、通过URL的方式操作HDFS分布式文件系统①、代码package com.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import o...

本篇文章主要介绍使用shell命令在xhsell工具上操作HDFS分布式文件系统。 1、fs最常用命令hadoop fs -ls hdfs_path //查看HDFS目录下的文件和子目录hadoop fs -mkdir hdfs_path //在HDFS上创建文件夹hadoop fs -rm hdfs_path //删除HDFS上的文件hadoop fs -rmr hdfs...

本篇文章主要介绍在windows下使用vmware虚拟机Hadoop高可用集群搭建配置简要步骤：①、克隆3台机器(可以从之前分布式的2台机器找一台即可)②、设置静态IP③、配置主机名、IP映射④、新建hadoop用户⑤、配置ssh免密登陆⑥、配置zookeeper⑦、检查环境变量⑧、修改配置文件⑨、关闭防火墙、守护进程⑩、启动(启动、关闭脚本) ...

本篇文章主要介绍在windows下使用vmware虚拟机搭建配置Hadoop集群/分布式。简要步骤：①、克隆1台机器(可以直接克隆Master)②、设置静态IP、主机名、IP映射③、配置ssh免密④、修改配置文件⑤、启动集群分布式 详细步骤：一、克隆机器选择虚拟机-管理-克隆    二、设置静态IP、设置主机名...

本篇文章主要介绍在linux下新建Hadoop用户，为后面安装hadoop环境搭建配置做准备. 详细步骤：1.创建用户并设置密码，执行如下命令即可useradd -m hadoop -G root -s /bin/bashpasswd hadoop提示密码简单，我们依然输入2次hadoop即可 2.为hadoop授予管理员权限避免以后在操作时，遇到权限...

本篇文章主要介绍在windows下和mac系统下搭建hadoop单机/伪分布式搭建配置。推荐文章：mac下基于centons7安装配置apache hadoop大数据入门教程系列之Hadoop环境搭建--新建Hadoop用户(用于环境配置和hadoop安装)单机和伪分布式区别：单机模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。默认情况下，Hado...

本篇文章主要Winodws下使用VMware克隆、移出、快照Linux系统，方便我们在配置各种软件、以及环境变量时出错后直接回滚系统。详细步骤：1、快照虚拟机--快照--拍摄快照  这里可以选择恢复到我们之前到快照。  2、虚拟机 VMware CentOS 转移在一台电脑的虚拟机中成功安装CentOS系统后，如果想在别的电脑的虚拟机上运行，无需...

本篇文章主要介绍在Winodws下修改Host步骤(用于Hadoop配置主机名后可以在windows下访问) 详细步骤：1、打开文件（windows默认都是在此）C:\Windows\System32\drivers\etc# Copyright(c) 1993 - 2009 Microsoft Corp.## This is a sample HOSTS file...

在一个局域网中，每台机器都有一个主机名，便于主机与主机之间的区分，因此为每台机器设置主机名，以容易记忆的方法来相互访问。比如我们在局域网中可以为根据每台机器的功能来为其命名。本篇文章主要介绍在Linux(CentOS7)设置主机名及IP映射(用于hadoop单机/伪分布式/分布式/集群配置)。详细步骤： 1.设置主机名查看本机的主机名，使用如下三个命令中任意一个即可 host...

本篇文章主要介绍大数据入门教程环境搭建所需要的软件、环境配置等，为后面的学习做准备。完成目标：1、安装VMware及新建虚拟机安装VMware及新建虚拟机https://blog.csdn.net/hg_harvey/article/details/72675858 2、VMware中安装centons7虚拟机VMware中安装linux系统CentOShttps:...

详细步骤： 1、mysql -uroot -p 输完密码处回车即可mysql -uroot -p  2、查看当前安装的mysql版本rpm -qa | grep MySQLps -ef | grep mysql 3、停止mysql服务service mysql stop 4、进入到skip-grant-tables模式，注意执行完后需要打开另...

问题原因：在使用Spring Boot整合mybatis保存数据到Mysql数据库时出现中文乱码，查阅资料后发现是是因为character-set-server=latinl导致。 错误截图： 插入数据乱码  解决方案： cat /etc/my.cnf 修改配置文件修改vim /etc/my.cnf[client]default-...

本篇文章主要介绍在linux服务器下部署Spring Boot项目的两种方式。部署方式：1、使用jenkins自动部署构建Spring Boot项目推荐笔者博客：Jenkins入门教程之自动构建部署SpringBoot项目（七）使用Jenkins自动部署SpringBoot项目2、使用java -jar命令部署Spring Boot项目①当前ssh窗口被锁定，可按CTRL + ...

错误信息：xxx.jar中没有主清单属性 问题原因：缺少MANIFEST.MF文件。打包的jar包中包含了三个文件夹：BOOT-INF，META-INF，org，可以把jar包解压到文件夹下查看，其中META-INF文件夹下有一个MANIFEST.MF文件，该文件指明了程序的入口以及版本信息等内容。查看本地打包的jar文件和目录：解决方案：修改pom.x...

笔者在使用Spring Boot 的thymeleaf模版引擎做html页面时。遇到一个很头疼的问题，那就是thymeleaf模版引擎强制校验，由于是网上找的bootstrap模版，用的h5，页面很多标签都没有闭合标签/，就会报错跳转到错误页面。html页面如下：解决方案：1、在配置文件新添加如下配置spring.thymeleaf.content-type=text/htm...

笔者在整理Spring Boot2.0系列教程时候，整合spring data jpa时遇到一个注解错误。错误信息如下：Caused by: org.hibernate.AnnotationException: No identifier specified for entity: com.boot.model.Student  解决方案：import org.sp...

笔者在使用Spring Boot项目部署linux服务器时启动报错，但是本地访问没错。错误和解决方案如下：错误信息： 服务器访问报错本地访问没事 解决方案： 1、把controller返回时的“/”去掉即可（本次解决方案）2、在本地windows环境下运行，是不区分路径的大小写的。当打包成jar，在linux服务器运行时，是区分大小写的。所以导致找不到路...

Druid 介绍Druid 是阿里巴巴开源平台上的一个项目，整个项目由数据库连接池、插件框架和 SQL 解析器组成。该项目主要是为了扩展 JDBC 的一些限制，可以让程序员实现一些特殊的需求，比如向密钥服务请求凭证、统计 SQL 信息、SQL 性能收集、SQL 注入检查、SQL 翻译等，程序员可以通过定制来实现自己需要的功能。Druid 首先是一个数据库连接池，但它不仅仅是一个数据库连接池...

多数据源应用场景？ 本篇博客以订单和商品库为例演示多数据源读取的示例。错误1：遇到错误getHibernateProperties 注入不了dataosurce 查阅是boot2.0不支持这个 换成1.5版本即可错误2：自定义数据源名字启动报错 Unable to build Hibernate SessionFactory，查阅后发现是不能修改注：第一部分为代码，第二部分为增...

什么是swagger？Swagger 是最流行的 API 开发工具，它遵循 OpenAPI Specification（OpenAPI 规范，也简称 OAS）。Swagger 可以贯穿于整个 API 生态，如 API 的设计、编写 API 文档、测试和部署。Swagger 是一种通用的，和编程语言无关的 API 描述规范。应用场景如果你的 RESTful API 接口都开发完成...

什么是druid？Druid是阿里巴巴开源平台上的一个项目，整个项目由数据库连接池、插件框架和SQL解析器组成。该项目主要是为了扩展JDBC的一些限制，可以让程序员实现一些特殊的需求，比如向密钥服务请求凭证、统计SQL信息、SQL性能收集、SQL注入检查、SQL翻译等，程序员可以通过定制来实现自己需要的功能。 Druid支持哪些数据库？Druid支持所有JDBC兼容的数据库，包括Ora...

ORM 框架是什么对象关系映射（Object Relational Mapping，简称 ORM）模式是一种为了解决面向对象与关系数据库存在的互不匹配的现象技术。简单的说，ORM 是通过使用描述对象和数据库之间映射的元数据，将程序中的对象自动持久化到关系数据库中。为什么需要 ORM当开发一个应用程序的时候（不使用 O/R Mapping），你可能会写不少数据访问层的代码，用来从数据库保...

前面几篇文章学习了 Spring Boot Web 开发、JPA 操作数据库、Thymeleaf 和页面的交互的技术。这节课程就综合使用前几节的课程内容，来做一个用户的管理功能，包括展示用户列表（分页），添加用户、修改用户、删除用户。有人说程序员的一生都是在增删改查，这句话不一定全对，但也有一定的道理，相比于这句话，我更认同的是这句：程序员的技术学习都是从增删改查开始的。这篇文章介绍如何使用 ...

Spring Boot 推荐使用 Thymeleaf 来代替 JSP，Thymeleaf 模板到底是什么来头呢，下面我们来聊聊。Thymeleaf 介绍Thymeleaf 是一款用于渲染 XML/XHTML/HTML 5 内容的模板引擎。类似 JSP、Velocity、FreeMaker 等，它也可以轻易的与 Spring MVC 等 Web 框架进行集成作为 Web 应用的模板引擎。与其...

什么是JPA？JPA（Java Persistence API）是 Sun 官方提出的 Java 持久化规范。它为 Java 开发人员提供了一种对象/关联映射工具来管理 Java 应用中的关系数据。它的出现主要是为了简化现有的持久化开发工作和整合 ORM 技术，结束现在 Hibernate、TopLink、JDO 等 ORM 框架各自为营的局面。值得注意的是，JPA 是在充分吸收了现有 Hib...

本篇介绍 Spring Boot 对 Web 开发的支持。主要内容单元测试、Json的支持、请求传参方式、参数校验、自定义Filter、自定义Property完成目标①单元测试、Json的支持②请求传参方式③参数校验④自定义Filter⑤自定义Property 推荐博客：idea下新建Spring Boot项目并配置启动https://blog.csdn.net...

本篇文章主要介绍如何新建第一个Spring Boot项目，为后面的学习做准备。 idea下新建Spring Boot项目并配置启动

本篇文章主要介绍使用nginx配置tomcat和https的ssl证书。 方式一：直接修改nginx的conf文件下的nginx.conf文件 如下可以直接复制整个server节点，修改红框里的证书为自己的即可。#user nobody;worker_processes 1;#error_log logs/error.log;#error_log log...

报错信息：nginx: [emerg] unknown directive "ssl" in /usr/local/devtool/nginx-1.6.2/conf/nginx.conf:103错误截图： 解决方案：1、在第一次解压对目录中执行如下命令./configure --with-http_ssl_module2、等待上一步执行完后执行makemake...

什么是Nginx       Nginx（发音同 engine x）是一款轻量级的Web 服务器／反向代理服务器及电子邮件（IMAP/POP3）代理服务器，并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发，最初供俄国大型的入口网站及搜寻引擎Rambler（俄文：Рамблер）使用。 其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的...

本篇文章主要介绍一下Calendar类的对时间对一些使用方法：java 日期加减天数、月数、年数的计算方式， java实现给指定日期加固定小时、天、月，java判断当前日期是星期几，java判断某个时间是否在条件时间之内。 代码：public static void main(String[] args) throws Exception{ SimpleDateFormat ...

使用场景：在我们订单中有个这样的需求：非当日订单不能提交废票，而这里我取的时间是直接new Date()，这样就导致一个问题，在客户的电脑时间不准确的情况下会导致这个操作会报错。 演示下错误情况：我把本地时间改成27日，但是服务器是26，我们查看区别查看图中可以看到2个时间取出来是不一致的。  解决方案：1.获取服务器时间：var now = new Date(...

错误场景：在一次和.net对接接口时，对方提供的加密密钥是32位的，我们使用这个加密时候就出现 Illegal key size 错误，查阅资料知道了如果密钥大于128, 会抛出上述异常。因为密钥长度是受限制的, java运行时环境读到的是受限的policy文件，文件位于/jre/lib/security下, 这种限制是因为美国对软件出口的控制。 报错信息：2018-07-10 16...

笔者在一次对接接口时候出现一个问题：一个json串中带有中文，我想直接测试加密结果是否一致，结果使用本地main方法加密没问题，后面在程序里加密调用接口发现签名验证不通过，后面才发现三tomcat处理中文时的问题。 未统一编码前加密： 解决方案：        把resultString.getBytes()改为resultString.getBytes("UTF-...

Spring boot 报错：Caused by: org.springframework.beans.NotWritablePropertyException: Invalid property ‘mapperHelper’ of bean class [org.mybatis.spring.mapper.MapperFactoryBean]: Bean property ‘mapperHe...

本篇文章主要介绍nexus3的一些常用配置说明。 1、修改配置修改运行nexus3所使用的用户 cd binvim nexus.rc查看 cat nexus.rc2、修改nexus3启动所使用的jdk版本vim nexus修改的位置就在顶端 3、修改nexus3默认端口vim /etcvim nexus-default...

本篇文章主要介绍使用nexus3搭建好私服并且配置好仓库后，如何在本地配置maven并且使用maven私服。 详细步骤：1、修改本地maven的setting.xml配置文件servers节点<server><id>nexus-3rdParty</id><username>admin</username>&l...

本篇文章主要介绍在安装完nexus3私服后，如何上传自己的jar和配置自己的仓库。 一般向私服上传jar包有三种方法:直接浏览器 cmd模式 IDE集成环境一般用到的仓库种类是hosted、proxy。Hosted代表宿主仓库，用来发布一些第三方不允许的组件，比如oracle驱动、比如商业软件jar包。Proxy代表代理远程的仓库，最典型的就是Maven官方中央仓库、JBoss仓...

本篇文章主要介绍在Linux(阿里云Centos7)环境下使用nexus3配置maven的私有仓库。maven的仓库只有两大类：1.本地仓库 2.远程仓库，在远程仓库中又分成了3种：2.1 中央仓库 2.2 私服 2.3 其它公共库。      私服是一种特殊的远程仓库，它是架设在局域网内的仓库服务，私服代理广域网上的远程仓库，供局域网内的Maven用户使用。当Maven需要下载构件的时候...