零度anngle-CSDN博客

转载 docker探索-swarm搭建docker集群

原文出处：http://www.cnblogs.com/520playboy/p/7873903.html前言Swarm 在 Docker 1.12 版本之前属于一个独立的项目，在 Docker 1.12 版本发布之后，该项目合并到了 Docker 中，成为 Docker 的一个子命令，docker swarm是创建服务器集群的工具，只需要几条命令就可以创建一个服务器集群。它内置一些服务器...

2018-08-15 19:27:22 498

原文链接安装部署一个私有的Docker Registry是引入、学习和使用Docker这门技术的必经之路之一。尤其是当Docker被所在组织接受，更多人、项目和产品开始接触和使用Docker时，存储和分发自制的Docker image便成了刚需。Docker Registry一如既往的继承了“Docker坑多”的特点，为此这里将自己搭建”各类”Registry过程中执行的步骤、遇到的问题记录下...

2018-08-15 14:55:31 1126

转载 Nginx配置详解（二）

原文出处：http://www.cnblogs.com/knowledgesea/p/5199046.html序言Nginx的代理功能与负载均衡功能是最常被用到的，关于nginx的基本语法常识与配置已在上篇文章中有说明，这篇就开门见山，先描述一些关于代理功能的配置，再说明负载均衡详细。Nginx代理服务的配置说明1、上一篇中我们在http模块中有下面的配置，当代理遇到状态码为404...

2018-08-02 11:36:29 324

转载 Nginx配置详解（一）

原文出处：https://www.cnblogs.com/knowledgesea/p/5175711.html序言Nginx是lgor Sysoev为俄罗斯访问量第二的rambler.ru站点设计开发的。从2004年发布至今，凭借开源的力量，已经接近成熟与完善。Nginx功能丰富，可作为HTTP服务器，也可作为反向代理服务器，邮件服务器。支持FastCGI、SSL、Virtual H...

2018-08-02 11:22:31 468

转载读书笔记《推荐系统实践》- 个性化推荐系统总结

转载：https://www.jianshu.com/p/319e4933c5ba对于推荐系统，本文总结内容，如下图所示：推荐系统.png文章很长，你可以跳着看你感兴趣的部分。一、什么是推荐系统1. 为什么需要推荐系统结论是，为了解决互联网时代下的信息超载问题。看个数据：据IDC《数字宇宙》的研究报告表明，2020 年全球新建和复制的信息量将超过40ZB，是2...

2018-07-31 18:54:39 3741

转载 ElasticSearch2.4.2安装search-guard插件

(1)环境;elasticsearch 2.4.2(2)：github上分支没有2.4.x版本的分支，笔者一度找了好久才找到下面一个版本关系对应表elasticsearch与search-guard以及search-guard-ssl：（3）：进入elasticsearch的bin目录，执行命令安装search-guard./plugin install -b com.fl...

2018-07-18 12:00:10 1846

转载 mongodb 3.4 集群搭建：分片+副本集

原文出处：http://www.ityouknow.com/mongodb/2017/08/05/mongodb-cluster-setup.htmlmongodb是最常用的nosql数据库，在数据库排名中已经上升到了前六。这篇文章介绍如何搭建高可用的mongodb（分片+副本）集群。在搭建集群之前，需要首先了解几个概念：路由，分片、副本集、配置服务器等。相关概念先来看一张图：从图中可以看到有四个...

2018-07-12 10:54:05 354

转载如何使用Kibana的仪表板与可视化功能

系列教程本教程为利用ELK堆栈(Elasticsearch, Logstash与Kibana)在Ubuntu 14.04上实现集中式日志记录系列五篇中的第四篇。本教程亦为在CentOS 7上利用Logstash与Kibana实现集中式日志记录系列五篇中的第四篇。内容介绍Kibana 4是一套分析与可视化平台，构建于Elasticsearch之上，旨在帮助用户更好地实现数据理解。在本教程中，我们将从...

2018-07-10 17:53:02 3039

转载 Kibana基本使用

原文出处：https://blog.csdn.net/ming_311/article/details/50619859现在你已经安装了Kibana，现在你一步步通过本教程快速获取Kibana核心功能的实践经验。学习完本教程，你将： 1.加载案例数据到你安装的Elasticsearch中 2. 定义至少一个索引匹配模式 3.使...

2018-07-10 17:49:46 8698

转载 logback配置详解和使用

原文出处：https://www.cnblogs.com/warking/p/5710303.html一、logback的介绍　 Logback是由log4j创始人设计的另一个开源日志组件,官方网站： http://logback.qos.ch。它当前分为下面下个模块：　 logback-core：其它两个模块的基础模块　 logback-classic：它是log4j的一个改良版本，同时...

2018-07-09 11:31:28 412

转载 Swagger使用总结

原文出处：https://www.cnblogs.com/h9527/p/5506956.html1. Swagger是什么？官方说法：Swagger是一个规范和完整的框架，用于生成、描述、调用和可视化 RESTful 风格的 Web 服务。总体目标是使客户端和文件系统作为服务器以同样的速度来更新。文件的方法，参数和模型紧密集成到服务器端的代码，允许API来始终保持同步。个人觉得，swagger的...

2018-07-06 16:03:38 1463

转载 Java中的异常处理：何时抛出异常，何时捕获异常

今天在看hadoop源码时，想想自己最近在做的那个系统，发现很多异常处理的方式不对，还是按照传统的异常处理方式（即：采用返回值来标识程序出现的异常情况）。而hadoop中很多方法的声明是有异常抛出的，而我的系统中的很多方法的声明都没有抛出异常。只是判断了异常情况，并输出了错误提示，但是并没有抛出异常。org.apache.hadoop.hdfs.protocol包下的Block类的readFiel...

2018-07-04 19:19:28 7930

转载 SpringBoot RestTemplate的几种请求调用

1.用统一的方法模板进行四种请求：POST,PUT,DELETE,GET 1 restTemplate.exchange(2 String url, 3 HttpMethod method,4 HttpEntity requestEntity, 5 Class responseType, 6 Object u...

2018-07-04 19:10:15 3004

转载 Spring Boot转化为json数据格式

Spring Boot为我们良好的提供了我们需要的数据,将数据转化为json格式,然后返回,下面请看springboot转化为json的方式;第一种方式:SpringBoot框架默认的方式;步骤:* 1.编写实体类student;package com.gmm;/**测试的实体类 * Created by john on 2017-04-30. */public class Studen...

2018-07-04 17:05:05 45853

原创将nginx的日志通过logstash载入到ES中logstash.cnof配置

1、nginx日志格式化为json格式的配置（nginx日志json格式化请自行google）：input { # 定义日志源# file { #从文件中拉取 # type => "log" # path => "D:/log/academy_*.log" # start_position => "beginning" # ...

2018-07-03 10:49:49 2192

转载 Logstash将日志产生时间替换@timestamp

一、跟着官网学习一下date插件日期过滤器用于从字段中解析日期，然后使用该日期或时间戳作为事件的logstash时间戳。例如，syslog事件通常具有这样的时间戳：Bash"Apr 17 09:32:01" 你可以使用日期格式MMM dd HH：mm：ss来解析这个。日期过滤器对于排序事件和回填旧数据尤为重要。如果您在活动中没有找到正确的日期，那么稍后搜索它们可能会排序错...

2018-07-03 09:40:21 49147

转载 Logstash将日志产生时间替换@timestamp

2018-07-02 19:13:21 19852 2

转载 Logstash处理json格式日志文件的三种方法

假设日志文件中的每一行记录格式为json的，如：{"Method":"JSAPI.JSTicket","Message":"JSTicket:kgt8ON7yVITDhtdwci0qeZg4L-Dj1O5WF42Nog47n_0aGF4WPJDIF2UA9MeS8GzLe6MPjyp2WlzvsL0nlvkohw","CreateTime":"2015/10/13 9:39:59",&qu

2018-07-02 15:36:30 21417 1

转载 ELK实时日志分析平台环境部署--完整记录

在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的ELK（+Redis）-开源实时日志分析平台的记录过程（仅依据本人的实际操作为例说明，如有误述，敬请指出）~================概念介绍================日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经...

2018-07-02 13:24:18 398

原创 ES支持汉字、拼音、简拼搜索的自定义分词器

{ "settings": { "refresh_interval": "2s", "number_of_shards": 5, "number_of_replicas": 1, "analysis": { "filter": { "edge_ngram_filter": { &qu

2018-06-29 12:06:50 3682

转载 Elasticsearch - 自定义分析器

全文搜索引擎会用某种算法对要建索引的文档进行分析，从文档中提取出若干Token(词元)，这些算法称为Tokenizer(分词器)；这些Token会被进一步处理，比如转成小写等，这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)，文档中包含了几个这样的Term被称为Frequency(词频)。引擎会建立Term和原文档的Inverted Ind...

2018-06-29 11:51:55 647 1

转载 kafka原理详解

一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成...

2018-06-28 18:22:42 340

转载 Windows平台下kafka环境的搭建

近期在搞kafka，在Windows环境搭建的过程中遇到一些问题，把具体的流程几下来防止后面忘了。准备工作： 1.安装jdk环境 http://www.oracle.com/technetwork/java/javase/downloads/index.html 2.下载kafka的程序安装包： http://kafka.apache.org/downloads 解压文件提取出里面的文件...

2018-06-28 11:03:04 643

转载 kafka使用场景、设计原理、主要配置及集群搭建

一、入门 1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每...

2018-06-27 17:26:14 215

转载 SpringBoot系列-集成JWT实现接口权限认证

原文出处：http://ju.outofmemory.cn/entry/341269RESTful API认证方式一般来讲，对于RESTful API都会有认证(Authentication)和授权(Authorization)过程，保证API的安全性。 Authentication vs. Authorization Authentication指的是确定这个用户的身份，Autho...

2018-06-27 10:43:01 13116 2

转载使用spring-boot-admin对spring-boot服务进行监控

上一篇文章《springboot(十九)：使用Spring Boot Actuator监控应用》介绍了Spring Boot Actuator的使用，Spring Boot Actuator提供了对单个Spring Boot的监控，信息包含：应用状态、内存、线程、堆栈等等，比较全面的监控了Spring Boot应用的整个生命周期。但是这样监控也有一些问题：第一，所有的监控都需要调用固定的接口来查看...

2018-06-25 13:57:33 770

转载 Spring Boot使用Actuator监控应用

原文出处：http://www.ityouknow.com/springboot/2018/02/06/spring-boot-actuator.html微服务的特点决定了功能模块的部署是分布式的，大部分功能模块都是运行在不同的机器上，彼此通过服务调用进行交互，前后台的业务流会经过很多个微服务的处理和传递，出现了异常如何快速定位是哪个环节出现了问题？在这种框架下，微服务的监控显得尤为重要。本文主要...

2018-06-25 12:00:26 453

转载 springboot测试打包部署

开发阶段单元测试在开发阶段的时候最重要的是单元测试了，springboot对单元测试的支持已经很完善了。1、在pom包中添加spring-boot-starter-test包引用<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-star...

2018-06-22 17:15:58 377

转载 spring boot 如何优雅的使用mybatis-spring-boot-starter

地址出处：http://www.ityouknow.com/springboot/2016/11/06/spring-boo-mybatis.html这两天启动了一个新项目因为项目组成员一直都使用的是mybatis，虽然个人比较喜欢jpa这种极简的模式，但是为了项目保持统一性技术选型还是定了 mybatis。到网上找了一下关于spring boot和mybatis组合的相关资料，各种各样的形式都有...

2018-06-22 15:01:48 57577 7

转载 spring-boot-starter-data-jpa详细使用介绍

原文出处：http://www.ityouknow.com/springboot/2016/08/20/spring-boo-jpa.html首先了解JPA是什么？JPA(Java Persistence API)是Sun官方提出的Java持久化规范。它为Java开发人员提供了一种对象/关联映射工具来管理Java应用中的关系数据。他的出现主要是为了简化现有的持久化开发工作和整合ORM技术，结束现在...

2018-06-22 11:59:21 22317

转载 ElasticSearch+Kibana相关插件安装与索引操作

一前言 ElasticiSearch 简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。二安装步骤2.1 E...

2018-06-15 10:49:58 567

转载 Spring Cloud Feign 声明式服务调用

原文出处：http://www.cnblogs.com/li3807在实际开发中，对于服务依赖的调用可能不止一处，往往一个接口会被多处调用，所以我们通常会针对各个微服务自行封装一些客户端类来包装这些依赖服务的调用，Spring Cloud Feign 在此基础上做了进一步的封装，由他来帮助我们定义和实现依赖服务接口的定义，我们只需要创建一个接口并用注解的方式来配置他，即可完成对服务提供方的接口绑定...

2018-06-14 18:56:24 254

转载全链路服务追踪spring cloud sleuth+zipkin

一、About ZipKinplease google二、 Demo Scene三、 Result Display四、Prepare1、soft versionkafka：2.10-0.10.2.0 zokeeper：3.4.10 elasticsearch：5.2.2 jdk：1.8 spring boot：1.5.3.RELEASE sprign cloud：Dalston.RELEASE r...

2018-06-12 15:02:11 4154

转载 linux后台执行命令：&和nohup

当我们在终端或控制台工作时，可能不希望由于运行一个作业而占住了屏幕，因为可能还有更重要的事情要做，比如阅读电子邮件。对于密集访问磁盘的进程，我们更希望它能够在每天的非负荷高峰时间段运行(例如凌晨)。为了使这些进程能够在后台运行，也就是说不在终端屏幕上运行，有几种选择方法可供使用。& 当在前台运行某个作业时，终端被该作业占据；可以在命令后面加上& 实现后台运行。例如：sh tes...

2018-06-12 11:42:26 945

转载 Spring boot 使用profile完成不同环境的maven打包功能

原文出处：https://blog.csdn.net/duan9421/article/details/79086335我们在日常开发工作中通常会根据不同的项目运行环境，添加不同的配置文件，例如开发环境，测试环境，生产环境等，每次手工的修改配置文件太过于繁琐。通过maven打包时确定需要使用的配置文件可以很好的解决这个问题。下面看一下代码目录application-dev.properties对...

2018-06-11 17:15:29 665

转载 Java远程实现Linux文件内容读取

//首先要下载com.jcraft.jsch_0.1.31.jar package Test;import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.util.ArrayList;...

2018-06-07 19:03:56 14524 2

转载微服务2.0技术栈选型手册

原文出处：https://mp.weixin.qq.com/s/OloZhn2pwfIrOQit_8jefA一、前言2014年可以认为是微服务1.0的元年，当年有几个标志性事件，一是Martin Fowler在其博客上发表了“Microservices”一文，正式提出微服务架构风格；二是Netflix微服务架构经过多年大规模生产验证，最终抽象落地形成一整套开源的微服务基础组件，统称NetflixO...

2018-06-01 15:10:58 1656 1

转载 Java8中的日期与时间处理

原文链接：http://www.importnew.com/15637.html伴随lambda表达式、streams以及一系列小优化，Java 8 推出了全新的日期时间API，在教程中我们将通过一些简单的实例来学习如何使用新API。Java处理日期、日历和时间的方式一直为社区所诟病，将 java.util.Date设定为可变类型，以及SimpleDateFormat的非线程安全使其应用非常受限。...

2018-05-31 14:25:14 5948

转载 ElasticSearchRepository和ElasticSearchTemplate的使用

原文出处：https://blog.csdn.net/tianyaleixiaowu/article/details/76149547Spring-data-elasticsearch是Spring提供的操作ElasticSearch的数据层，封装了大量的基础操作，通过它可以很方便的操作ElasticSearch的数据。版本说明ElasticSearch目前最新的已到5.5.1spring dat...

2018-05-23 16:11:10 5361

转载 ElasticsearchTemplate的详细使用，完成多条件查询、匹配度查询等

原文出处：https://blog.csdn.net/tianyaleixiaowu/article/details/77965257ElasticsearchTemplate是Spring对ES的java api进行的封装，提供了大量的相关的类来完成各种各样的查询。在日常的使用中，应该说最常用的查询就是queryList方法。[java] view plain copy print?public...

2018-05-23 11:24:59 8041