2018年10月_ZhaoYingChao88

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 react CodeMirror hint autoComplete

// editor.jsvar React = require('react');var Codemirror = require('react-codemirror');var CodeMirror = React.createClass({ getInitialState: function () { return { code: "...

2018-10-31 18:10:40 3759

原创 Java常用类库

以下列表是通过分析50K的开源项目得出来的。1. org.apache.commons.io.IOUtilscloseQuietly ( ) toString ( ) copy ( ) toByteArray ( ) write ( ) toInputStream ( ) readLines ( ) copyLarge ( ) lineIterator ( ) readF...

2018-10-29 15:28:00 276

原创 Java中 VO、 PO、DO、DTO、 BO、 QO、DAO、POJO之dozer mapper使用

PO(persistant object) 持久对象在 o/r 映射的时候出现的概念，如果没有 o/r 映射，没有这个概念存在了。通常对应数据模型 ( 数据库 ), 本身还有部分业务逻辑的处理。可以看成是与数据库中的表相映射的 java 对象。最简单的 PO 就是对应数据库中某个表中的一条记录，多个记录可以用 PO 的集合。 PO 中应该不包含任何对数据库的操作。DO（Domain Obj...

2018-10-29 14:25:14 1716

Eureka是Netflix开发的服务发现组件，本身是一个基于REST的服务。Spring Cloud将它集成在其子项目spring-cloud-netflix中，以实现Spring Cloud的服务发现功能。目前Eureka 项目相当活跃，代码更新相当频繁，目前最新的版本是1.5.5。Eureka 2.0也在紧锣密鼓地开发中，2.0将会带来更强的功能和更好的扩展性，但是由于还没有Relea...

2018-10-25 21:30:03 1700

原创 ES调优经验分享

集群规划独立的master节点，不存储数据, 数量不少于2 数据节点(Data Node) 查询节点(Query Node)，起到负载均衡的作用Linux系统参数配置文件句柄Linux中，每个进程默认打开的最大文件句柄数是1000,对于服务器进程来说，显然太小，通过修改/etc/security/limits.conf来增大打开最大句柄数* - nofile 65535...

2018-10-19 16:36:18 3749 1

原创 dd命令测试linux磁盘读写速度操作

1、先熟悉两个特殊的设备：（1）/dev/null：回收站、无底洞。（2）/dev/zero：产生字符。2、测试磁盘写能力 time dd if=/dev/zero of=/testw.dbf bs=4k count=100000 rm -f /testw.dbf 因为/dev//zero是一个伪设备，它只产生空字符流，对它不会产生IO，所以，IO都...

2018-10-18 12:31:13 12493 1

原创 ES倒排索引与三种Cache详细介绍

网上看到的一篇文章，对Lucene的倒排索引是如何执行的，说的比较易懂，就转过来分享下。Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在18和30之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型数据库的b-tree索引快在哪里？到底为什么快呢？笼统的来说，b-tree索引是为写入优化...

2018-10-16 17:46:20 3877 2

原创 ES倒排索引与分词详解

倒排索引正排索引：文档id到单词的关联关系倒排索引：单词到文档id的关联关系示例：对以下三个文档去除停用词后构造倒排索引 image倒排索引-查询过程查询包含“搜索引擎”的文档通过倒排索引获得“搜索引擎”对应的文档id列表，有1，3 通过正排索引查询1和3的完整内容返回最终结果倒排索引-组成单词词典（Term Dictionary）倒排列表（Po...

2018-10-16 16:55:51 3595 1

原创 ES Mapping、字段类型Field type详解

字段类型概述一级分类二级分类具体类型核心类型字符串类型 string,text,keyword整数类型 integer,long,short,byte浮点类型 double,float,half_float,scaled_float逻辑类型 boolean日期类型 date范围类型 range二进制类型 binary复合类型数组类型 array对象类型 obje...

2018-10-15 15:02:18 64209 10

原创股神巴菲特致股东信

股神巴菲特掌舵的伯克希尔哈撒韦将公布2017年年报，其中将包括巴菲特致股东的信以及有关伯克希尔的财务状况和经营业绩信息。2018年5月5日星期六，伯克希尔哈撒韦将举行年度股东大会。这次致股东的信，最受关注的可能是，巴菲特细谈苹果公司的买入逻辑和想法，减持IBM的思考，关于接班人的考虑。当然，还有他去年又赚了多少钱。按照2017年的致股东信，2016年，过去52年时间里(自巴菲特接管...

2018-10-12 18:03:20 2979

原创 ES mapping 详解

1 mapping type映射（mapping）映射是定义一个文档以及其所包含的字段如何被存储和索引的方法。例如，用映射来定义以下内容：哪些 string 类型的 field 应当被当成当成 full-text 字段哪些字段应该是数值类型、日期类型或者是地理位置信息日期类型字段的格式是怎么样的是否文档的所有字段都需要被索引到 _all 字段动态增加的 field ...

2018-10-12 15:41:21 39429 1

原创 Elasticsearch Log GC 日志分析详解

如果你关注过 elasticsearch 的日志，可能会看到如下类似的内容：[2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][228384] overhead, spent [2.2s] collecting in the last [2.3s][2018-06-30T17:57:29...

2018-10-12 10:46:55 4956

转载 ES Field Collapsing 字段折叠使用详解

在 Elasticsearch 5.x 有一个字段折叠（Field Collapsing，#22337）的功能非常有意思，在这里分享一下，字段折叠是一个很有历史的需求了，可以看这个 issue，编号#256，最初是2010年7月提的issue，也是讨论最多的帖子之一（240+评论），熬了6年才支持的特性，你说牛不牛，哈哈。目测该特性将于5.3发布，尝鲜地址：Elasticsearch-...

2018-10-12 10:30:27 11335 4

原创 ES aggregation详解

aggregation分类aggregations —— 聚合，提供了一种基于查询条件来对数据进行分桶、计算的方法。有点类似于 SQL 中的 group by 再加一些函数方法的操作。聚合可以嵌套，由此可以组成复杂的操作（Bucketing聚合可以包含sub-aggregation）。聚合整体上可以分为 3 类：1. Bucketing：桶分聚合：此类聚合执行的是对文档分组的操...

2018-10-12 09:57:14 24576 1

原创一个一站式流式处理云平台解决方案

随着互联网、IT、大数据等技术的爆发式发展，企业系统产生的大量爆发数据。对于保存在数据库中的业务数据，可以通过DBus数据总线+Wormhole流式处理平台的日志方式实时地无侵入同步和落地到任意sink端，提供下游系统分析使用；对于业务系统产生的日志数据，这些包含了业务高低峰、用户轨迹、系统异常/错误信息、调用链等诸多信息，也蕴含着无价的宝藏。一些公司通过埋点等方式和手段，往日志数据里输出他们想要...

2018-10-11 15:25:49 1787

原创 ES读写操作详解

目前的Elasticsearch有两个明显的身份，一个是分布式搜索系统，另一个是分布式NoSQL数据库，对于这两种不同的身份，读写语义基本类似，但也有一点差异。写操作实时性：搜索系统的Index一般都是NRT（Near Real Time），近实时的，比如Elasticsearch中，Index的实时性是由refresh控制的，默认是1s，最快可到100ms，那么也就意味着I...

2018-10-11 15:00:09 7325

原创 SQL left join 左表合并去重技巧总结

建表：CREATE TABLE `table1` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(60) DEFAULT NULL, `age` varchar(200) DEFAULT NULL, `sponsor_id` varchar(20) DEFAULT NULL COMMENT '业务发起人', ...

2018-10-10 21:05:23 77195 5

原创 ES查询流程源码解析

一些基础知识早先ES的HTTP协议支持还是依赖Jetty的,现在不管是Rest还是RPC都是直接基于Netty了。另外值得一提的是，ES 是使用Google的Guice 进行模块管理，所以了解Guice的基本使用方式有助于你了解ES的代码组织。ES 的启动类是 org.elasticsearch.bootstrap.Bootstrap。在这里进行一些配置和环境初始化后会启动org...

2018-10-09 20:44:35 2036

转载 Java HashMap, Hashtable, TreeMap, WeakHashMap总结

概要学完了Map的全部内容，我们再回头开开Map的框架图。本章内容包括：第1部分 Map概括第2部分 HashMap和Hashtable异同第3部分 HashMap和WeakHashMap异同第1部分 Map概括(01) Map 是“键值对”映射的抽象接口。(02) AbstractMap 实现了Map中的绝大部分函数接口。它减少了“Map的实现类”的重复编码。(03...

2018-10-09 20:21:26 302

原创 elasticsearch优化总结

一、硬件环境选择：如果有条件，尽可能使用SSD硬盘，不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性。IO的提升，会极大改进ES的速度和性能。二、系统拓朴设计： ES集群在架构拓朴时，一般都会采用Hot-Warm的架构模式，即设置3种不同类型的节点：Master节点、Hot 节点和 Warm节点。 Master节点设置：一般会设置３个专用的maste节点，...

2018-10-09 12:59:04 3996

原创工作中通用短句

通用短句縮寫ASAPas soon as possible 盡快主管最常說這個了，讓人不得不加班！網友更 kuso 一部關於當商業 email 在現實生活使用的搞笑影片，裡面可以看到如何用 ASAP（偷偷說：1:05 的片段是小編寄 email 最常犯的錯）。當Email語言在真實社會下使用時…(Email in Real Life) (Email in Real Life)B...

2018-10-09 11:04:53 790

原创 es Score Query优化查询

通过Function Score Query function_score查询是处理分值计算过程的终极工具。它让你能够对所有匹配了主查询的每份文档调用一个函数来调整甚至是完全替换原来的_score。实际上，你可以通过设置过滤器来将查询得到的结果分成若干个子集，然后对每个子集使用不同的函数。这样你就能够同时得益于：高效的分值计算以及可缓存的过滤器。它拥有几种预先定义好了的函数：...

2018-10-08 18:08:19 5188

原创 elasticsearch系统性能调优总结

elasticsearch性能调优集群规划独立的master节点，不存储数据, 数量不少于2 数据节点(Data Node) 查询节点(Query Node)，起到负载均衡的作用集群节点划分整个集群的节点分为以下三种主要类型Master nodes -- 负责维护集群状态，不保存index数据，硬件要求：一般性的机器就可以，给es进程分配16g内存 Data Nod...

2018-10-08 11:00:29 5325

原创 ES基本查询总结

ES与数据库比较查询操作Elasticsearch中当我们设置Mapping（分词器、字段类型）完毕后，就可以按照设定的方式导入数据。有了数据后，我们就需要对数据进行检索操作。根据实际开发需要，往往我们需要支持包含但不限于以下类型的检索：1）精确匹配，类似mysql中的 “=”操作；2）模糊匹配，类似mysql中的”like %关键词% “查询操作；3）前缀匹配；4）...

2018-10-08 10:25:21 21420 1

原创 Vim最全快捷键键位图

史上最全Vim快捷键键位图作者：卢钧轶(cenalulu)来自：http://cenalulu.github.io/linux/all-vim-cheatsheat/经典版下面这个键位图应该是大家最常看见的经典版了。对应的简体中文版其实经典版是一系列的入门教程键位图的组合结果，下面是不同编辑模式下的键位图。入门版基本操作的入门版...

2018-10-05 23:06:53 1761

原创 Idea常用插件整合

1.codeMaker 重复代码生成工具domian和dto两个类基本差不多，这个工具就可以通过一个类快速生成另一个类。2.gsonFormat json转换成Java类很多时候根据别人接口给的json数据创建对应的类来接收，那么gsonFormat可以帮你自动生成这个类，但是还需要简单修改下。3.gitignore 直观的看到哪些文件(夹)被忽略了。不会搞错...

2018-10-03 16:20:34 2734

原创微信小程序开发资源汇总

微信小程序中就四种类型的文件js ---------- JavaScrip文件 json -------- 项目配置文件，负责窗口颜色等等 wxml ------- 类似HTML文件 wxss ------- 类似CSS文件在根目录下用app来命名的这四中类型的文件，就是程序入口文件。app.json必须要有这个文件，如果没有这个文件，IDE会报错，因为微信框架把这个作为...

2018-10-02 19:53:36 2440