2018年05月_带你去学习

06月 05月 04月 03月

原创 ElasticSearch系列十一：掌握ES使用地理位置

一、geo point地理位置数据类型1.建立geo_point类型的mappingPUT /my_index { "mappings": { "my_type": { "properties": { "location": { "type": "geo_point" } } } }}2.写入geo_point的3种方法PUT my_index/my_type/1{

2018-05-31 19:55:28 7492 1

原创 ElasticSearch系列十：ES底层原理探秘

一、ES基于_version进行乐观锁并发控制 post /index/type/id/_update?retry_on_conflict=5&version=6 ①内部_version版本号：第一次创建document的_version版本号为1，以后每次对这个document修改或删除操作，_version自动加1。同时带上数据的版本号，确保es中数据的版本号，跟客户端中的...

2018-05-30 21:57:08 6981 1

原创 ElasticSearch系列九：掌握ES相关特性

一、ES分布式的特性1.对复杂分布式机制的透明隐藏特性：分片机制集群发现机制shard负载均衡shard副本请求路由集群扩容shard重分配2.增减或减少节点时的数据rebalance 保持负载均衡3.master节点创建或删除索引增加或删除节点4.节点对等的分布式架构节点对等，每个节点都能接收所有的请求自动请求路由响应收集二、shard和replica机制①index包含多个shard...

2018-05-30 20:40:35 5314

原创 ElasticSearch系列八：掌握ES数据建模

1.将所有有关联关系的数据，放在一个doc json类型数据中。冗余数据，将可能会进行搜索的条件和要搜索的数据，放在一个doc中。一般来说，对于es这种NoSQL类型的数据存储来讲，都是冗余模式 { "deptId": "1", "name": "研发部门", "desc": "负责公司的所有研发项目", "employees": [ { "

2018-05-30 19:48:13 5992 1

原创 ElasticSearch系列七：深入ES聚合数据分析

一、聚合操作内部原理1.正排索引（doc value）的聚合内部原理①index-time生成PUT/POST的时候，就会生成doc value数据，也就是正排索引②核心原理与倒排索引类似正排索引，也会写入磁盘文件中，然后os cache先进行缓存，以提升访问doc value正排索引的性能如果os cache内存大小不足够放得下整个正排索引，doc value，就会将doc value的数据写入...

2018-05-30 19:46:05 8982

原创 ElasticSearch系列六：深入ES结构化搜索

一、搜索条件的权重boost 默认情况权重都是1，可以将某个搜索条件的权重加大，此时当匹配这个搜索条件和匹配另一个搜索条件的document，计算relevance score时，匹配权重更大的搜索条件的document，relevance score会更高，也就会优先被返回回来。需求：搜索标题中包含java的帖子，同时呢，如果标题中包含hadoop或elasticsearch就优先搜索出来，同...

2018-05-29 23:02:45 3806

原创 ElasticSearch系列五：掌握ES使用IK中文分词器

一、内置分词器的介绍例：Set the shape to semi-transparent by calling set_trans(5)standard analyzer（默认）： set, the, shape, to, semi, transparent, by, calling, set_trans, 5simple analyzer： set, the, shape, to, sem...

2018-05-29 20:56:36 20723

原创 ElasticSearch系列四：掌握ES聚合数据分析

1.两个核心概念 bucket：一个数据分组，类似数据库分组group by metric：对一个数据分组执行的统计，常见的数据分析的metric操作有count，avg，max，min，sum2.有分词的字段需要field的fielddata属性设置为truePUT /ecommerce/_mapping/product{ "properties": { "tags": { "type":...

2018-05-29 20:52:04 5084 1

原创 JVM（二）性能调优

一、常见线上问题内存泄露某个进程突然cpu飙升线程死锁响应变慢二、问题定位一般会基于数据收集来定位，而数据的收集离不开监控工具的处理，比如：运行日志、异常堆栈、GC日志、线程快照、堆快照等。经常使用恰当的分析和监控工具可以加快我们的分析数据、定位解决问题的速度。三、JVM常见监控指令 ①jps：查看java进程信息 -q 不输出类名、Jar名和传入main方法的参数 -l 输出main类或J...

2018-05-28 21:45:20 1468

原创 JVM（一）内存分布

一、JVM概述 ①所有的java代码都是在虚拟机中运行的。 ②一次编译,到处运行。JVM可以和不同的操作系统交互。Java是一门跨平台性语言。二、JVM、JDK 、JRE区别 JDK：(Java Development Kit) 是Java语言的软件开发工具包。 JRE:在JDK的安装目录下有一个jre目录，里面有bin和lib两个文件夹，可以认为bin里的就是JVM，lib中则是jvm工作所需要...

2018-05-28 20:55:40 2399 1