赵英超的博客

相互学习,共同进步

排序:
默认
按更新时间
按访问量

SQL left join 左表合并去重技巧总结

 建表: CREATE TABLE `table1` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(60) DEFAULT NULL, `age` varchar(200) DEFAULT NULL, `spons...

2018-10-10 21:05:23

阅读数:54

评论数:0

ES调优经验分享

集群规划 独立的master节点,不存储数据, 数量不少于2 数据节点(Data Node) 查询节点(Query Node),起到负载均衡的作用 Linux系统参数配置 文件句柄 Linux中,每个进程默认打开的最大文件句柄数是1000,对于服务器进程来说,显然太小,通过修改/etc/...

2018-10-19 16:36:18

阅读数:12

评论数:0

dd命令测试linux磁盘读写速度操作

1、先熟悉两个特殊的设备:     (1)/dev/null:回收站、无底洞。     (2)/dev/zero:产生字符。 2、测试磁盘写能力     time dd if=/dev/zero of=/testw.dbf bs=4k count=100000     rm -f /testw....

2018-10-18 12:31:13

阅读数:8

评论数:0

ES倒排索引与三种Cache详细介绍

网上看到的一篇文章,对Lucene的倒排索引是如何执行的,说的比较易懂,就转过来分享下。 Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好,比如年龄在18和30之间,性别为女性这样的组合查询。倒排索引很多地方都有介绍,但是其...

2018-10-16 17:46:20

阅读数:4

评论数:0

ES倒排索引与分词详解

倒排索引 正排索引:文档id到单词的关联关系 倒排索引:单词到文档id的关联关系 示例: 对以下三个文档去除停用词后构造倒排索引   image 倒排索引-查询过程 查询包含“搜索引擎”的文档 通过倒排索引获得“搜索引擎”对应的文档id列表,有1,3 通过正排索引查询1和3的完...

2018-10-16 16:55:51

阅读数:49

评论数:0

ES Mapping、字段类型Field type详解

  字段类型概述 一级分类 二级分类 具体类型 核心类型 字符串类型 string,text,keyword 整数类型 integer,long,short,byte 浮点类型 double,float,half_float,scaled_float 逻辑类型 boolean 日期类型 dat...

2018-10-15 15:02:18

阅读数:29

评论数:0

股神巴菲特致股东信

股神巴菲特掌舵的伯克希尔哈撒韦将公布2017年年报,其中将包括巴菲特致股东的信以及有关伯克希尔的财务状况和经营业绩信息。 2018年5月5日星期六,伯克希尔哈撒韦将举行年度股东大会。 这次致股东的信,最受关注的可能是,巴菲特细谈苹果公司的买入逻辑和想法,减持IBM的思考,关于接班人的考虑。 ...

2018-10-12 18:03:20

阅读数:106

评论数:0

ES mapping 详解

1 mapping type 映射(mapping) 映射是定义一个文档以及其所包含的字段如何被存储和索引的方法。 例如,用映射来定义以下内容: 哪些 string 类型的 field 应当被当成当成 full-text 字段 哪些字段应该是数值类型、日期类型或者是地理位置信息 日期类...

2018-10-12 15:41:21

阅读数:8

评论数:0

Elasticsearch Log GC 日志分析详解

如果你关注过 elasticsearch 的日志,可能会看到如下类似的内容: [2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo--eS] [gc][228384] overhead, spent [2.2s] ...

2018-10-12 10:46:55

阅读数:13

评论数:0

ES Field Collapsing 字段折叠使用详解

在 Elasticsearch 5.x 有一个字段折叠(Field Collapsing,#22337)的功能非常有意思,在这里分享一下,   字段折叠是一个很有历史的需求了,可以看这个 issue,编号#256,最初是2010年7月提的issue,也是讨论最多的帖子之一(240+评论),熬了6年...

2018-10-12 10:30:27

阅读数:6

评论数:0

ES aggregation详解

aggregation分类 aggregations —— 聚合,提供了一种基于查询条件来对数据进行分桶、计算的方法。有点类似于 SQL 中的 group by 再加一些函数方法的操作。 聚合可以嵌套,由此可以组成复杂的操作(Bucketing聚合可以包含sub-aggregation)。 ...

2018-10-12 09:57:14

阅读数:15

评论数:0

一个一站式流式处理云平台解决方案

随着互联网、IT、大数据等技术的爆发式发展,企业系统产生的大量爆发数据。对于保存在数据库中的业务数据,可以通过DBus数据总线+Wormhole流式处理平台的日志方式实时地无侵入同步和落地到任意sink端,提供下游系统分析使用;对于业务系统产生的日志数据,这些包含了业务高低峰、用户轨迹、系统异常/...

2018-10-11 15:25:49

阅读数:37

评论数:0

ES读写操作详解

目前的Elasticsearch有两个明显的身份,一个是分布式搜索系统,另一个是分布式NoSQL数据库,对于这两种不同的身份,读写语义基本类似,但也有一点差异。 写操作 实时性: 搜索系统的Index一般都是NRT(Near Real Time),近实时的,比如Elasticsea...

2018-10-11 15:00:09

阅读数:6

评论数:0

ES查询流程源码解析

  一些基础知识 早先ES的HTTP协议支持还是依赖Jetty的,现在不管是Rest还是RPC都是直接基于Netty了。 另外值得一提的是,ES 是使用Google的Guice 进行模块管理,所以了解Guice的基本使用方式有助于你了解ES的代码组织。 ES 的启动类是 org.elast...

2018-10-09 20:44:35

阅读数:7

评论数:0

Java HashMap, Hashtable, TreeMap, WeakHashMap总结

概要 学完了Map的全部内容,我们再回头开开Map的框架图。   本章内容包括:第1部分 Map概括第2部分 HashMap和Hashtable异同第3部分 HashMap和WeakHashMap异同 第1部分 Map概括 (01) Map 是“键值对”映射的抽象接口。 (02) A...

2018-10-09 20:21:26

阅读数:21

评论数:0

elasticsearch优化总结

 一、 硬件环境选择:  如果有条件,尽可能使用SSD硬盘, 不错的CPU。ES的厉害之处在于ES本身的分布式架构以及lucene的特性。IO的提升,会极大改进ES的速度和性能。 二、系统拓朴设计:  ES集群在架构拓朴时,一般都会采用Hot-Warm的架构模式,即设置3种不同类型的节点:Mast...

2018-10-09 12:59:04

阅读数:29

评论数:0

工作中通用短句

通用短句縮寫 ASAP as soon as possible 盡快 主管最常說這個了,讓人不得不加班!網友更 kuso 一部關於當商業 email 在現實生活使用的搞笑影片,裡面可以看到如何用 ASAP(偷偷說:1:05 的片段是小編寄 email 最常犯的錯)。 當Email語言在真實...

2018-10-09 11:04:53

阅读数:18

评论数:0

es Score Query优化查询

  通过Function Score Query   function_score查询是处理分值计算过程的终极工具。它让你能够对所有匹配了主查询的每份文档调用一个函数来调整甚至是完全替换原来的_score。 实际上,你可以通过设置过滤器来将查询得到的结果分成若干个子集,然后对每个子集使用不...

2018-10-08 18:08:19

阅读数:45

评论数:0

elasticsearch系统性能调优总结

elasticsearch性能调优 集群规划   独立的master节点,不存储数据, 数量不少于2 数据节点(Data Node) 查询节点(Query Node),起到负载均衡的作用 集群节点划分 整个集群的节点分为以下三种主要类型 Master nodes -- 负责维护集群状...

2018-10-08 11:00:29

阅读数:25

评论数:0

ES基本查询总结

ES与数据库比较  查询操作 Elasticsearch中当我们设置Mapping(分词器、字段类型)完毕后,就可以按照设定的方式导入数据。 有了数据后,我们就需要对数据进行检索操作。根据实际开发需要,往往我们需要支持包含但不限于以下类型的检索: 1)精确匹配,类似mysql中的 “...

2018-10-08 10:25:21

阅读数:41

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭