零度的博客专栏

原文出处：https://blog.csdn.net/qq_19598855/article/details/52420027日志分析任务1. ElasticSearch1.1 ElasticSearch安装从Elastic官网的Product选择ElasticSearch下载。 这里下载2.3.5版本，仅介绍Window下的安装。将下载好的zip包解压直接放在D盘，直接点击bin下的e...

全文搜索引擎会用某种算法对要建索引的文档进行分析， 从文档中提取出若干Token(词元)， 这些算法称为Tokenizer(分词器)；这些Token会被进一步处理， 比如转成小写等， 这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)， 文档中包含了几个这样的Term被称为Frequency(词频)。 引擎会建立Term和原文档的Inverted Ind...

{  "settings": {    "refresh_interval": "2s",    "number_of_shards": 5,    "number_of_replicas": 1,    "analysis": {      "filter": {        "edge_ngram_filter": {          &qu

在日常运维工作中，对于系统和业务日志的处理尤为重要。今天，在这里分享一下自己部署的ELK（+Redis）-开源实时日志分析平台的记录过程（仅依据本人的实际操作为例说明，如有误述，敬请指出）~================概念介绍================日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经...

假设日志文件中的每一行记录格式为json的，如：{"Method":"JSAPI.JSTicket","Message":"JSTicket:kgt8ON7yVITDhtdwci0qeZg4L-Dj1O5WF42Nog47n_0aGF4WPJDIF2UA9MeS8GzLe6MPjyp2WlzvsL0nlvkohw","CreateTime":"2015/10/13 9:39:59",&qu

一、跟着官网学习一下date插件      日期过滤器用于从字段中解析日期，然后使用该日期或时间戳作为事件的logstash时间戳。例如，syslog事件通常具有这样的时间戳：Bash"Apr 17 09:32:01"       你可以使用日期格式MMM dd HH：mm：ss来解析这个。日期过滤器对于排序事件和回填旧数据尤为重要。 如果您在活动中没有找到正确的日期，那么稍后搜索它们可能会排序错...

1、nginx日志格式化为json格式的配置（nginx日志json格式化请自行google）：input {  # 定义日志源# file {   #从文件中拉取   #    type => "log"   #    path => "D:/log/academy_*.log"   #    start_position => "beginning"    # ...

原文出处：https://blog.csdn.net/ming_311/article/details/50619859现在你已经安装了Kibana，现在你一步步通过本教程快速获取Kibana核心功能的实践经验。学习完本教程，你将：             1.加载案例数据到你安装的Elasticsearch中             2. 定义至少一个索引匹配模式             3.使...

系列教程本教程为利用ELK堆栈(Elasticsearch, Logstash与Kibana)在Ubuntu 14.04上实现集中式日志记录系列五篇中的第四篇。本教程亦为在CentOS 7上利用Logstash与Kibana实现集中式日志记录系列五篇中的第四篇。内容介绍Kibana 4是一套分析与可视化平台，构建于Elasticsearch之上，旨在帮助用户更好地实现数据理解。在本教程中，我们将从...

(1)环境;elasticsearch 2.4.2(2)：github上分支没有2.4.x版本的分支，笔者一度找了好久才找到下面一个版本关系对应表elasticsearch与search-guard以及search-guard-ssl：（3）： 进入elasticsearch的bin目录，执行命令安装search-guard./plugin install -b com.fl...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wwd0501/article/details/78652850 在使用 Elasticsearch 进行全文搜索时，搜索结果默认会以文档的相关度进行排序，如果想要改变默认的排序规则，也可以通过sort指定一个或多个排序字段。但是使用sort排序过于绝对，它会直接忽略掉文档本身的相关度（根...

一 前言    ElasticiSearch 简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。二  安装步骤2.1 E...

原文出处：https://blog.csdn.net/tianyaleixiaowu/article/details/76149547Spring-data-elasticsearch是Spring提供的操作ElasticSearch的数据层，封装了大量的基础操作，通过它可以很方便的操作ElasticSearch的数据。版本说明ElasticSearch目前最新的已到5.5.1spring dat...

现在你已经安装了Kibana，现在你一步步通过本教程快速获取Kibana核心功能的实践经验。学习完本教程，你将：             1.加载案例数据到你安装的Elasticsearch中             2. 定义至少一个索引匹配模式             3.使用Discover功能探索你的数据             4.建立一个visualization图形化地展示你的数据 ...

原文出处：http://www.cnblogs.com/zlslch/p/6440373.htmlelasticsearch官方默认的分词插件　　1、elasticsearch官方默认的分词插件，对中文分词效果不理想。　　比如，我现在，拿个具体实例来展现下，验证为什么，es官网提供的分词插件对中文分词而言，效果差。[hadoop@HadoopMaster elasticsearch-2.4.3]$...

原文出处：https://www.cnblogs.com/zlslch/p/6440891.html      前提，Elasticsearch之中文分词器插件es-ik 针对一些特殊的词语在分词的时候也需要能够识别　　有人会问，那么，例如：　　　　　　　　　　如果我想根据自己的本家姓氏来查询，如zhouls，姓氏“周”。　　　　　　　　      如果我想根据自己的公司名称来查询，如“好记性不如...

原文出处：http://www.cnblogs.com/zlslch/p/6419948.html此elasticsearch-.yml配置文件，是在$ES_HOME/config/下 elasticsearch-.yml（中文配置详解）# ======================== Elasticsearch Configuration =========================#...

原文出处：使用curl命令操作elasticsearch第一：_cat系列 _cat系列提供了一系列查询elasticsearch集群状态的接口。你可以通过执行 curl -XGET localhost:9200/_cat 获取所有_cat系列的操作 =^.^= /_cat/allocation /_cat/shards /_cat/shards/{index} /_cat/master /_ca...

原文出处：http://www.cnblogs.com/zlslch/p/6441315.html前提Elasticsearch之中文分词器插件es-ik的自定义词库先声明，热更新词库，需要用到，web项目和Tomcat。不会的，请移步Eclipse下Maven新建项目、自动打依赖jar包（包含普通项目和Web项目）Tomcat *的安装和运行（绿色版和安装版都适用）Tomcat的配置文件详解1：...

如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在处理中文的时候会把中文单词切分成一个一个的汉字，因此引入中文的分词器就能解决这个问题。本篇文章按照下面的内容进行描述：分词器的作...

原文地址：https://segmentfault.com/a/1190000010975383简述ELK实际上是三个工具的集合，ElasticSearch + Logstash + Kibana，这三个工具组合形成了一套实用、易用的监控架构，很多公司利用它来搭建可视化的海量日志分析平台。 官网下载地址：https://www.elastic.co/downloadsElasticsearch是...

业务需求（使用背景）：实现搜索引擎前缀搜索功能(中文,拼音前缀查询及简拼前缀查询功能)实现摘要全文检索功能，及标题加权处理功能(按照标题权值高内容权值相对低的权值分配规则，按照索引的相关性进行排序，列出前20条相关性最高的文章)一、搜索引擎前缀搜索功能：中文搜索： 1、搜索“刘”，匹配到“刘德华”、“刘斌”、“刘德志” 2、搜索“刘德”，匹配到“刘德华”、“刘德志” 小结：搜索的文字需要匹配到集合...

原文出处：https://blog.csdn.net/tianyaleixiaowu/article/details/77965257ElasticsearchTemplate是Spring对ES的java api进行的封装，提供了大量的相关的类来完成各种各样的查询。在日常的使用中，应该说最常用的查询就是queryList方法。[java] view plain copy print?public...

head插件安装（google）本地访问地址：http://127.0.0.1:9200/_plugin/head/RESTful接口URL的格式：http://localhost:9200/<index>/<type>/[<id>]1、使用对应分词器进行分析：url：http://127.0.0.1:9200/i_entity/_analyze...