elk
elk
优惠券已抵扣
余额抵扣
还需支付
¥39.90
¥99.00
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
scan724
这个作者很懒,什么都没留下…
展开
-
elk工作原理
这个配置文件,是读取nginx日志写入到rediszjtest7-redis:/usr/local/logstash-2.3.4/config# cat logstash_agent.conf input { file { type => "nginx_access" path => ["/usr/local/n原创 2016-07-22 18:00:23 · 2258 阅读 · 0 评论 -
zookeeper 数据存储特点
zookeeper 和elasticseaarch 数据存储特点:1.zookeeper;【Zookeeper提供的一致性是弱一致性,首先数据的复制有如下规则:zookeeper确保对znode树的每一个修改都会被复制到集合体中超过半数的机器上。那么就有可能有节点的数据不是最新的而被客户端访问到。并且会有一个时间点,在集群中是不一致的.也就是Zookeeper只保证最终一致性,原创 2016-08-02 14:21:11 · 738 阅读 · 0 评论 -
elk 数据存储
让我们在集群中唯一一个空节点上创建一个叫做blogs的索引,默认情况下,一个索引被分配5个主分片,但是为了演示的目的, 我们只分配3个主分片和一个复制分片(每个主分片都有一个复制分片):PUT /blogs{"settings" : {"number_of_shards" : 3,"number_of_replicas" : 1}}原创 2016-08-02 15:48:01 · 2405 阅读 · 0 评论 -
分布式集群
一个节点(node) 就是一个Elasticsearch 实例,而一个集群(cluaster) 由一个或多个节点组成,它们具有相同的cluster.name,它们协调工作,分享数据和负载。当加入新的节点或者删除一个节点时,集群就会感知并平衡数据。添加索引:为了将数据添加到Elasticsearch,我们需要索引(index)---一个存储关联数据的地方,实际上,索引只是一个用原创 2016-08-02 16:49:08 · 450 阅读 · 0 评论 -
elk 分布式部署
这个logstash 读取日志 是增量的 还是怎么读的?定时每秒读增量机器配置;elasticsearch-192.168.32.80elasticsearch-192.168.32.81elasticsearch-192.168.32.82redis-192.168.32.67logstash-192.168.32.76日志需要传送到logstash原创 2016-08-02 19:03:16 · 1324 阅读 · 0 评论 -
elk 日志处理的一点思路
zjtest7-frontend:/usr/local/logstash-2.3.4/bin# ./logstash -f ../config/logstash_agent.conf zjtest7-frontend:/usr/local/logstash-2.3.4/bin# ./logstash -f ../config/logstash_indexer.conf你可以在每一个原创 2016-08-02 22:34:45 · 943 阅读 · 0 评论 -
第一章 入门示例
1.命令行运行在终端中, 像下面这样运行命令来启动Logstash 进程:[elk@zjtest7-frontend bin]$ ./logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'[elk@zjtest7-frontend bin]$ ./logstash -e 'input{stdin{}}output{st原创 2016-08-18 14:51:27 · 286 阅读 · 0 评论 -
perl 正则命名捕获
#!/usr/bin/perl -w =pod 命名捕获--给匹配上的内容加上标签 捕获到的内容都会保存在%+散列中,这个散列的key为对应的标签; 方便之处就是利于程序扩展和阅读,不用繁琐的一个一个去数括号来获取匹配变量 =cut zjtest7-frontend:/root/perl# cat a2.pl use strict; my $str = "jack and原创 2016-08-19 09:46:02 · 1963 阅读 · 0 评论 -
perl /m修饰符使用说明
高级用法;多行匹配:grok正则和普通正则一样, 默认是不支持匹配回车换行的。perl的/m选项The /m modifier allows ^ and $ to match immediately before and after an embedded newline, respectively. /^=head[1-7]/m would match that patte原创 2016-08-19 10:21:50 · 3356 阅读 · 0 评论 -
rsyslog 读日志文件 ,当rsyslog 中断时,也会丢数据
rsyslog 日志服务器;[root@dr-mysql01 winfae_log]# grep scan0819 wj-proxy01-catalina.out.2016-08-19 [root@dr-mysql01 winfae_log]#源端服务器:[tomcat@Proxy01 logs]$ grep scan0819 catalina.out [tomcat@Proxy0原创 2016-08-19 11:26:02 · 1312 阅读 · 0 评论 -
logstash 操作redis
在实际应用中,Logstash进程会被氛围两个不同的角色。运行在应用服务器上的尽量减轻运行压力,只做读取和转发,这个角色叫做shipper运行在独立的服务器上完成数据解析处理,负责写入到Elasticsearch的角色,叫做Indexer5.1.1 读取redis 数据:zjtest7-frontend:/usr/local/logstash-2.3.4/config# .原创 2016-08-19 16:30:59 · 5853 阅读 · 0 评论 -
elasticsearch 索引 类型 id
zjtest7-frontend:/usr/local/logstash-2.3.4/config# cat logstash_indexer01.conf input { redis { host => "192.168.32.67" data_type => "list"原创 2016-08-22 13:52:45 · 3552 阅读 · 0 评论 -
rsyslog 直接读取日志,当日志截断后,不会继续发送
rsyslog web机器上日志被截断,那么就不会发送到rsyslog服务器因为imfile记录了offset,然后你直接>导致offset还没到原创 2016-08-04 17:36:08 · 2293 阅读 · 0 评论 -
elk之nginx
elk之nginx: ignore_older => 86400,不处理一天以前的文件。zjtest7-frontend:/usr/local/logstash-2.3.4/config# cat logstash_agent.conf input { file { type => "zj_nginx_access"原创 2016-08-11 15:13:31 · 568 阅读 · 0 评论 -
1.elk 入门示例
zjtest7-frontend:/usr/local/logstash-2.3.4/bin# ./logstash -e 'input{stdin{}} output{stdout{codec=>rubydebug}}'Settings: Default pipeline workers: 1Pipeline main startedHello World{ "messag原创 2016-08-25 10:50:46 · 743 阅读 · 0 评论 -
Logstash type来标记事件类型,通过type判断
/*************** 根据type判断input { file { type => "zj_frontend_access" path => ["/data01/applog_backup/zjzc_log/zj-frontend0*access*"] } file原创 2016-08-25 11:27:33 · 2089 阅读 · 0 评论 -
elk 添加节点
elk 添加节点:cluster.name: es_clusternode.name: node03path.data: /elk/elasticsearch/datapath.logs: /elk/elasticsearch/logsnetwork.host: 192.168.32.82network.port: 9200zjtest7-haproxy:/usr/local/原创 2016-08-02 13:23:27 · 1528 阅读 · 0 评论 -
入门
集群和节点:节点(node) 是一个运行着的Elasticsearch 实例, 集群(cluster)是一组具有相同cluster.name 的节点集合可以组成一个集群。你最好找一个合适的名字带替换cluster.name的默认值,这样可以防止一个新启动的节点加入到相同的网络中cluster.name: es_clusternode.name: node01path.data原创 2016-08-02 11:18:35 · 815 阅读 · 0 评论 -
nginx 1.4.7 发送日志到rsyslog
tar -xzf nginx-1.4.7.tar.gz# cd nginx-1.4.77# ./configure --user=www --group=www --prefix=/usr/local/nginx \--with-http_stub_status_module --with-http_ssl_module --with-http_gzip_static_module \--原创 2016-08-05 10:59:14 · 1274 阅读 · 0 评论 -
elk 索引
zjtest7-redis:/usr/local/logstash-2.3.4/config# cat logstash_agent.conf input { file { type => "nginx_access" path => ["/usr/local/nginx/logs/test.access.log"]原创 2016-07-22 22:28:06 · 5042 阅读 · 0 评论 -
elk 搭建
elk 平台搭建:ELK平台搭建系统环境System: Centos release 6.7 (Final)ElasticSearch: 2.1.0Logstash: 2.1.1Kibana: 4.3.0Java: openjdk version "1.8.0_65"注:由于Logstash的运行依赖于Java环境, 而Logstash 1.5以上版本不低于jav原创 2016-07-26 17:38:41 · 2122 阅读 · 1 评论 -
elk 架构
原创 2016-07-26 17:53:17 · 928 阅读 · 0 评论 -
01_什么是Elasticsearch
Logstash是一个开源的用于收集,分析和存储日志的工具。 Kibana4用来搜索和查看Logstash已索引的日志的web接口。这两个工具都基于Elasticsearch。Logstash: Logstash服务的组件,用于处理传入的日志。Elasticsearch: 存储所有日志Kibana 4: 用于搜索和可视化的日志的Web界面,通过nginx反代Logstash F原创 2016-07-27 15:10:59 · 414 阅读 · 0 评论 -
curl 返回响应头
demo:/root# curl -i baidu.comHTTP/1.1 200 OKDate: Wed, 27 Jul 2016 08:50:03 GMTContent-Type: text/html; charset=utf-8Transfer-Encoding: chunkedConnection: Keep-AliveVary: Accept-EncodingSet-Coo原创 2016-07-27 16:52:14 · 4675 阅读 · 0 评论 -
elasticsearch集群部署
启动elk:zjtest7-redis:/usr/local/elasticsearch-2.3.4/bin# ./elasticsearch -d 后台运行访问;http://192.168.32.80:9200/{ "name" : "node01", "cluster_name" : "es_cluster", "version" : { "numbe原创 2016-07-28 17:55:25 · 626 阅读 · 0 评论 -
安装 插件,查看插件
zjtest7-redis:/usr/local/elasticsearch-2.3.4/bin# ./plugin listInstalled plugins in /usr/local/elasticsearch-2.3.4/plugins: - headzjtest7-redis:/usr/local/elasticsearch-2.3.4/bin# ./plugin inst原创 2016-07-29 11:21:17 · 1091 阅读 · 0 评论 -
mget 同时获取
mget 同时获取:http://192.168.32.81:9200/_mget POST{ "docs" :[ { "_index":"library", "_type" :"books", "_id": 1 }, { "_index":"library", "_type"原创 2016-07-29 16:43:52 · 1272 阅读 · 0 评论 -
Elasticsearch 单模式下API的增删改查操作
Elasticsearch 单模式下API的增删改查操作http://192.168.32.80:9200/library/ PUT{"settings":{"index":{"number_of_shards":5,"number_of_replicas":1}}}可以通过GET带商参数settings可以获得该索引详细的配置原创 2016-07-29 15:54:10 · 686 阅读 · 0 评论 -
elk 分布式数据同步
zjtest7-redis:/elk/elasticsearch/data/es_cluster/nodes/0/indices/library# strings ./1/index/_3.cfs | grep scanscanaabbccscanaabbccscanaabbccscanaabbcc{"titile":"Elasticsearch: The Defintive Guid原创 2016-07-29 17:32:24 · 1007 阅读 · 0 评论 -
rsyslog 基本组成
Facility 定义日志消息的来源,以方便对日志进行分类,facility 有以下几种:--kern 内核消息--user 用户级消息--mail 邮件系统消息--daemon 系统服务消息--auth 认证系统消息--syslog 日志系统自身消息--lpr 打印系统消息--cron 定时任务消息Pri原创 2016-08-04 10:30:24 · 592 阅读 · 1 评论 -
升级automake和autoconf
cd . && /bin/sh /root/soft/json-c-json-c-0.12-20140410/missing automake-1.14 --gnu/root/soft/json-c-json-c-0.12-20140410/missing: line 81: automake-1.14: command not foundWARNING: 'automake-1.14' is原创 2016-08-04 15:20:01 · 11508 阅读 · 0 评论 -
rsyslogd: error during parsing file /etc/rsyslog.conf, on or before line 55: warnings occured in fil
zjtest7-frontend:/root# rsyslogd -nrsyslogd: error during parsing file /etc/rsyslog.conf, on or before line 55: warnings occured in file '/etc/rsyslog.conf' around line 55 [v8.15.0 try http://www.rsy原创 2016-08-04 16:37:31 · 3555 阅读 · 0 评论 -
elaserch 查看节点是否是master
http://192.168.32.81:9200/_cat/nodes192.168.32.81 192.168.32.81 3 21 0.00 d * node02 192.168.32.80 192.168.32.80 4 41 0.00 d m node01原创 2016-08-01 13:19:00 · 691 阅读 · 0 评论 -
1.Getting Started
Elasticsearch 是一个高度扩展的开源的全文搜索和分析引擎,它允许你存储,搜索和分析大量的数据和几乎实时。它通常用于底层的存储.技术,提供应用实现负载的搜索功能和需求。这里有一些使用的示例,Elasticsearch 可以使用:1.你可以运行一个在线的web 商店,你允许你的客户来搜索你出事的产品,在这种情况下, 你可以使用Elasticsearch 来存储你的整原创 2016-08-01 14:17:09 · 347 阅读 · 0 评论 -
elasearch 版本控制
http://192.168.32.81:9200/library/books/8/ GET{ "_index": "library", "_type": "books", "_id": "8", "_version": 1, "found": true, "_source": {原创 2016-08-01 15:49:10 · 828 阅读 · 0 评论 -
分布式里数据保证容错性有两种方法.
第一种.没一个节点的数据都相同.即master->多slave模式. 例如zookeeper第二种.每一个节点的数据都不太一样.即metadata_server->data_server 例如elasticsearch原创 2016-08-02 16:00:45 · 3034 阅读 · 0 评论