Logstash type来标记事件类型,通过type判断

/*************** 根据type判断 input { file { type => "zj_frontend_access" path => ["/data01/...

2016-08-25 11:27:33

阅读数:975

评论数:0

1.elk 入门示例

zjtest7-frontend:/usr/local/logstash-2.3.4/bin# ./logstash -e 'input{stdin{}} output{stdout{codec=>rubydebug}}' Settings: Default pipeline workers...

2016-08-25 10:50:46

阅读数:448

评论数:0

插件配置

grok 正则捕获: grok 是Logstash 最重要的插件, 你可以在grok 里预定义好命名正则表达式,在稍后(grok 参数或者其他正则表达式里)引用它。 2.3.3 GeoIP 地址查询; GeoIP 是最常见的免费IP地址归类查询库, 同时也有收费版可以采购。GeoIP库可以...

2016-08-23 17:40:51

阅读数:178

评论数:0

elasticsearch 索引 类型 id

zjtest7-frontend:/usr/local/logstash-2.3.4/config# cat logstash_indexer01.conf  input {         redis {                 host => "192.168.3...

2016-08-22 13:52:45

阅读数:1696

评论数:0

logstash 操作redis

在实际应用中,Logstash进程会被氛围两个不同的角色。 运行在应用服务器上的尽量减轻运行压力,只做读取和转发,这个角色叫做shipper 运行在独立的服务器上完成数据解析处理,负责写入到Elasticsearch的角色,叫做Indexer 5.1.1 读取redis 数据: z...

2016-08-19 16:30:59

阅读数:4415

评论数:0

rsyslog 读日志文件 ,当rsyslog 中断时,也会丢数据

rsyslog 日志服务器; [root@dr-mysql01 winfae_log]# grep scan0819 wj-proxy01-catalina.out.2016-08-19 [root@dr-mysql01 winfae_log]# 源端服务器: [tomcat@Proxy0...

2016-08-19 11:26:02

阅读数:656

评论数:0

perl /m修饰符使用说明

高级用法; 多行匹配: grok正则和普通正则一样, 默认是不支持匹配回车换行的。 perl的/m选项 The /m modifier allows ^ and $ to match immediately before and after an embedded newline, ...

2016-08-19 10:21:50

阅读数:988

评论数:0

perl 正则命名捕获

#!/usr/bin/perl -w =pod 命名捕获--给匹配上的内容加上标签 捕获到的内容都会保存在%+散列中,这个散列的key为对应的标签; 方便之处就是利于程序扩展和阅读,不用繁琐的一个一个去数括号来获取匹配变量 =cut zjtest7-frontend:/root...

2016-08-19 09:46:02

阅读数:1102

评论数:0

第一章 入门示例

1.命令行运行 在终端中, 像下面这样运行命令来启动Logstash 进程: [elk@zjtest7-frontend bin]$ ./logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}' [elk@zjtest7...

2016-08-18 14:51:27

阅读数:163

评论数:0

elk之nginx

elk之nginx: ignore_older => 86400,不处理一天以前的文件。 zjtest7-frontend:/usr/local/logstash-2.3.4/config# cat logstash_agent.conf input { file...

2016-08-11 15:13:31

阅读数:330

评论数:0

nginx 1.4.7 发送日志到rsyslog

tar -xzf nginx-1.4.7.tar.gz # cd nginx-1.4.77 # ./configure --user=www --group=www --prefix=/usr/local/nginx \ --with-http_stub_status_module --with-...

2016-08-05 10:59:14

阅读数:691

评论数:0

rsyslog 直接读取日志,当日志截断后,不会继续发送

rsyslog web机器上日志被截断,那么就不会发送到rsyslog服务器 因为imfile记录了offset,然后你直接>导致offset还没到

2016-08-04 17:36:08

阅读数:1092

评论数:0

rsyslogd: error during parsing file /etc/rsyslog.conf, on or before line 55: warnings occured in fil

zjtest7-frontend:/root# rsyslogd -n rsyslogd: error during parsing file /etc/rsyslog.conf, on or before line 55: warnings occured in file '/etc/rsysl...

2016-08-04 16:37:31

阅读数:1234

评论数:0

升级automake和autoconf

cd . && /bin/sh /root/soft/json-c-json-c-0.12-20140410/missing automake-1.14 --gnu /root/soft/json-c-json-c-0.12-20140410/missing: line 81: a...

2016-08-04 15:20:01

阅读数:4670

评论数:0

rsyslog 基本组成

Facility 定义日志消息的来源,以方便对日志进行分类,facility 有以下几种: --kern 内核消息 --user 用户级消息 --mail 邮件系统消息 --daemon 系统服务消息 --auth 认证系统消息 --syslog ...

2016-08-04 10:30:24

阅读数:362

评论数:1

elk 日志处理的一点思路

zjtest7-frontend:/usr/local/logstash-2.3.4/bin# ./logstash -f ../config/logstash_agent.conf zjtest7-frontend:/usr/local/logstash-2.3.4/bin# ./log...

2016-08-02 22:34:45

阅读数:566

评论数:0

elk 分布式部署

这个logstash 读取日志 是增量的 还是怎么读的? 定时每秒读增量 机器配置; elasticsearch-192.168.32.80 elasticsearch-192.168.32.81 elasticsearch-192.168.32.82 redis-192.16...

2016-08-02 19:03:16

阅读数:973

评论数:0

分布式集群

一个节点(node) 就是一个Elasticsearch 实例,而一个集群(cluaster) 由一个或多个节点组成, 它们具有相同的cluster.name,它们协调工作,分享数据和负载。 当加入新的节点或者删除一个节点时,集群就会感知并平衡数据。 添加索引: 为了将数据添加到Elast...

2016-08-02 16:49:08

阅读数:218

评论数:0

分布式里数据保证容错性有两种方法.

第一种.没一个节点的数据都相同.即master->多slave模式. 例如zookeeper 第二种.每一个节点的数据都不太一样.即metadata_server->data_server 例如elasticsearch

2016-08-02 16:00:45

阅读数:1638

评论数:0

elk 数据存储

让我们在集群中唯一一个空节点上创建一个叫做blogs的索引,默认情况下,一个索引被分配5个主分片, 但是为了演示的目的, 我们只分配3个主分片和一个复制分片(每个主分片都有一个复制分片): PUT /blogs { "settings" : { "number...

2016-08-02 15:48:01

阅读数:1272

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭