- 博客(116)
- 收藏
- 关注
RSS订阅原创 Filter Conditions 过滤条件
Filter Conditions 过滤条件:Rsyslog 提供4种不同类型的"filter 条件""传统的" severity and facility 基于selectors:基于属性的过滤器基于表达式的过滤Selectors 选择器选择器是过滤消息传统的方式, 它们被保存在 rsyslog 使用原来的语法,因为它是众所周知的,高效和用于兼容 stock sys
2016-09-30 17:00:03
1941
原创 rsyslog Properties 属性:
rsyslog Properties 属性:数据项 在rsyslog 是被称为 “properties”. 它们可以有不同的源,最重要的是 那些来自接收的消息,但是还有其他。当你要访问数据items,你需要访问各自的属性使用的属性:templates条件语句:属性名字不区分大小写消息属性:那些通过rsyslog 解析器从原始消息提取的,所有的消息属性以字母开
2016-09-30 14:49:47
1206
原创 nginx对比haproxy 的反向代理
-bash-4.1# ip add | grep inet inet 172.17.0.7/16 scope global eth0 inet6 fe80::42:acff:fe11:7/64 scope link inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host inet 192.168.3
2016-09-30 13:28:22
1659
原创 Templates 模板:
Templates 模板:########################温金$template wj-flow01,"/data01/applog_backup/winfae_log/wj-flow01-catalina.out.%$year%-%$month%-%$day%" #定义TC：日志存放路径$template wj-flow02,"/data01/applog_b
2016-09-30 10:51:41
986
原创 1.Basic Structure
配置:rsyslogd 配置通过rsyslog.conf file,典型的在/etc下。默认的,rsyslogd 读取/etc/rsyslog.conf 文件,这个可以通过命令行选项改变注意 配置可以通过在线rsyslog 配置创建工具生成配置文件例子可以在rsyslog wiki找到, 同时保留rsyslog 配置片段在你的脑子里。基本结构:本节描述 rsyslog 配
2016-09-29 15:26:33
468
原创 rsyslog 同步丢失问题
[root@dr-mysql01 zjzc_log]# wc -l localhost_access_log.2016-09-27.txt 24004 localhost_access_log.2016-09-27.txt[root@dr-mysql01 zjzc_log]# wc -l aa 23989 aa差15行日志
2016-09-28 21:58:32
807
原创 8.2.1.4 Index Merge Optimization 索引合并优化:
8.2.1.4 Index Merge Optimization 索引合并优化:索引合并方法是用于检索记录 使用多个 范围扫描和合并它们的结果集到一起mysql> show index from ClientInvestOrder;+-------------------+------------+------------------------+--------------+-----
2016-09-28 13:51:13
448
原创 8.2.1.3 Range Optimization
8.2.1.3 Range Optimization 范围访问方法使用一个单个的索引来检索表记录的自己,包含在一个或者索引值区间。它可以用于一个单独的部分或者多个部分的索引,下面章节给出了一个详细的描述关于如何从WHERE 子句中提取区间8.2.1.3.1 范围访问方法用于单部分索引对于一个单部分索引,索引值区间可以方便的体现通过相应的条件在WHERE子句,表示为范围条件,而
2016-09-28 10:57:07
413
原创 8.2.1.2 How MySQL Optimizes WHERE Clauses MySQL 优化WHERE 子句
8.2.1.2 How MySQL Optimizes WHERE Clauses MySQL 优化WHERE 子句本节讨论优化用于处理WHERE子句, 例子是使用SELECT 语句,但是相同的优化应用于WHERE子句在DELETE和UPDATE子句注意:因为MYSQL优化是不间断的,不是所有的MYSQL 优化都记录在这里你可能尝试重写你的查询让运算操作更快,同时牺牲可读。
2016-09-27 18:13:22
106
原创 8.2.1.1 Speed of SELECT Statements 加速SELECT 语句
8.2.1 Optimizing SELECT Statements8.2.2 Optimizing Data Change Statements8.2.3 Optimizing Database Privileges8.2.4 Optimizing INFORMATION_SCHEMA Queries8.2.5 Other Optimization Tips一个核心的数据库应用逻辑
2016-09-27 16:59:55
106
原创 zabbix 插件使用问题
[elk@dr-mysql01 frontend]$ ../../bin/logstash -f std02.conf Settings: Default pipeline workers: 8Pipeline main started31`31`ArgumentError: comparison of String with 5 failed >= at org
2016-09-27 13:47:19
1556
原创 use "man rsyslogd" for details. To run rsyslog interactively, use "rsyslogd -n"to run it in debug mo
zjtest7-frontend:/root# service rsyslog startStarting system logger: usage: rsyslogd [options]use "man rsyslogd" for details. To run rsyslog interactively, use "rsyslogd -n"to run it in debug mode u
2016-09-27 10:01:39
794
原创 rsyslog 日志服务器接收日志权限问题
rsyslog 权限；默认[root@dr-mysql01 zjzc_log]# ls -ltr zj-frontend0*-access*27-rw------- 1 root root 322 Sep 27 07:55 zj-frontend02-access.2016-09-27600$FileOwner elk$FileGroup elk$FileCreateMode
2016-09-27 08:00:00
4835
原创 rsyslog kill 测试重发例子
[root@dr-mysql01 zjzc_log]# >zj-frontend01-error.2016-09-26[root@dr-mysql01 zjzc_log]# [root@dr-mysql01 zjzc_log]# cat zj-frontend01-error.2016-09-26You have mail in /var/spool/mail/root[root@dr
2016-09-26 19:51:30
457
原创 rsyslog 直接kill进程,在重新启动会全部发送日志
jrhapt11:/root# ps -ef | grep rsyslogroot 8233 1 0 17:42 ? 00:00:00 /sbin/rsyslogd -i /var/run/syslogd.pidroot 8342 8147 0 17:43 pts/1 00:00:00 grep rsyslogjrhapt11:/root
2016-09-26 18:01:49
3481
原创 2016.08.13/2/index/_d_Lucene54_0.dvm: Too many open files
er[file_system_exception: /elk/elasticsearch/data/es_cluster/nodes/0/indices/logstash-zjzc-frontend-access-2016.08.13/2/index/_d_Lucene54_0.dvm: Too many open files];Caused by: [logstash-zjzc-fronten
2016-09-26 14:42:26
594
原创 /usr/lib64/python2.6/site-packages/pycurl.so: undefined symbol: CRYPTO_set_locking_callback
[root@frontend01 yum.repos.d]# cd /etc/yum.repos.d;wget http://rpms.adiscon.com/v8-stable/rsyslog.repo--2016-09-26 10:25:40-- http://rpms.adiscon.com/v8-stable/rsyslog.repoResolving rpms.adiscon.co
2016-09-26 11:28:20
2787
原创 rsyslog 读取单个文件测试
rsyslog 测试(rsyslog 必须yum 安装uat-web02:/root# rpm -qa | grep rsyslogrsyslog-8.21.0-1.el6.x86_64)//读取单个文件测试:客户端发送:uat-web02:/var/log/nginx# echo "zjzc-111222333444qwe" >>scan.log uat-web02:/var
2016-09-26 10:10:09
1079
原创 注意:rsyslog 源码安装 会出现日志重复发的情况,需要rpm包安装
cd /etc/yum.repos.d;wget http://rpms.adiscon.com/v8-stable/rsyslog.repouat-web02:/etc/yum.repos.d# ls -ltrtotal 32-rw-r--r--. 1 root root 4528 Dec 1 2013 CentOS-Vault.repo-rw-r--r--. 1 root root
2016-09-26 09:37:50
1864
原创 客户端把rsyslog重启,就会发送全部日志 --待研究
客户端:uat-web02:/var/log/nginx# echo "scan-cccc21231">>scan.log uat-web02:/var/log/nginx# cat scan.log scan-aaaaaaaaaaaaabbbbb21231scan-bbbbb21231scan-cccc21231服务端:zjtest7-frontend:/data/scan
2016-09-25 22:39:45
1157
原创 rsyslog 一重启就会开始同步之前所有通配的日志文件
[root@dr-mysql01 zjzc_log]# grep '24/Sep/2016' zj-api-access01.2016-09-25 | wc -l0[root@dr-mysql01 zjzc_log]# [root@dr-mysql01 zjzc_log]# [root@dr-mysql01 zjzc_log]# grep '24/Sep/2016' zj-api-acce
2016-09-25 08:35:19
1237
1
原创 rsyslog 只读取变化的日志
10.252.142.174 - - [24/Sep/2016:10:26:21 +0800] "GET /api/validate/code/send?mobilePhone=18627975523&messageType=1&_=1454297673274 HTTP/1.1" 200 52 0.013 27.187.187.138 10.252.142.174 - - [23/Sep/201
2016-09-24 10:29:04
1311
原创 响应头location 页面跳转
登陆；http://192.168.32.161/DEVOPS/index.php/Index/do_loginCache-Control no-store, no-cache, must-revalidate, post-check=0, pre-check=0Connection Keep-AliveContent-Encoding gzipContent-Length
2016-09-23 22:48:02
4246
原创 8.1 Optimization Overview
8.1 Optimization Overview 8.1 Optimization Overview8.2 Optimizing SQL Statements 8.3 Optimization and Indexes 8.4 Optimizing Database Structure 8.5 Optimizing for InnoDB Tables
2016-09-23 17:56:45
335
原创 redis 验证消息队列也是写磁盘的
# 下面的例子将会进行把数据写入磁盘的操作:# 900秒（15分钟）之后，且至少1次变更# 300秒（5分钟）之后，且至少10次变更# 60秒之后，且至少10000次变更## 注意：你要想不写磁盘的话就把所有 "save" 设置注释掉就行了。save 900 1save 300 10save 60 10000redis01:/data01/redis# cat /etc/r
2016-09-23 13:39:00
752
原创 通过代理访问nginx和直接访问nginx区别
80.82.78.38 [23/Sep/2016:05:36:18 +0800] "GET http://www.baidu.com/cache/global/img/gs.gif HTTP/1.1" - 404 162 "-" "Mozilla" 0.000 - 80.82.78.38 - - [22/Sep/2016:20:37:47 +0800] "GET /cache/global/i
2016-09-23 09:39:44
2200
原创 logstash nginx 报ArgumentError: comparison of String with 5 failed
80.82.78.38 [23/Sep/2016:05:36:18 +0800] "GET http://www.baidu.com/cache/global/img/gs.gif HTTP/1.1" - 404 162 "-" "Mozilla" 0.000 - 需要补一刀； %{IPORHOST:clientip} \[%{HTTPDATE:time}\] "%{WORD:verb}
2016-09-23 08:11:09
686
原创 logstash 处理tomcat access报ArgumentError: comparison of String with 5 failed
10.168.102.19 - - [22/Sep/2016:20:35:11 +0800] "POST /api/client/asset HTTP/1.1" 200 430 0.047 121.43.145.64 10.168.102.19 - - [22/Sep/2016:20:37:11 +0800] "POST /api/common/getdate HTTP/1.1" 200 17
2016-09-22 22:29:20
872
原创 logstash tomcat catalina.out zabbix 插件不会引起崩溃
input { file { type => "zj_api" path => ["/data01/applog_backup/zjzc_log/zj-api*catalina*"] } file { type => "wj_api"
2016-09-22 21:10:38
620
原创 logstash ArgumentError: comparison of String with 5 failed
ArgumentError: comparison of String with 5 failed >= at org/jruby/RubyComparable.java:155 >= at org/jruby/RubyString.java:1853 output_func at (eval):145 output_batch a
2016-09-22 18:40:57
882
原创 perl 登录某网站
use Net::SMTP;use LWP::UserAgent;use HTTP::Cookies;use HTTP::Headers;use HTTP::Response;use Encode;use File::Temp qw/tempfile/;use HTTP::Date qw(time2iso str2time time2iso time2isoz);my $ua =
2016-09-22 15:34:15
1005
原创 logstash 发送zabbix 给消息加上type
input { file { type => "zj_api" path => ["/data01/applog_backup/zjzc_log/zj-api*catalina*"] } file { type => "wj_api"
2016-09-22 10:45:13
1141
1
原创 logstash 各种时间转换
2016-09-21 19:10:01,538 INFO com.zjzc.common.utils.HttpUtil - 返回结果：retCode=0000,返回值： {"data":{"orderNo":"2016092119061427857473cba55d544c","cardNo":"6226690800882527","status":3},"enableModify":true,"
2016-09-21 19:36:41
22323
8
原创 logstash tomcat catalina.out 告警
[elk@dr-mysql01 tomcat]$ cat logstash_tomcat.confinput { file { type => "zj_api" path => ["/data01/applog_backup/zjzc_log/zj-api*catalina*"] }
2016-09-21 17:02:06
2008
原创 perl post 请求相关参数
$ua->post( $url, \%form ) $ua->post( $url, \@form ) $ua->post( $url, \%form, $field_name => $value, ... ) $ua->post( $url, $field_name => $value,... Content => \%form ) $ua->post( $url
2016-09-21 15:31:22
1407
原创 mysql sql优化<1>
explain SELECT t.* FROM ( SELECT t1.sn AS clientSn, t1.userNick, t1.mobilePhone, t3.personName, t2.availableBalance, (SELECT IFNULL(SUM(amount) , 0) FROM ClientRechargeOrde
2016-09-21 09:42:37
310
原创 iptables 必须先拒绝所有,在允许
[root@wx02 ~]# cat /etc/sysconfig/iptables# Generated by iptables-save v1.4.7 on Tue Sep 20 11:18:45 2016*filter:INPUT ACCEPT [100:5792]:FORWARD ACCEPT [0:0]:OUTPUT ACCEPT [104:8990]COMMIT# Com
2016-09-20 11:44:21
14103
1
原创 iptables 顺序
-A INPUT -s 115.236.6.6/32 -p udp -m udp --dport 111 -j ACCEPT-A INPUT -s 10.175.197.98/32 -p udp -m udp --dport 111 -j ACCEPT-A INPUT -s 10.171.254.221/32 -p udp -m udp --dport 111 -j ACCEPT-A INP
2016-09-20 11:31:16
621
原创 针对portmap 的DDOS攻击
iptables -I INPUT -p tcp --dport 111 -j DROPiptables -I INPUT -s 10.171.254.221 -p tcp --dport 111 -j ACCEPTiptables -I INPUT -s 10.175.197.98 -p tcp --dport 111 -j ACCEPTiptables -I INPUT -s 115.2
2016-09-20 10:41:59
2690
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人