自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(116)
  • 收藏
  • 关注

原创 Filter Conditions 过滤条件

Filter Conditions 过滤条件:Rsyslog 提供4种不同类型的"filter 条件""传统的" severity and facility 基于selectors:基于属性的过滤器基于表达式的过滤Selectors 选择器选择器是过滤消息传统的方式, 它们被保存在 rsyslog 使用原来的语法,因为它是众所周知的,高效和用于兼容 stock sys

2016-09-30 17:00:03 1941

原创 rsyslog Properties 属性:

rsyslog Properties 属性:数据项 在rsyslog 是被称为 “properties”. 它们可以有不同的源,最重要的是 那些来自接收的消息,但是还有其他。当你要访问数据items,你需要访问各自的属性使用的属性:templates条件语句:属性名字不区分大小写消息属性:那些通过rsyslog 解析器从原始消息提取的,所有的消息属性以字母开

2016-09-30 14:49:47 1206

原创 nginx对比haproxy 的反向代理

-bash-4.1# ip add | grep inet inet 172.17.0.7/16 scope global eth0 inet6 fe80::42:acff:fe11:7/64 scope link inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host inet 192.168.3

2016-09-30 13:28:22 1658

原创 Templates 模板:

Templates 模板:########################温金$template wj-flow01,"/data01/applog_backup/winfae_log/wj-flow01-catalina.out.%$year%-%$month%-%$day%" #定义TC:日志存放路径$template wj-flow02,"/data01/applog_b

2016-09-30 10:51:41 985

原创 1.Basic Structure

配置:rsyslogd 配置通过rsyslog.conf file,典型的在/etc下。默认的,rsyslogd 读取/etc/rsyslog.conf 文件,这个可以通过命令行选项改变注意 配置可以通过在线rsyslog 配置创建工具生成配置文件例子可以在rsyslog wiki找到, 同时保留rsyslog 配置片段在你的脑子里。基本结构:本节描述 rsyslog 配

2016-09-29 15:26:33 467

原创 perl 安装AnyEvent::HTTP

perl 版本 ActivePerl_5.16.2.msi

2016-09-29 12:40:52 566

原创 rsyslog 同步丢失问题

[root@dr-mysql01 zjzc_log]# wc -l localhost_access_log.2016-09-27.txt 24004 localhost_access_log.2016-09-27.txt[root@dr-mysql01 zjzc_log]# wc -l aa 23989 aa差15行日志

2016-09-28 21:58:32 807

原创 8.2.1.4 Index Merge Optimization 索引合并优化:

8.2.1.4 Index Merge Optimization 索引合并优化:索引合并方法是用于检索记录 使用多个 范围扫描和合并它们的结果集到一起mysql> show index from ClientInvestOrder;+-------------------+------------+------------------------+--------------+-----

2016-09-28 13:51:13 448

原创 8.2.1.3 Range Optimization

8.2.1.3 Range Optimization 范围访问方法使用一个单个的索引来检索表记录的自己,包含在一个或者索引值区间。它可以用于一个单独的部分或者多个部分的索引,下面章节给出了一个详细的描述关于如何从WHERE 子句中提取区间8.2.1.3.1 范围访问方法用于单部分索引对于一个单部分索引,索引值区间可以方便的体现通过相应的条件在WHERE子句,表示为范围条件,而

2016-09-28 10:57:07 412

原创 8.2.1.2 How MySQL Optimizes WHERE Clauses MySQL 优化WHERE 子句

8.2.1.2 How MySQL Optimizes WHERE Clauses MySQL 优化WHERE 子句本节讨论优化用于处理WHERE子句, 例子是使用SELECT 语句,但是相同的优化应用于WHERE子句在DELETE和UPDATE子句注意:因为MYSQL优化是不间断的,不是所有的MYSQL 优化都记录在这里你可能尝试重写你的查询让运算操作更快,同时牺牲可读。

2016-09-27 18:13:22 106

原创 8.2.1.1 Speed of SELECT Statements 加速SELECT 语句

8.2.1 Optimizing SELECT Statements8.2.2 Optimizing Data Change Statements8.2.3 Optimizing Database Privileges8.2.4 Optimizing INFORMATION_SCHEMA Queries8.2.5 Other Optimization Tips一个核心的数据库应用逻辑

2016-09-27 16:59:55 105

原创 zabbix 插件使用问题

[elk@dr-mysql01 frontend]$ ../../bin/logstash -f std02.conf Settings: Default pipeline workers: 8Pipeline main started31`31`ArgumentError: comparison of String with 5 failed >= at org

2016-09-27 13:47:19 1556

原创 use "man rsyslogd" for details. To run rsyslog interactively, use "rsyslogd -n"to run it in debug mo

zjtest7-frontend:/root# service rsyslog startStarting system logger: usage: rsyslogd [options]use "man rsyslogd" for details. To run rsyslog interactively, use "rsyslogd -n"to run it in debug mode u

2016-09-27 10:01:39 793

原创 rsyslog 日志服务器接收日志权限问题

rsyslog 权限;默认[root@dr-mysql01 zjzc_log]# ls -ltr zj-frontend0*-access*27-rw------- 1 root root 322 Sep 27 07:55 zj-frontend02-access.2016-09-27600$FileOwner elk$FileGroup elk$FileCreateMode

2016-09-27 08:00:00 4831

原创 rsyslog kill 测试重发例子

[root@dr-mysql01 zjzc_log]# >zj-frontend01-error.2016-09-26[root@dr-mysql01 zjzc_log]# [root@dr-mysql01 zjzc_log]# cat zj-frontend01-error.2016-09-26You have mail in /var/spool/mail/root[root@dr

2016-09-26 19:51:30 456

原创 rsyslog 直接kill进程,在重新启动会全部发送日志

jrhapt11:/root# ps -ef | grep rsyslogroot 8233 1 0 17:42 ? 00:00:00 /sbin/rsyslogd -i /var/run/syslogd.pidroot 8342 8147 0 17:43 pts/1 00:00:00 grep rsyslogjrhapt11:/root

2016-09-26 18:01:49 3481

原创 2016.08.13/2/index/_d_Lucene54_0.dvm: Too many open files

er[file_system_exception: /elk/elasticsearch/data/es_cluster/nodes/0/indices/logstash-zjzc-frontend-access-2016.08.13/2/index/_d_Lucene54_0.dvm: Too many open files];Caused by: [logstash-zjzc-fronten

2016-09-26 14:42:26 593

原创 /usr/lib64/python2.6/site-packages/pycurl.so: undefined symbol: CRYPTO_set_locking_callback

[root@frontend01 yum.repos.d]# cd /etc/yum.repos.d;wget http://rpms.adiscon.com/v8-stable/rsyslog.repo--2016-09-26 10:25:40-- http://rpms.adiscon.com/v8-stable/rsyslog.repoResolving rpms.adiscon.co

2016-09-26 11:28:20 2786

原创 rsyslog 读取单个文件测试

rsyslog 测试(rsyslog 必须yum 安装uat-web02:/root# rpm -qa | grep rsyslogrsyslog-8.21.0-1.el6.x86_64)//读取单个文件测试:客户端发送:uat-web02:/var/log/nginx# echo "zjzc-111222333444qwe" >>scan.log uat-web02:/var

2016-09-26 10:10:09 1079

原创 注意:rsyslog 源码安装 会出现日志重复发的情况,需要rpm包安装

cd /etc/yum.repos.d;wget http://rpms.adiscon.com/v8-stable/rsyslog.repouat-web02:/etc/yum.repos.d# ls -ltrtotal 32-rw-r--r--. 1 root root 4528 Dec 1 2013 CentOS-Vault.repo-rw-r--r--. 1 root root

2016-09-26 09:37:50 1862

原创 客户端把rsyslog重启,就会发送全部日志 --待研究

客户端:uat-web02:/var/log/nginx# echo "scan-cccc21231">>scan.log uat-web02:/var/log/nginx# cat scan.log scan-aaaaaaaaaaaaabbbbb21231scan-bbbbb21231scan-cccc21231服务端:zjtest7-frontend:/data/scan

2016-09-25 22:39:45 1156

原创 rsyslog 一重启就会开始同步之前所有通配的日志文件

[root@dr-mysql01 zjzc_log]# grep '24/Sep/2016' zj-api-access01.2016-09-25 | wc -l0[root@dr-mysql01 zjzc_log]# [root@dr-mysql01 zjzc_log]# [root@dr-mysql01 zjzc_log]# grep '24/Sep/2016' zj-api-acce

2016-09-25 08:35:19 1236 1

原创 rsyslog 只读取变化的日志

10.252.142.174 - - [24/Sep/2016:10:26:21 +0800] "GET /api/validate/code/send?mobilePhone=18627975523&messageType=1&_=1454297673274 HTTP/1.1" 200 52 0.013 27.187.187.138 10.252.142.174 - - [23/Sep/201

2016-09-24 10:29:04 1311

原创 响应头location 页面跳转

登陆;http://192.168.32.161/DEVOPS/index.php/Index/do_loginCache-Control no-store, no-cache, must-revalidate, post-check=0, pre-check=0Connection Keep-AliveContent-Encoding gzipContent-Length

2016-09-23 22:48:02 4245

原创 8.1 Optimization Overview

8.1 Optimization Overview 8.1 Optimization Overview8.2 Optimizing SQL Statements 8.3 Optimization and Indexes 8.4 Optimizing Database Structure 8.5 Optimizing for InnoDB Tables

2016-09-23 17:56:45 334

原创 redis 验证消息队列也是写磁盘的

# 下面的例子将会进行把数据写入磁盘的操作:# 900秒(15分钟)之后,且至少1次变更# 300秒(5分钟)之后,且至少10次变更# 60秒之后,且至少10000次变更## 注意:你要想不写磁盘的话就把所有 "save" 设置注释掉就行了。save 900 1save 300 10save 60 10000redis01:/data01/redis# cat /etc/r

2016-09-23 13:39:00 752

原创 通过代理访问nginx和直接访问nginx区别

80.82.78.38 [23/Sep/2016:05:36:18 +0800] "GET http://www.baidu.com/cache/global/img/gs.gif HTTP/1.1" - 404 162 "-" "Mozilla" 0.000 - 80.82.78.38 - - [22/Sep/2016:20:37:47 +0800] "GET /cache/global/i

2016-09-23 09:39:44 2198

原创 logstash nginx 报ArgumentError: comparison of String with 5 failed

80.82.78.38 [23/Sep/2016:05:36:18 +0800] "GET http://www.baidu.com/cache/global/img/gs.gif HTTP/1.1" - 404 162 "-" "Mozilla" 0.000 - 需要补一刀; %{IPORHOST:clientip} \[%{HTTPDATE:time}\] "%{WORD:verb}

2016-09-23 08:11:09 686

原创 logstash 处理tomcat access报ArgumentError: comparison of String with 5 failed

10.168.102.19 - - [22/Sep/2016:20:35:11 +0800] "POST /api/client/asset HTTP/1.1" 200 430 0.047 121.43.145.64 10.168.102.19 - - [22/Sep/2016:20:37:11 +0800] "POST /api/common/getdate HTTP/1.1" 200 17

2016-09-22 22:29:20 872

原创 logstash tomcat catalina.out zabbix 插件不会引起崩溃

input { file { type => "zj_api" path => ["/data01/applog_backup/zjzc_log/zj-api*catalina*"] } file { type => "wj_api"

2016-09-22 21:10:38 619

原创 logstash ArgumentError: comparison of String with 5 failed

ArgumentError: comparison of String with 5 failed >= at org/jruby/RubyComparable.java:155 >= at org/jruby/RubyString.java:1853 output_func at (eval):145 output_batch a

2016-09-22 18:40:57 882

原创 perl 登录某网站

use Net::SMTP;use LWP::UserAgent;use HTTP::Cookies;use HTTP::Headers;use HTTP::Response;use Encode;use File::Temp qw/tempfile/;use HTTP::Date qw(time2iso str2time time2iso time2isoz);my $ua =

2016-09-22 15:34:15 1005

原创 logstash 发送zabbix 给消息加上type

input { file { type => "zj_api" path => ["/data01/applog_backup/zjzc_log/zj-api*catalina*"] } file { type => "wj_api"

2016-09-22 10:45:13 1141 1

原创 logstash 各种时间转换

2016-09-21 19:10:01,538 INFO com.zjzc.common.utils.HttpUtil - 返回结果:retCode=0000,返回值: {"data":{"orderNo":"2016092119061427857473cba55d544c","cardNo":"6226690800882527","status":3},"enableModify":true,"

2016-09-21 19:36:41 22320 8

原创 logstash tomcat catalina.out 告警

[elk@dr-mysql01 tomcat]$ cat logstash_tomcat.confinput { file { type => "zj_api" path => ["/data01/applog_backup/zjzc_log/zj-api*catalina*"] }

2016-09-21 17:02:06 2008

原创 perl post 请求相关参数

$ua->post( $url, \%form ) $ua->post( $url, \@form ) $ua->post( $url, \%form, $field_name => $value, ... ) $ua->post( $url, $field_name => $value,... Content => \%form ) $ua->post( $url

2016-09-21 15:31:22 1405

原创 mysql sql优化<1>

explain SELECT t.* FROM ( SELECT t1.sn AS clientSn, t1.userNick, t1.mobilePhone, t3.personName, t2.availableBalance, (SELECT IFNULL(SUM(amount) , 0) FROM ClientRechargeOrde

2016-09-21 09:42:37 310

原创 iptables 必须先拒绝所有,在允许

[root@wx02 ~]# cat /etc/sysconfig/iptables# Generated by iptables-save v1.4.7 on Tue Sep 20 11:18:45 2016*filter:INPUT ACCEPT [100:5792]:FORWARD ACCEPT [0:0]:OUTPUT ACCEPT [104:8990]COMMIT# Com

2016-09-20 11:44:21 14096 1

原创 iptables 顺序

-A INPUT -s 115.236.6.6/32 -p udp -m udp --dport 111 -j ACCEPT-A INPUT -s 10.175.197.98/32 -p udp -m udp --dport 111 -j ACCEPT-A INPUT -s 10.171.254.221/32 -p udp -m udp --dport 111 -j ACCEPT-A INP

2016-09-20 11:31:16 620

原创 针对portmap 的DDOS攻击

iptables -I INPUT -p tcp --dport 111 -j DROPiptables -I INPUT -s 10.171.254.221 -p tcp --dport 111 -j ACCEPTiptables -I INPUT -s 10.175.197.98 -p tcp --dport 111 -j ACCEPTiptables -I INPUT -s 115.2

2016-09-20 10:41:59 2686

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除