nginx日志切割/分割,按天生成&定期删除日志

       问题:nginx会按照nginx.conf的配置生成access.log和error.log,随着访问量的增长,日志文件会越来越大,既会影响访问的速度(写入日志时间延长),也会增加查找日志的难度,nginx没有这种按天或更细粒度生成日志的机制。所以下面介绍三种方法:

  • 1.Nginx内部配置设置日志文件格式。(推荐方法1,map方式)
  • 2.写脚本,通过定时任务按天重命名日志、重启nginx的方法实现(有重启失败的风险)
  • 3.通过工具cronolog实现。

方法1

    需要使用到 timeiso8601内嵌变量来获取时间。 time_iso8601 内嵌变量来获取时间。time iso8601内嵌变量来获取时间。time_iso8601格式如下:2018-09-21T16:01:02+02:00。然后使用正则表达式来获取所需时间的数据。

按天分割日志

配置在server段:

注意层次关系,这段脚本一定要加到server配置内部,且if要在access_log前面,否则set的变量将无法引用

if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})") {
        set $year $1;
        set $month $2;
        set $day $3;
}
 access_log  /var/logs/xxxx/access/xxxxx_xx_access_$year-$month-$day.log  main;

查看日志是否生成:

[xx@xxx access]# ll  xxxxx_xx_access_2018-09-21.log 
-rw-r--r-- 1 root root 408848 Sep 21 16:01 xxxxx_xx_access_2018-09-21.log

按小时、分、秒分割:

if ($time_iso8601 ~ "^(\d{4})-(\d{2})-(\d{2})T(\d{2}):(\d{2}):(\d{2})")
{
    set $year $1;
    set $month $2;
    set $day $3;
    set $hour $4;
    set $minutes $5;
    set $seconds $6;
}
access_log  /var/logs/xxxx/access/xxxxx_xx_access_$year-$month-$day-hour-minutes-seconds.log  main;

在必要的时候可以按小时分割,方便日志分析。
 

上面的方法有两个问题:

  1. 一是如果if条件不成立,那么$year$month$month这三个变量将不会被设置,那么日志将会记录到access-$year-$month-$day.log这个文件中;
  2. 二是if只能出现在serverlocation块中,而access_log通常会配置到顶层的http块中,这时候if就不适用

如果要在http块中设置access_log,更好的方法是使用map指令:

map $time_iso8601 $logdate {
'~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
default 'date-not-found';
}
access_log logs/access-$logdate.log main;

map指令通过设置默认值,保证$logdate始终有值,并且可以出现在http块中,完美地解决了if指令的问题

最后,为了提高日志的效率,建议配置open_log_file_cache,完整的日志分割配置如下:

log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';

map $time_iso8601 $logdate {
'~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
default 'date-not-found';
}

access_log logs/access-$logdate.log main;
open_log_file_cache max=10;

但是缺点:每次请求都会进行map的正则表达式匹配,对性能有影响。

 

方法2

2:创建分割日志文件的脚本,添加定时任务
2.1.1写脚本:重命名日志文件、重启nginx
例如存放路径:/usr/local/nginx/sbin/cut_nginx_logs.sh,按天分割具体内容:

#!/bin/bash
#function:cut nginx log files

#set the path to nginx log files
log_files_path="/data/nginxlog/"
log_files_dir=${log_files_path}

#set nginx log files you want to cut
log_files_name=(access )

#set the path to nginx.
nginx_sbin="/usr/local/nginx/sbin/nginx"

#Set how long you want to save
save_days=30
############################################
#Please do not modify the following script #
############################################
#mkdir -p $log_files_dir
log_files_num=${#log_files_name[@]}

#cut nginx log files
for((i=0;i<$log_files_num;i++));do
    mv ${log_files_path}${log_files_name[i]}.log ${log_files_dir}${log_files_name[i]}.log_$(date -d "yesterday" +"%Y-%m-%d")
done

#delete 30 days ago nginx log files
find $log_files_path -mtime +$save_days -exec rm -rf {} \; 

#restart nginx
$nginx_sbin -s reload

2.1.2.使用crontab添加定时任务

//打开定时任务
crontab -e
//进入编辑模式
i
//添加定时任务
00 00 * * * /bin/sh  /usr/local/nginx/sbin/cut_nginx_logs.sh
//保存退出
:wq!
//重启crontab服务
/etc/init.d/crond restart
//查看定时任务,就会看到你添加的内容了
crontab -l

 

另外一个脚本格式:

2.2.1.编写脚本

#!/bin/bash
year=`date +%Y`
month=`date +%m`
day=`date +%d`
logs_backup_path="/usr/local/nginx/logs_backup/$year$month"               #日志存储路径

logs_path="/usr/local/nginx/logs/"                                                             #要切割的日志路径
logs_access="access"                                                                            #要切割的日志
logs_error="error"
pid_path="/usr/local/nginx/logs/nginx.pid"                                                 #nginx的pid

[ -d $logs_backup_path ]||mkdir -p $logs_backup_path
rq=`date +%Y%m%d`

#mv ${logs_path}${logs_access}.log ${logs_backup_path}/${logs_access}_${rq}.log
mv ${logs_path}${logs_error}.log ${logs_backup_path}/${logs_error}_${rq}.log
kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid)

2.2.2做定时任务

crontab –e

59 23 * * * bash /usr/local/nginx/shell/cut_ngnix_log.sh   #每天23:59分开始执行;

 

方法三:通过cronolog工具实现


3.1 下载安装cronolog

3.1.1 下载:官网下载或我的百度云盘

3.1.2 安装

1.解压缩
# tar zxvf cronolog-1.6.2.tar.gz
2.进入安装文件所在目录
# cd cronolog-1.6.2
3.运行安装
# ./configure
# make
# make install
4.查看cronolog安装后所在目录(验证安装是否成功)
# which cronolog
一般情况下显示为:/usr/local/sbin/cronolog

3.2 使用cronolog

3.2.1.创建命名管道

mkfifo /usr/local/nginx/access_log_pipe

3.2.2 配置cronolog,日期按天
如果按小时使用access_%Y-%m-%d-%H.log;如果按分钟使用access_%Y-%m-%d-%H-%M.log
3.2.3 修改配置/usr/local/nginx/conf/nginx.conf

...
access_log  /usr/local/nginx/access_log_pipe  main;
...

nohup cat /usr/local/nginx/access_log_pipe | /usr/local/sbin/cronolog /usr/local/nginx/logs/access-%Y-%m-%d.log &

3.2.4 重启nginx

cd /usr/local/nginx/sbin
./nginx -s reload

3.2.5 查看效果

[root@app2 /]# cd /usr/local/nginx/logs/
[root@app2 logs]# ll
total 3544
-rw-r--r-- 1 root root       0 Oct  1 07:20 8099.access.log
-rw-r--r-- 1 root root 3599534 Oct  1 07:58 access-2016-10-01.log
-rw-r--r-- 1 root root     235 Oct  1 07:20 error.log
-rw-r--r-- 1 root root       5 Oct  1 06:34 nginx.pid

3.3 定期删除日志

3.3.1 新建sh,删除5天前的

[root@app2 sh]# pwd
/usr/local/nginx/sh
[root@app2 sh]# vi delete_nginx_logs.sh 

添加内容

#set the path to nginx log files
log_files_path="/usr/local/nginx/logs/"
save_days=5
#delete ? days ago nginx log files
find $log_files_path -mtime +$save_days -exec rm -rf {} \;


3.3.2 添加定时任务

[root@localhost sh]# crontab -e
00 00 * * * /bin/sh  /usr/local/nginx/sh/delete_nginx_logs.sh


3.4Tomcat按天切割catalina.out

安装cronolog后,修改tomcat/bin/catalina.sh中一下内容,注意找到准确信息,2处。

原内容:

org.apache.catalina.startup.Bootstrap "$@" start \
 >> "$CATALINA_OUT" 2>&1 "&"
修改为:注意换行后顶格,否则启动报错。     
org.apache.catalina.startup.Bootstrap "$@" start 2>&1 \
| /usr/local/sbin/cronolog "$CATALINA_BASE"/logs/catalina.%Y-%m-%d.out >> /dev/null &

修改后按之前方式启动./startup.sh即可看到logs目录下生成当前日期文件
catalina.2018-10-11.out

-rw-rw-r-- 1 root root     0 Oct 11 15:16 catalina.out
-rw-rw-r-- 1 root root     0 Oct 11 15:16 manager.2018-10-11.log
-rw-rw-r-- 1 root root     0 Oct 11 15:16 host-manager.2018-10-11.log
-rw-rw-r-- 1 root root   584 Oct 11 15:16 localhost.2018-10-11.log
-rw-rw-r-- 1 root root  1646 Oct 11 15:16 catalina.2018-10-11.log
-rw-rw-r-- 1 root root 29143 Oct 11 15:16 catalina.2018-10-11.out
 

  • 8
    点赞
  • 56
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
根据引用的内容,重新加载nginx.conf的方式是在命令行中输入`./nginx -c /usr/local/nginx/conf/nginx.conf`。 然而,根据引用的内容,当执行重新加载命令时出现了错误。错误信息显示找不到`/usr/local/nginx/logs/nginx.pid`文件。 根据引用的内容,可以确认当前安装的nginx版本是1.13.7。 综上所述,执行`/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf`命令来重新加载nginx.conf配置文件。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [Nginx报错:nginx: [emerg] open() “/usr/local/nginx/../conf/nginx.conf“ failed (2: No such file or ...](https://blog.csdn.net/Dontla/article/details/120964159)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [nginx: [emerg] https protocol requires SSL support in /usr/local/nginx/conf/nginx.conf:50](https://blog.csdn.net/qq_44890264/article/details/115668329)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值