使用python 分析统计nginx访问日志ip次数并且排序

最新推荐文章于 2022-02-26 11:44:20 发布
最新推荐文章于 2022-02-26 11:44:20 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： python 系统运维企业案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyb378747350/article/details/78716787
版权
这篇博客介绍了如何使用Python解析nginx访问日志，并统计每个IP地址的访问次数，最后对这些数据进行排序。通过示例数据和分析结果，展示了具体的实现过程。
摘要由CSDN通过智能技术生成

1 数据样本

221.7.8.21 - - [05/Dec/2017:00:04:53 +0800] "GET /qbwx/ml_files/ss33.jpg HTTP/1.1"   "http://tt.xxx.cn/ocpc/haikang/ocpc/12?ETT02" "Mozilla/5.0 (Linux; Android 6.0.1; ATH-AL00 Build/HONORATH-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/55.0.2883.91 Mobile Safari/537.36 JsSdk/2 NewsArticle/6.0.4 NetType/3g" "-"
221.7.8.21 - - [05/Dec/2017:00:04:53 +0800] "GET /qbwx/ml_files/ss55.jpg HTTP/1.1"   "http://tt.xxx.cn/ocpc/haikang/ocpc/12?ETT02" "Mozilla/5.0 (Linux; Android 6.0.1; ATH-AL00 Build/HONORATH-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/55.0.2883.91 Mobile Safari/537.36 JsSdk/2 NewsArticle/6.0.4 NetType/3g" "-"
221.7.8.21 - - [05/Dec/2017:00:04:53 +0800] "GET /qbwx/ml_files/ss22.jpg HTTP/1.1"   "http://tt.xxx.cn/ocpc/haikang/ocpc/12?ETT02" "Mozilla/5.0 (Linux; Android 6.0.1; ATH-AL00 Build/HONORATH-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/55.0.2883.91 Mobile Safari/537.36 JsSdk/2 NewsArticle/6.0.4 NetType/3g" "-"
221.7.8.21 - - [05/Dec/2017:00:04:54 +0800] "GET /qbwx/ml_files/ss44.gif HTTP/1.1"   "http://tt.xxx.cn/ocpc/haikang/ocpc/12?ETT02" "Mozilla/5.0 (Linux; Android 6.0.1; ATH-AL00 Build/HONORATH-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/55.0.2883.91 Mobile Safari/537.36 JsSdk/2 NewsArticle/6.0.4 NetType/3g" "-"
221.7.8.21 - - [05/Dec/2017:00:04:54 +0800] "GET /qbwx/ml_files/ss11.jpg HTTP/1.1"   "http://tt.xxx.cn/ocpc/haikang/ocpc/12?ETT02" "Mozilla/5.0 (Linux; Android 6.0.1; ATH-AL00 Build/HONORATH-AL00; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/55.0.2883.91 Mobile Safari/537.36 JsSdk/2 NewsArticle/6.0.4 NetType/3g" "-"
221.7.8.21 - - [05/Dec/2017:00:04:55 +0800] "GET /qbwx/ml_files/ss66.jpg HTTP/1.1"   "http://tt.xxx.cn/ocpc/haikang/ocpc/12?ETT0

最低0.47元/天 解锁文章
率毛毛虫
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python-如何生成一个ip文件并统计ip频率？
qq_44212783的博客
04-06 3053
ip存储与读取文件统计ip频率
python统计ip出现次数
qq_53030229的博客
11-17 1389
# coding = utf-8 import re with open('D://1/1.txt','r',encoding='utf-8') as f: line = f.read().strip() # strip:去除首尾空格 result = re.split(r"[\s\n]", line) # \s：从左往右 \n：换行 # print(result) ip_count = {} for ip in result: if ip not in ip_co
Python统计日志中每个IP出现次数的方法
09-21
主要介绍了Python统计日志中每个IP出现次数的方法,实例分析了Python基于正则表达式解析日志文件的相关技巧,需要的朋友可以参考下
Python统计日志中每个IP出现次数
weixin_30909575的博客
05-07 542
介绍了Python统计日志中每个IP出现次数的方法,实例分析了Python基于正则表达式解析日志文件的相关技巧,需要的朋友可以参考下 本脚本可用于多种日志类型 #-*- coding:utf-8 -*- import re,time def mail_log(file_path): global count log=open(file_path,'r') C=r'\....
python简单日志统计
weixin_30322405的博客
03-20 376
业务场景：在一个目录里，有许多日志文件，里面是一条条的json数据，格式如下，为防止一个账号被多个ip使用，现在我想知道：哪些用户登录了哪些ip，和哪些ip登录了哪些用户，如果一个ip对应一个用户，就不展示了 import json, os, sys ip_map = {} email_map = {} path = 'E:/GoogleDownload/' #日志路...
python正则分析nginx的访问日志
09-21
本文将详细介绍如何使用 Python 以及正则表达式来分析 Nginx 的访问日志。 #### 一、前言 在开始之前，我们需要明确几个概念： 1. **Nginx 访问日志**：Nginx 服务器会在每次处理请求时记录下相应的信息，这些...
python实现分析apache和nginx日志文件并输出访客ip列表的方法
09-22
本篇文档主要介绍如何使用Python语言来分析Apache和Nginx这两种常见的Web服务器日志文件，并从中提取访客的IP地址列表。这种方法不仅有助于理解访客的分布情况，而且对于识别恶意访问、统计访问量等都具有实用价值。...
Nginx日志实现访问异常报警详解
09-30
Nginx日志是Web服务器记录访问和错误信息的重要工具，尤其在监控和排查问题时起着关键作用。本文将详细介绍如何利用Nginx的日志功能实现访问异常报警，以便及时发现并处理潜在的安全风险。 首先，Nginx的错误日志...
采用ngxtop实现nginx实时访问数据统计
09-30
ngxtop 是一款用于实时监控和统计 Nginx 访问数据的工具，它通过解析 Nginx 的访问日志（access.log）来提供类似 `top` 命令的输出信息。这个工具是用 Python 编写的，因此需要 Python 环境支持。如果你的系统中还...
取证分析之日志分析.zip
02-05
通过以上三个文件，我们可以深入学习如何使用编程语言（如Python）对日志数据进行有效分析，理解网络服务器日志的结构和用途，并掌握日志分析在取证和安全领域的应用。同时，了解数据分析的基本流程和方法，对提升...
python解析IP并统计数量
10-16
源文件为CSV（逗号分隔符）文件key为IP，value为IP的点击数， 通过淘宝的归属地查询接口查询IP归属地并分类统计数量(市、省、国家)
python实现的分析并统计nginx日志数据功能示例
12-23
本文实例讲述了python实现的分析并统计nginx日志数据功能。分享给大家供大家参考，具体如下： 利用python脚本分析nginx日志内容，默认统计ip、访问url、状态，可以通过修改脚本统计分析其他字段。 一、脚本运行方式 python count_log.py -f med.xxxx.com.access.log 二、脚本内容 #!/usr/bin/python # -*- coding: utf-8 -*- """ 1.分析日志，每行日志按空格切分，取出需要统计的相应字段，作为字典的key，遍历相加 2.使用到字典的get方法，通过定义默认值，避免miss key的错误 3.使用
python日志统计_python简单日志统计
weixin_39603823的博客
12-19 291
import json, os, sysip_map={}email_map={}path= 'E:/GoogleDownload/' #日志路径type= 1 # 1:countByIp 2:countByEmaildef countByIp(line):try:if line['ip'] inip_map.keys():ip_v_map= ip_map[line['ip']]if line...
2018年省赛第九届蓝桥杯B组C/C++第八题解 日志统计
Rlynn的博客
10-12 238
第八题 ：日志统计 小明维护着一个程序员论坛。现在他收集了一份"点赞"日志，日志共有N行。其中每一行的格式是： ts id 表示在ts时刻编号id的帖子收到一个"赞"。 现在小明想统计有哪些帖子曾经是"热帖"。如果一个帖子曾在任意一个长度为D的时间段内收到不少于K个赞，小明就认为这个帖子曾是"热帖"。 具体来说，如果存在某个时刻T满足该帖在[T, T+D)这段时间内(注意是左闭右开区间)收到不少于K个赞，该帖就曾是"热帖"。 给定日志，请你帮助小明统计出所有曾是"热帖"的帖子编号。 【输入格式】 第一行包含
python读取日志中的ip次数
qq_44972352的博客
09-01 349
import time #pin = 0 while True: with open('baidu_x_system.log', 'r') as f: #f.seek(pin) #定位到上次读取文件后，游标的位置 ips = [] #每次循环时把列表清空，因为是按1分钟进行统计的 for line in f: ip = line.split(' ')[0] #提取每一行的ip，保存到list中 ips...
python统计出现次数并排序_python统计apache、nginx访问日志IP访问次数并且排序（显示前20条）...
weixin_39654436的博客
12-05 262
前言：python统计apache、nginx访问日志IP访问次数并且排序(显示前20条)。其实用awk+sort等命令可以实现，用awk数组也可以实现，这里只是用python尝试下。apache脚本：ips={}withopen("/root/mail_access_log-20180629")asfh:forlineinfh:ip=line.split("")[0]if...
python小程序：查找nginx日志文件的ip点击率并排序
小白菜
11-10 750
def nginxIpCounter(nginxFile): ipCounter = { } with open(nginxFile) as f: for line in f: ip = line.split(" ",1)[0] if 6<=len(ip) <= 15: ipCounter
【Python训练营】Python每日一练----第30天:日志统计
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
02-26 3057
【Python训练营】Python每日一练----第30天:日志统计
python基于nginx访问日志统计客户端ip访问量
三人行，必有我师焉。
06-23 3216
专业的统计网站，比如百度统计，Google Analytics,cnzz等统计后台提供的都是站长常用的统计指标，比如uv，pv，在线时长，ip等，另外由于网络原因，我发现Google Analytics会比百度统计多几百的ip，所以想自己写脚本来了解下真正的访问量有多少，不过基于nginx的访问日志会比统计后台多不少，因为有不少蜘蛛的访问也会被统计进来，还有静态文件的统计，其实如果算法改进的话完全
统计nginx日志里访问次数最多的前十个IP
最新发布
03-24
以下是统计nginx日志中访问次数最多的前十个IP的命令： awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -n 10 | awk '{print $2}' 注意，此命令假设日志文件名为 access.log。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值