单独从Nginx日志文件access.log中提取出关于百度爬虫的日志记录并将其存到另一个单独的文件中。可以简单的通过Linux中的管道命令实现,如下所示:
cat access.log | grep Baiduspider > bs.log
这样就可以将百度相关的访问记录都存到bs.log文件中。可以通过查看bs.log就可以知道百度访问了我们的哪些页面了。
cat bs.log
如果Nginx是通过Docker容器部署的,那道理也是一样,可以通过以下命令实现。
docker logs nginx_container grep Baiduspider > bs.log
这样就可以了。