一、前言
随着企业对大数据越来越重视,
日志埋点
的地方越来越多,如:nginx
服务器上的日志,微服务
上的日志;特别是客户端
上的日志处理越来越多。
对于nginx日志
与微服务应用服务器上的业务日志
,没什么好说的,直接用flume
或logstash
等日志工具拉取即可。
对于处理客户端日志的方式就比较麻烦一些:
- 前端通过
Http请求直接发送日志
到后台微服务处理,就会额外增加微服务集群的压力。这种方式不可取。- 前端
利用中间件的SDK发送日志
到中间件,比如上图的rabbitmq
,这会造成前端与中间件过于耦合,也会造成前端编码复杂度,也不可取。- 设计一个基于
Netty
的后台服务来处理日志请求,这样做也是吃力不讨好,自己重新设计一个Netty
日志服务器稳定性与性能上也不能一蹴而就。- 最好的方式还是用
nginx
添加nginx-amqp模块
作为日志服务器,前端通过http请求发送日志
到nginx
,nginx
再转发到中间件,这样可以解决前 3 点的缺点
,简单,稳定,性能高,易维护,耦合度低(换中间件直接换个模块就行,如中间件换kafka
,直接添加一下ngx_kafka_module
就行);当然也可以不用nginx
来转发到中间件,nginx
(需要添加lua模块
或form模块
)直接记录日志到本地,通过flume
或logstash
来拉取就行。
二、下载
- nginx: https://github.com/nginx/nginx/archive/release-1.17.9.tar.gz
- nginx form 模块: https://github.com/calio/form-input-nginx-module/archive/v0.12.tar.gz
- 依赖: ngx devel kit 模块: https://github.com/vision5/ngx_devel_kit/archive/v0.3.1.tar.gz
- nginx amqp 模块 https://github.com/JamesKotov/nginx-amqp.git
- 依赖: rabbitmq-c https://github.com/alanxz/rabbitmq-c/archive/v0.10.0.tar.gz
三、安装
1. 系统环境
Centos 7
, Docker
2. rabbitmq
docker pull rabbitmq:3.6.11-management
docker run -it --name rabbitmq -p 5672:5672 -p 15672:15672 rabbitmq:3-management
-
浏览器访问: http://192.168.88.150:15672
添加
:类别 名称 routingKey exchange rumExchange - queue rumQueue defaultRoutingKey queue test log 如图ÿ