利用nginx的nginx-amqp模块把前端的数据转发到rabbitmq

一、前言

随着企业对大数据越来越重视，日志埋点的地方越来越多，如：nginx服务器上的日志，微服务上的日志；特别是客户端上的日志处理越来越多。
对于nginx日志与微服务应用服务器上的业务日志，没什么好说的，直接用 flume或 logstash 等日志工具拉取即可。
对于处理客户端日志的方式就比较麻烦一些：

1. 前端通过Http请求直接发送日志到后台微服务处理，就会额外增加微服务集群的压力。这种方式不可取。
2. 前端利用中间件的SDK发送日志到中间件，比如上图的 rabbitmq，这会造成前端与中间件过于耦合，也会造成前端编码复杂度，也不可取。
3. 设计一个基于Netty的后台服务来处理日志请求，这样做也是吃力不讨好，自己重新设计一个Netty日志服务器稳定性与性能上也不能一蹴而就。
4. 最好的方式还是用nginx添加nginx-amqp模块作为日志服务器，前端通过http请求发送日志到nginx，nginx再转发到中间件，这样可以解决前 3 点的缺点，简单，稳定，性能高，易维护，耦合度低（换中间件直接换个模块就行，如中间件换kafka，直接添加一下ngx_kafka_module就行）；当然也可以不用nginx来转发到中间件，nginx（需要添加lua模块或form模块）直接记录日志到本地，通过flume或logstash来拉取就行。

二、下载

• nginx: https://github.com/nginx/nginx/archive/release-1.17.9.tar.gz
• nginx form 模块: https://github.com/calio/form-input-nginx-module/archive/v0.12.tar.gz
  • 依赖: ngx devel kit 模块: https://github.com/vision5/ngx_devel_kit/archive/v0.3.1.tar.gz
• nginx amqp 模块 https://github.com/JamesKotov/nginx-amqp.git
  • 依赖: rabbitmq-c https://github.com/alanxz/rabbitmq-c/archive/v0.10.0.tar.gz

三、安装

1. 系统环境

Centos 7, Docker

2. rabbitmq

docker pull rabbitmq:3.6.11-management
docker run -it --name rabbitmq -p 5672:5672 -p 15672:15672 rabbitmq:3-management

• 浏览器访问: http://192.168.88.150:15672

  添加:

  类别	名称	routingKey
  exchange	rumExchange	-
  queue	rumQueue	defaultRoutingKey
  queue	test	log