nginx访问第三方服务之subrequest使用

最新推荐文章于 2023-11-22 09:45:33 发布
最新推荐文章于 2023-11-22 09:45:33 发布
阅读量5.1k 收藏 1
点赞数 2
分类专栏： Nginx 文章标签： nginx subrequest http
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangxiao93/article/details/53167987
版权

subrequest是由HTTP框架提供的一种分解复杂请求的设计模式，可以把原始请求分解为子请求，在学习其工作机制之前，我先在网上找了一个简单例子，大概了解了了一蛤子请求大概是个什么东西，之后具体学习了其流程。

1.subrequest简单示例

这个例子要先将addition编入nginx核心：

./configure --with-http_addition_module
make;sudo make install

编写nginx.conf文件


#user  root;
worker_processes  1;


error_log  logs/error.log  debug;

events {
    worker_connections  1024;
}


http {
        include       mime.types;
        default_type  application/octet-stream;

        #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
        #                  '$status $body_bytes_sent "$http_referer" '
        #                  '"$http_user_agent" "$http_x_forwarded_for"';

        #access_log  logs/access.log  main;

        keepalive_timeout  65;

        server {
            listen 1024;
    #   location /test {
    #       mytest;
    #   }


        location /main.htm{
            root html;
            index main.htm;
            add_before_body /hello.htm;
            add_after_body /world.htm;
        }
        location /hello.htm {
            root html/hello;
        }
        location /world.htm {
            root html/world;
        }
    }
}

在/usr/local/nginx/html(nginx默认安装目录)，下创建相关目录及文件：

cd /usr/local/nginx/html
sudo vi main.htm
#编辑main.htm
mkdir hello;cd hello
sudo vi hello.htm #编辑hello.htm
cd ..
mkdir world;cd world
sudo vi world.htm #编辑world.htm

启动Nginx，在浏览器输入localhost:1024/main.htm
效果如图：

这里写图片描述

2.subrequest的使用方式

接下来学习了《深入理解Nginx》，学习的最大收获应该是陶辉老师是中国股民，呵呵。

使用subrequest的方式要比upstream简单得多，需要完成以下4步：

1.在nginx.conf 文件中配置好子请求的处理方式（本例将使用upstream访问sina股票服务）
2.启动subrequest子请求。
3.实现子请求执行结束时的回调方法。
4.实现父请求被激活时的回调方法。

2.1 配置nginx.conf


#user  nobody;
worker_processes  1;

error_log  logs/error.log  debug;

events {
    worker_connections  1024;
}


http {
        include       mime.types;
        default_type  application/octet-stream;

        #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
        #                  '$status $body_bytes_sent "$http_referer" '
        #                  '"$http_user_agent" "$http_x_forwarded_for"';

        #access_log  logs/access.log  main;

        keepalive_timeout  65;

        server {
            listen 8080;

        location /list {
            proxy_pass http://hq.sinajs.cn;
            proxy_set_header  Accept-Encoding  "";
        }

        location /query {
            mytest;
        }
    }
}

2.2 启动subrequest子请求

当解析到mytest配置项时，在相关回调函数中，可以设置handler并在该处理方法中启动subrequest子请求。
这里这要用的一个函数是：

ngx_int_t
ngx_http_subrequest(ngx_http_request_t *r,  // 父请求
ngx_str_t *uri,                             //请求URI
ngx_str_t *args,                            //子请求的URI参数
ngx_http_request_t **psr,                   //返回创建好的子请求（输出参数）
ngx_http_post_subrequest_t *ps,             //子请求结束时的回调函数
ngx_uint_t flags                            //subrequest_in_memory标志位
);

2.3 子请求结束时的回调函数

nginx在子请求正常或者异常结束时，都会调用ngx_http_post_subrequest_pt回调，如下所示，代码见http/ngx_http_request.h

typedef ngx_int_t (*ngx_http_post_subrequest_pt) (ngx_http_request_t *r,
void*data,          //回调函数的参数
ngx_int_t rc        //HTTP响应码
);

将该回调函数封装到ngx_http_post_subrequest_t结构体中

typedef struct{
    ngx_http_post_subrequest_pt handler;
    void *data;//data即回调函数的参数data
}ngx_http_post_subrequest_t;

有了结构体，为结构体分配内存，设置相关回调，例如：

//...
ngx_http_post_subrequest_t *psr=ngx_palloc(r->pool, sizeof(ngx_http_post_subrequest_t));
/*设置子请求处理完毕时回调方法为mytest_subrequest_post_handler*/
psr->handler = mytest_subrequest_post_handler;
/*回调函数的data参数*/
psr->data = myctx;
//...

2.4 设置父请求重新激活后的回调方法

当启动子请求后，父请求并没有销毁，激活父请求的操作需要在子请求结束时的回调函数中执行。
例如在mytest_subrequest_post_handler回调函数中设置：

ngx_http_request_t *pr =r->parent;//当前r是子请求
pr->write_event_handler=mytest_post_handler;

3.完整代码及测试

3.1代码

注：源码来自《深入理解Nginx》和我自己的注释

#include <ngx_config.h>
#include <ngx_core.h>
#include <ngx_http.h>


/*上下文*/
typedef struct{
    ngx_str_t stock[6];
}ngx_http_mytest_ctx_t;

/*在ngx_http_mytest中设置的回调，启动subrequest子请求*/
static ngx_int_t
ngx_http_mytest_handler(ngx_http_request_t *r);


/*父请求重新被激活后的回调方法*/
static void
mytest_post_handler(ngx_http_request_t * r);

/*配置项处理函数*/
static char*
ngx_http_mytest(ngx_conf_t *cf ,ngx_command_t *cmd ,void *conf);

/*子请求结束时的回调函数*/
static ngx_int_t
mytest_subrequest_post_handler(ngx_http_request_t *r, void *data, ngx_int_t rc);

/*模块 commands*/
static ngx_command_t  ngx_http_mytest_commands[] =
{

    {
        ngx_string("mytest"),
        NGX_HTTP_MAIN_CONF | NGX_HTTP_SRV_CONF | NGX_HTTP_LOC_CONF | NGX_HTTP_LMT_CONF | NGX_CONF_NOARGS,
        ngx_http_mytest,
        NGX_HTTP_LOC_CONF_OFFSET,
        0,
        NULL
    },

    ngx_null_command
};

/*http模块上下文*/
static ngx_http_module_t ngx_http_mytest_module_ctx=
{
    NULL,   /* preconfiguration */
    NULL,   /* postconfiguration */
    NULL,   /* create main configuration */
    NULL,   /* init main configuration */
    NULL,   /* create server configuration */
    NULL,   /* merge server configuration */
    NULL,   /* create location configuration */
    NULL    /* merge location configuration */
};

/*nginx 模块*/
ngx_module_t  ngx_http_mytest_module =
{
    NGX_MODULE_V1,
    &ngx_http_mytest_module_ctx,           /* module context */
    ngx_http_mytest_commands,              /* module directives */
    NGX_HTTP_MODULE,                       /* module type */
    NULL,                                  /* init master */
    NULL,                                  /* init module */
    NULL,                                  /* init process */
    NULL,                                  /* init thread */
    NULL,                                  /* exit thread */
    NULL,                                  /* exit process */
    NULL,                                  /* exit master */
    NGX_MODULE_V1_PADDING
};




/*配置项处理函数*/
static char*
ngx_http_mytest(ngx_conf_t *cf,ngx_command_t*cmd,void *conf)
{

    ngx_http_core_loc_conf_t  *clcf;

    /*找到mytest配置项所属的配置块*/
    clcf = ngx_http_conf_get_module_loc_conf(cf, ngx_http_core_module);

    /*当请求URI匹配时将调用handler来处理请求*/
    clcf->handler = ngx_http_mytest_handler;

    return NGX_CONF_OK;
}



/*子请求结束时回调该方法*/
static ngx_int_t 
mytest_subrequest_post_handler(ngx_http_request_t*r,void*data,ngx_int_t rc)
{

    /*当前请求是子请求*/
    ngx_http_request_t          *pr = r->parent;

    /*取得上下文*/
    ngx_http_mytest_ctx_t* myctx = ngx_http_get_module_ctx(pr, ngx_http_mytest_module);

    pr->headers_out.status=r->headers_out.status;
    /*访问服务器成功，开始解析包体*/
    if(NGX_HTTP_OK == r->headers_out.status)
    {
        int flag = 0;

        ngx_buf_t* pRecvBuf = &r->upstream->buffer;
        /*内容解析到stock数组中*/
        for (; pRecvBuf->pos != pRecvBuf->last; pRecvBuf->pos++)
        {
            if (*pRecvBuf->pos == ',' || *pRecvBuf->pos == '\"')
            {
                if (flag > 0)
                {
                    myctx->stock[flag - 1].len = pRecvBuf->pos - myctx->stock[flag - 1].data;
                }
                flag++;
                myctx->stock[flag - 1].data = pRecvBuf->pos + 1;
            }
            if (flag > 6)
                break;
        }

    }
    /*设置父请求的回调方法*/
    pr->write_event_handler = mytest_post_handler;

    return NGX_OK;

}

/*激活父请求回调*/
static void
mytest_post_handler(ngx_http_request_t * r)
{

    /*如果没有返回200则直接把错误码发回用户*/
    if (r->headers_out.status != NGX_HTTP_OK)
    {
    ngx_http_finalize_request(r, r->headers_out.status);
        return;
    }


    /*当前请求是父请求*/
    ngx_http_mytest_ctx_t* myctx = ngx_http_get_module_ctx(r, ngx_http_mytest_module);


    /*发送给客户端的包体内容*/

    ngx_str_t output_format = ngx_string("stock[%V],Today current price: %V, volumn: %V");

    /*计算待发送包体的长度*/
    /*-6减去占位符*/
    int bodylen = output_format.len + myctx->stock[0].len
                  + myctx->stock[1].len + myctx->stock[4].len - 6;

    r->headers_out.content_length_n = bodylen;

    /*内存池上分配内存保存将要发送的包体*/
    ngx_buf_t* b = ngx_create_temp_buf(r->pool, bodylen);
    ngx_snprintf(b->pos, bodylen, (char*)output_format.data,
                 &myctx->stock[0], &myctx->stock[1], &myctx->stock[4]);


    b->last = b->pos + bodylen;
    b->last_buf = 1;

    ngx_chain_t out;
    out.buf = b;
    out.next = NULL;

    /*设置Content-Type，汉子编码是GBK*/
    static ngx_str_t type = ngx_string("text/plain; charset=GBK");

    r->headers_out.content_type = type;
    r->headers_out.status = NGX_HTTP_OK;

    r->connection->buffered |= NGX_HTTP_WRITE_BUFFERED;

    /*发送http头部;包括响应行*/
    ngx_int_t ret = ngx_http_send_header(r);
    /*发送http包体*/
    ret = ngx_http_output_filter(r, &out);

    /*需要手动调用*/
    ngx_http_finalize_request(r,ret);
}


/*启动subrequest子请求*/
static ngx_int_t
ngx_http_mytest_handler(ngx_http_request_t * r)
{

    /*创建上下文*/
    ngx_http_mytest_ctx_t* myctx = ngx_http_get_module_ctx(r, ngx_http_mytest_module);

    if(NULL == myctx)
    {
        myctx = ngx_palloc(r->pool,sizeof(ngx_http_mytest_ctx_t));
        if (myctx == NULL)
        {
            return NGX_ERROR;
        }

        /*将上下文设置到原始请求r中*/
        ngx_http_set_ctx(r, myctx, ngx_http_mytest_module);
    }

    /*子请求的回调方法将在此结构体中设置*/
    ngx_http_post_subrequest_t *psr=ngx_palloc(r->pool, sizeof(ngx_http_post_subrequest_t));

    if (psr == NULL)
    {
        return NGX_HTTP_INTERNAL_SERVER_ERROR;
    }

    /*设置子请求处理完毕时回调方法为mytest_subrequest_post_handler*/
    psr->handler = mytest_subrequest_post_handler;
    /*回调函数的data参数*/
    psr->data = myctx;


    /*构造子请求*/
    /*sina服务器要求*/
    ngx_str_t sub_prefix = ngx_string("/list=");

    /*URL构造=前缀+参数*/
    ngx_str_t sub_location;
    sub_location.len = sub_prefix.len + r->args.len;
    sub_location.data = ngx_palloc(r->pool, sub_location.len);
    ngx_snprintf(sub_location.data, sub_location.len,
        "%V%V", &sub_prefix, &r->args);


    /*sr即为子请求*/
    ngx_http_request_t *sr;
    /*创建子请求*/
    /*参数分别是：*/
    //1.父请求 2.请求URI 3.子请求的URI参数 4.返回创建好的子请求
    //5.子请求结束的回调
    //6.subrequest_in_memory 标识
    ngx_int_t rc = ngx_http_subrequest(r, &sub_location, NULL, &sr, psr, NGX_HTTP_SUBREQUEST_IN_MEMORY);

    if (rc != NGX_OK)
    {
        return NGX_ERROR;
    }

    /*必须返回NGX_DONE*/
    /*父请求不会被销毁，而是等待再次被激活*/
    return NGX_DONE;
}

3.2测试

将mytest模块编入nginx

./configure --add-module=/home/zhangxiao/zxtest/nginxlearn/chapter5/subrequest/
make;sudo make install

重启nginx，在浏览器输入localhost:8080/query?s_sh000001今天的上证指数。

这里写图片描述

顺便看了看百度的上证指数图，呵呵。
这里写图片描述

4.参考

1.深入理解Nginx
2.https://www.kancloud.cn/kancloud/master-nginx-develop/51853

NearXDU
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
主请求汇总子请求结果
阳光梦的专栏
12-09 821
subrequest简介 subrequest，即子请求，它是nginx中的一个概念。它是在当前请求中发起的一个新的请求。比较常见的用法是用利用subrequest来访问一个或者多个upstream的后端，然后以同步或者异步的方式处理返回结果。subrequest最擅长处理的是输出逻辑，在nginx内部已经内建有完整的机制来实现（见ssi模块）。但很多业务逻辑，并不是只有输出逻辑，还有筛选、计算
nginx访问第三方服务之upstream使用
上善若水
11-11 5391
nginx使用upstream
srcache-nginx-module, 基于透明subrequest的任意 Nginx 位置缓存布局.zip
09-18
srcache-nginx-module, 基于透明subrequest的任意 Nginx 位置缓存布局 电子邮件名称ngx_srcache - 基于透明subrequest的任意 Nginx 位置缓存布局：这里 MODULE 没有与 Nginx 源一起分发。 我们将看到安装说明( 参见参考资料) 。 table-内容NAME状态
nginx module开发利器：subrequest
yiyeqinghuasoon
01-05 154
nginx是个高性能web server，很多时候我们会把它当成reverse proxy或者web server container使用，但有时我们也会开发它的第三方module，因为module才能完全使用nginx的全事件驱动、无阻塞调用机制，充分使用系统资源，达到SERVER最大处理吞吐量。 在开发nginx module时，我们最有可能遇到的一件事就是，在处理一个请求时，我们需要访...
Subrequest实例分析
fdsafwagdagadg6576的专栏
11-14 2605
subrequest是子请求。它并不是http标准里面的概念，它是在当前请求中发起的一个新的请求，它拥有自己的ngx_http_request_t结构，uri和args。 subrequest是由HTTP框架提供的一种分解复杂请求的设计模式。 它可以把原始请求分解为许多子请求,使得诸多请求协同完成一个用户请求,并且每个请求只关注一个功能. 使用subrequest来访问一个upstream的后端,并给它一个ngx_http_post_subre...
Nginx模块开发（3）————使用upstream访问第三方服务
缱绻的西格玛
08-12 2510
该模块可以完成如下的功能，当我们输入http://你的ip/lcwupstream时，会使用upstream方式访问淘宝搜索，打开淘宝搜索的主页面，代码如下：//start from the very beginning,and to create greatness //@author: Chuangwei Lin //@E-mail：979951191@qq.com //@brief： 使用up
ngix：subrequest 的 用途 和 使用流程
zy825316的专栏
04-12 1251
缘由 今天阅读了深入理解nginx的第五章的后半部分，主要讲的就是subrequest，功能我觉得主要就是两点 具备类似代理的功能，就是把一个请求转发到上游服务器，但是与upstream的不同之处主要在于upstream只能把上游服务器的内容原封不动的返还给客户端。但是subrequest可以把上游服务器的相应在代理服务器这边做一定的修改之后再返回给上游服务器 由substream可以将一个
06_Nginx_subrequest模块
田一一
03-15 367
06_Nginx_subrequest模块1. 什么subrequest2. `subrequest`怎么使用2.1 使用`subrequest`仅需要下面四步操作2.2 配置子请求的处理方式2.2.1 上游服务器配置2.2.2 Nginx服务器配置2.3 实现子请求处理完毕时的回调方法 1. 什么subrequest subrequest是由HTTP框架提供的一种分解复杂请求的设计模式，它可以把原始请求分解为许多子请求，使得诸多请求协同完成一个用户请求，并且每个请求只关注于一个功能。 首先，只要不是完全将
nginx安装第三方模块的方法
09-30
其中一个重要的特性就是它支持第三方模块的安装，这使得Nginx能够通过扩展来增加更多的功能。** ### 安装Nginx第三方模块 #### 在未安装Nginx的情况下安装第三方模块 1. **下载Nginx源码**：首先从[Nginx官方网站...
linux服务器上使用nginx访问本地静态资源的方法
09-14
主要介绍了linux服务器上如何使用nginx访问本地静态资源,本文给出了解决方法，需要的朋友可以参考下
Mars3D+nginx 搭建离线API服务，本地访问
12-20
1.解压缩后启动nginx,浏览器访问localhost:809/index.html 2.有任何问题或者需要Mars3D其他API版本可联系博主
Nginx 的子请求(subrequest)原理分析
Network/Storage/Linux Kernel
03-03 2432
Nginx 的子请求(subrequest)原理分析 Nginx 的子请求设计其依托于自身的access阶段，实现了对指定url发起旁路请求的功能，通常用来鉴权、镜像等功能。当然还有其他用法这里不一一赘述，通常用户使用的接口有如内置auth_request接口或者lua的capture接口。这两个对外的接口，都使用了Nginx的ngx_http_subrequest函数。本文就稍微梳理下其子请求流...
nginx子请求并发处理
ApeLife技术博客
07-13 6392
子请求并发http协议标准的概念，可以说是nginx所特有的设计， 为什么需要子请求呢? 一般认为这主要是为了提高nginx内部对单个客户端请求处理的并发能力。如果客户端的某个主请求访问了多长资源(例如通过ssi功能包含了a.html, b.hmtl、c.html三个资源)， 那么对每一处资源访问建立一个子请求并让它们同时进行，效率自然会更高。 所谓的子请求，并不是由客户端直接发起的，它是由ng...
我眼中的 Nginx（五）：Nginx — 子请求设计之道
wuli1024的博客
11-22 149
Nginx 所处理的大部分请求，都是在接收到客户端发来的 HTTP 请求报文后创建的，这些请求直接与客户端打交道，称之为主请求；与之相对的则是子请求，顾名思义，子请求是由另外的请求创建的，比如主请求（当然子请求本身也可以创建子请求），当一个请求创建一个子请求后，它就成了该子请求的父请求。
Nginx系列（十七）：HTTP subrequest子请求
yang_oh的博客
06-11 1132
一个主请求无论产生多少子请求，epoll中始终只包含一个连接的写事件，当该连接的可写事件触发时，该连接所有父子请求都会被处理一遍。c->data 始终指向后序遍历的首个节点位置。顺序从下往上，从左往右，即先产生的子请求要求先发送。 一、子请求建立 ngx_http_subrequest r->postponed：该请求子请求和已产生数据的树状结构。 r->posted_req...
nginx实现subrequest子请求
qq_41937509的博客
09-13 664
【代码】nginx实现subrequest子请求。
nginx subrequest(子请求) 原理及使用
huzilinitachi的专栏
03-20 6589
nginx subrequest主要有以下几种类型 #define NGX_HTTP_SUBREQUEST_IN_MEMORY 2 //请求在内存中执行 #define NGX_HTTP_SUBREQUEST_WAITED 4 //阻塞延后处理 #define NGX_HTTP_SUBREQUEST_CLONE 8 //完全拷贝主请求的...
nginx日志配置[转]
weixin_33695450的博客
06-23 216
nginx分割日志:#!/bin/shlogs_path="/nginx/logs/"mv${logs_path}access.log${logs_path}access_$(date-d"yesterday"+"%Y%m%d").logkill-USR1`cat/nginx/logs/nginx.pid`代码中的/nginx/logs指的是nginx的log日志文件所在目录，生...
nginx 子请求
扎实基础方能走远
05-17 1253
主要分析子请求的以下问题 1，子请求怎么创建 2，子请求怎么运行 3，子请求的配置 4，子请求的变量 5，子请求可否设置缓存 6，子请求的location会不会打印log 1，子请求怎么创建   ngx_http_subrequest函数会创建子请求，调用形式为： ngx_int_t  ngx_http_subrequest(ngx_http_request_t *r,
nginx反向代理访问第三方接口弊端
最新发布
06-02
使用nginx反向代理访问第三方接口的弊端主要有以下几点： 1. 单点故障问题：如果nginx反向代理出现故障，会导致所有依赖其的应用无法访问第三方接口； 2. 性能问题：由于nginx反向代理需要进行转发，可能会对系统的性能造成影响； 3. 安全问题：如果nginx反向代理没有进行足够的安全控制，可能会造成数据泄露或者其他安全问题。 因此，在使用nginx反向代理访问第三方接口时，需要仔细考虑其带来的潜在问题，并采取相应的措施进行安全控制和性能优化。例如，可以通过使用负载均衡、多节点部署等方式来避免单点故障问题；通过缓存、调优等方式来优化系统性能；通过加密传输、鉴权等方式来保证系统安全性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值