python3 urllib调用spring cloud服务报urllib.error.HTTPError: HTTP Error 400: Bad Request排查

背景

使用python3的urllib调用spring cloud服务接口,一直报错

  File "E:\github\workspace\dbfree\src\test\common\test_paas_api_base.py", line 49, in test_zjk
    resp = urllib.request.urlopen(req, timeout=5)
  File "C:\Users\zhangjikuan\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 223, in urlopen
    return opener.open(url, data, timeout)
  File "C:\Users\zhangjikuan\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 532, in open
    response = meth(req, response)
  File "C:\Users\zhangjikuan\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 642, in http_response
    'http', request, response, code, msg, hdrs)
  File "C:\Users\zhangjikuan\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 570, in error
    return self._call_chain(*args)
  File "C:\Users\zhangjikuan\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 504, in _call_chain
    result = func(*args)
  File "C:\Users\zhangjikuan\AppData\Local\Programs\Python\Python36\lib\urllib\request.py", line 650, in http_error_default
    raise HTTPError(req.full_url, code, msg, hdrs, fp)
urllib.error.HTTPError: HTTP Error 400: Bad Request

使用浏览器直接调用返回的是封装后的数据,虽然结果错误,但至少是服务中封装的结构
{“RequestId”:“b8e3f811-de16-4693-9084-44cb9aa7cc34”,“Data”:null,“Success”:false,“Code”:500,“Message”:null}

python3 urllib

与python2的不同,包的import有所不同
import urllib.parse
import urllib.request

url = "http://localhost:8787/rm/QueryResource"
k = "param1"
v = urllib.parse.quote("abcdef-123")
param = "{}={}".format(k, v)
data = bytes(param .encode("utf-8"))
headers = dict()
req = urllib.request.Request(url, data, headers)
resp = urllib.request.urlopen(req, timeout=5)
body = resp.read()

排查过程

  • 1.看上面的现象,被严重误导,既然浏览器和shell curl都正常,那就是python使用的问题
    因为参数值abcdef-123中有中划线,怀疑是编码问题,而且恰巧的是去掉中划线就好了,加上中划线就报400
    所以去看了urllib.parse.quote编码代码,如下:
def quote(string, safe='/', encoding=None, errors=None):
    """quote('abc def') -> 'abc%20def'

    Each part of a URL, e.g. the path info, the query, etc., has a
    different set of reserved characters that must be quoted.

    RFC 2396 Uniform Resource Identifiers (URI): Generic Syntax lists
    the following reserved characters.

    reserved    = ";" | "/" | "?" | ":" | "@" | "&" | "=" | "+" |
                  "$" | ","

    Each of these characters is reserved in some component of a URL,
    but not necessarily in all of them.

上面代码很明显标注保留以上字符,但是-并不是要编码的字符,不影响才对

  • 2 继续debug urllib 在http_response中发现如下代码
def http_response(self, request, response):
        code, msg, hdrs = response.code, response.msg, response.info()

        # According to RFC 2616, "2xx" code indicates that the client's
        # request was successfully received, understood, and accepted.
        if not (200 <= code < 300):
            response = self.parent.error(
                'http', request, response, code, msg, hdrs)

        return response

上面代码看到在http code不在[200-300)范围时候就会抛错误,错误就在这里抛出来的

  • 3 被排查节奏有点带歪,以至于又走了弯路,以为返回值的code是500导致的,如果把server端错误code都改在2xx也有点不能忍,毕竟定义了很多code,超过100个该怎么办,但是还是先把500改为250看下效果
    很遗憾改完后依旧报错

  • 4 进一步debug urllib代码,看下这个code在哪里获取到的,一直到了最底层client的代码,发现不是那么回事

def _read_status(self):
        line = str(self.fp.readline(_MAXLINE + 1), "iso-8859-1")
        if len(line) > _MAXLINE:
            raise LineTooLong("status line")
        if self.debuglevel > 0:
            print("reply:", repr(line))

上面的read代码是直接拿的http结果,用的iso-8859-1,那也就是说这个400是http状态,不是我代码返回的code500,此时恍然醒悟,怎么能范这么大的错误,很明显报错信息就是HTTP Error 400: Bad Request,这是HTTP的状态码,浏览器返回的数据是自己在server端定义的用户数据,两个code完全不是一回事

  • 5得出上面结论后排查就很顺利了,去server端排查日志发现了明显的堆栈报错
java.lang.NullPointerException
	at com..rm.service.K8sOpService.queryPod(K8sOpService.java:322)
	at com.rm.service.K8sResourceService.queryResource(K8sResourceService.java:135)
	at com.rm.controller.K8sResourceController.queryResource(K8sResourceController.java:68)
	at com.rm.controller.K8sResourceController$$FastClassBySpringCGLIB$$8882770f.invoke(<generated>)
	at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:218)

也就是说当参数中有中划线时候server抛异常了,这也导致上面走弯路的原因(加了中划线就抛异常,不加就正常,两次让现象误导的排查方向)。
抛的异常会被controller的globalException获取到,封装为自己的数据返回

  • 6 server的RestControllerAdvice 参考 https://blog.csdn.net/zhangjikuan/article/details/115004774

文章中我的@ResponseStatus(HttpStatus.OK) 是修改过的,在排查此问题时是 @ResponseStatus(HttpStatus.BAD_REQUEST) 也就是400的报错

  • 7 根据6中的结论,只要所有RestControllerAdvice 获取到的异常都会报400,修改下调用参数,让其抛参数异常,进一步验证是不是还会报400,发现果然是这里。

  • 8 最后修改spring cloud端RestControllerAdvice 异常时仍然报200,全部解决,这也是在上一篇文章中最后添加注意的点

  • 9 至此所有问题解决

结论

  • python3 urllib与python2.7使用上稍有不同
  • urllib.parse.quote() 有保留一些字符不编码
  • 自己封装接口返回code时要注意与http status的区别
  • 一些客户端会判断http status的code值,就算有用户数据也会直接抛异常
  • RestControllerAdvice 中 @ResponseStatus可以设置http返回码
  • 3
    点赞
  • 0
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:编程工作室 设计师:CSDN官方博客 返回首页
评论

打赏作者

zhangjikuan

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值