最近在爬油管的过程中,出现了个warning的日志问题,发现是urllib3引起的,给项目的日志输出造成了一定的影响。
warning的出现是因为分布式高并发造成的,太多的请求同时去访问,造成部分访问没有成功。
在解决的过程中,侧重点一直放在网站和requests包上面,一顿猛操作,最后也没有解决。
后来才发现方向错了,换了几个搜索引擎查找问题,才避免了warning的输出,不过根本的问题还是没有解决。
直接上代码
import logging
urllib3_logger = logging.getLogger('urllib3')
urllib3_logger.setLevel(logging.CRITICAL)
如果是requests问题,直接将urllib3替换就好