根据爬取到的超链接,用httpclient模仿发送查询文章详情的请求时,如果存在302重定向首部可能需要添加referer字段,否则可能会被重定向到登录界面。
selenium+httpClient爬取某网站信息,遇到重定向的问题
最新推荐文章于 2023-06-16 17:07:01 发布
根据爬取到的超链接,用httpclient模仿发送查询文章详情的请求时,如果存在302重定向首部可能需要添加referer字段,否则可能会被重定向到登录界面。