![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 53
西门一刀
这个作者很懒,什么都没留下…
展开
-
selenium接管已经打开的Chrome浏览器
selenium接管已经打开的浏览器转载 2023-01-19 19:51:41 · 2047 阅读 · 0 评论 -
selenium爬虫时添加账密IP代理认证的方法
selenium爬虫IP代理原创 2023-01-03 17:14:39 · 1059 阅读 · 0 评论 -
python requests请求接口返回304问题解决
python requests请求接口返回304问题解决原创 2022-11-06 14:02:42 · 2184 阅读 · 0 评论 -
xpath定位总结
1. Xpath简介Xpath不是selenium专用,只是作为一种定位手段,为selenium所用。Xpath是一门在xml文档中查找信息的语言。Xpath可用来在xml文档中对元素和属性进行遍历。由于html的层次结构与xml的层次结构天然一致,所以使用Xpath也能够进行html元素的定位。2. Xpath定位方法浏览器中如何找到元素Chrome浏览器:按F12,将鼠标点击下图中的图标,再到浏览器页面上选择需要定位的元素,Elements页中就会自动定位高亮显示页面中的元素。2.1 绝对路原创 2021-01-13 16:45:00 · 3284 阅读 · 0 评论 -
【编码】UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\xa0‘ in position XXX
有时候在win中运行代码会遇到题目中的报错问题:“UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ in position XXX”,让人摸不着头脑的是程序开头的编码设置# coding:utf-8 和数据流IO操作时的编码转化都已经在程序中加入加入了。gbk哪里来的呢?其实就是win中新文件的默认编码是gbk。当我们遇到编码问题的时候,有三个地方需要注意的:文件的编码,IDE的编码,还有数据流IO操作过程中的编码。后面两种很多原创 2021-01-02 15:12:22 · 868 阅读 · 1 评论 -
常见浏览器Agent代理信息
一,IE系列IE6 User-AgentMozilla/4.0 (Windows; MSIE 6.0; Windows NT 5.2)IE7 User-AgentMozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)IE8 User-AgentMozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)IE9 User-AgentMozilla/5.0 (compa原创 2021-01-01 10:21:34 · 28147 阅读 · 0 评论 -
Python设置代理
有时使用爬虫发送请求时无法正常获取返回结果,那么需要设置一个本地的代理,每次发送请求时会随机调用参数信息,服务器那边就不会屏蔽了class my_useragent(object): # 设置用户代理 防反爬虫,每爬一条数据 切换一次代理 def process_request(self): # user_agent 列表 USER_AGENT_LIST = [ "Mozilla/5.0 (Windows NT 6.1; WOW64) A原创 2020-11-25 14:09:11 · 1336 阅读 · 0 评论