爬虫
zulien
python开发、PHP开发、web前端、大数据开发
展开
-
centos下使用selenium+chrome+chromedriver
注意:服务器选用的是centos 7。centos6.5安装配置非常麻烦,而centos7安装过程很顺畅,原因可能是centos6.5对于chrome和chromedriver的支持非常之不好,准确的说不支持chrome而必须采用chromium,chromium的安装很不顺畅,所以,建议玩centos6.5的,可以升级或者重新上一台centos7服务器吧! 在无界面的CentOS7上安装Sel...原创 2018-12-13 16:15:53 · 2049 阅读 · 0 评论 -
python常用的爬虫模块及使用方法
Python的urllib和urllib2模块都做与请求URL相关的操作,但他们提供不同的功能。他们两个最显着的差异如下: urllib2可以接受一个Request对象,并以此可以来设置一个URL的headers,但是urllib只接收一个URL。这意味着,你不能伪装你的用户代理字符串等。 urllib模块可以提供进行urlencode的方法,该方法用于GET查询字符串的生成,urllib...原创 2018-12-14 18:07:23 · 1852 阅读 · 0 评论