爬虫
文章平均质量分 89
zhuzuwei
这个作者很懒,什么都没留下…
展开
-
Python爬虫学习1:requests库
get, r.text, r.status_code, r.encoding, r.content, r.json, r.iter_content, requests.post, r.cookies原创 2018-07-01 16:32:15 · 1479 阅读 · 0 评论 -
Python爬虫学习2:Beautifulsoup的使用
11原创 2018-07-01 16:49:24 · 291 阅读 · 0 评论 -
Python爬虫学习4:requests.post模拟登录豆瓣(包括获取验证码)
1. 在豆瓣登录网页尝试登录后打开开发者工具,可以查找后去Headers和Form Data信息。2. 实现代码import requestsimport html5libimport refrom bs4 import BeautifulSoups = requests.Session()url_login = 'http://accounts.douban.com/login'...原创 2018-07-01 17:15:02 · 4872 阅读 · 3 评论 -
Python爬虫学习5:使用cookie访问网页(以豆瓣为例)
1. 先在浏览器上登录豆瓣,登录成功后打开开发者工具,可以查看到Cookie. 第一次登录后,短时间内再次打开此页面时,会发现系统已经保存了cookie, 不用再重新登录。时间长了cookie会失效,需重新登录.2. 实现代码import requestsheaders = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) ...原创 2018-07-01 17:21:15 · 11607 阅读 · 1 评论 -
Python爬虫学习6:scrapy入门(一)爬取汽车评论并保存到csv文件
一、scrapy 安装:可直接使用Anaconda Navigator安装, 也可使用pip install scrapy安装二、创建scrapy 爬虫项目:语句格式为 scrapy startproject project_name生成的爬虫项目目录如下,其中spiders是自己真正要编写的爬虫。三、爬取腾讯新闻并保存到csv文件 1. 只爬取一个页面:在spiders目录下创建spi...原创 2018-07-02 21:06:11 · 2828 阅读 · 0 评论 -
Python scrapy项目中.py文件无法保存:Unable to save file 'items.py' Cannot save items.py
1. 问题描述 在使用cmd 命令行创建scrapy project项目后,对items文件进行更改时发生错误。 (1)spyder编辑器显示 Unable to save file 'items.py' Error message: [Errno 13] Permission denied: ... 等错误信息。 (2)pyChra...原创 2018-07-03 10:25:48 · 8841 阅读 · 0 评论 -
pymysql插入数据到mysql: Insert error: (1054, "Unkonw column '*' in 'field list' " )
在使用scrapy 爬取汽车评论时,insert语句执行老是出错1. 保存长文本:mysql 保存长文本需使用text类型create_command = 'create table evComm3(car_name varchar(20), advant text, disadvant text, sums text, support_num int(8))'cursor.execute(cr...原创 2018-07-06 08:20:59 · 1486 阅读 · 0 评论