scrapy
新建项目
scrapy startproject XXX
新建爬虫
scarpy genspider xxx xxx.com
运行爬虫
scrapy crawl xxx
shell测试
scrapy shell xxx.com
response
response.extract()[0].strip().replace("","")
extract_first()为空时不会报错
strip()去换行符
scrapy 爬取顺序
https://segmentfault.com/q/1010000003930911?sort=created
scrapy 各种报错
http://blog.csdn.net/sunshine_in_moon/article/details/51250023
http://ask.csdn.net/questions/240847
css选择器
response.css()
a::attr(href)提取网页
a::text提取文本
scrapy的Request
from scrapy.http import Request
request(url=,meta={},callback=)
meta={} 传递值
callback 回调函数
pipeline
ITEM_PIPELINES 启用item pipeline组件
{‘scrapy.pipelines.images.ImagesPipeline’:300}
IMAGES_URL_FIELD ="图片所在字段"
IMAGES_STORE = "存储路径"
Python基础
函数命名
列表排序
num.sort()升序
num.sort(reverse=True)降序
num.reverse倒序
文件操作
f = open("文件名",“打开方式”)
打开方式 r w a b +
f.close() f.read() f.read(1) f.write(" ")
豆瓣源安装库
pip install -i https://pypi.douban.com/simple xxx
web知识
cookie和session
浏览器端和服务器端
sessionid
状态码
200 404 403 无权限 301/302重定向 500 服务器错误
requests库
requests.session() 保持cookie
urllib库
from urllib import parse
urllib.parse.urljoin
虚拟环境
mkvirtualenv -p /usr/bin/python3 xxx新建Python3虚拟环境
pip list 安装的库
workon 虚拟环境名 使用该虚拟环境
workon 显示所有虚拟环境