关于scrapy爬虫使用的一些小经验和注意事项
1. 图片下载的设置
class ClawernameSpider(scrapy.Spider):
# 定制化设置
custom_settings = {
'LOG_LEVEL': 'DEBUG', # Log等级,默认是最低级别debug
'ROBOTSTXT_OBEY': False, # default Obey robots.txt rules
'DOWNLOAD_DELAY': 0, # 下载延时,默认是0
'COOKIES_ENABLED': False, # 默认enable,爬取登录后数据时需要启用
'DOWNLOAD_TIMEOUT': 25, # 下载超时,既可以是爬虫全局统一控制,也可以在具体请求中填入到Request.meta中,Request.meta['download_timeout']
'RETRY_TIMES': 8,
# ………………
'IMAGES_STORE': r'E:\scrapyFashionbeansPic\images', # 爬虫下载图片存储位置,没有则新建,已经存在的图片不会再下载
'IMAGES_EXPIRES': 90, # 图片过期时间,单位为天
'IMAGES_MIN_HEIGHT': 100, # 图片最小尺寸(高度),低于这个高度的图片不会下载
'IMAGES_MIN_WIDTH': 100, # 图片最小尺寸(宽度),低于这个宽度的图片不会下载
'DOWNLOADER_MIDDLEWARES': { # 下载中间件设置,后面的数字(范围0~999)为优先级,越小越先处理
'scrapyFashionbeans.middlewares.HeadersMiddleware': 100,
'scrapyFashionbeans.middlewares.ProxiesMiddleware': 200,
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
},
# ………………
}
2. 在Request中设置flag,针对性处理每个request
- 在构造Request时,增加flags这个参数
def start_requests(self):
for each in keyLst:
yield scrapy.Request(
url = f'https://www.amazon.com/s/ref=nb_sb_noss?url=search-alias%3Daps&field-keywords={quote(each)}',
meta = {
'key': each, 'dont_redirect': True},
callback = self.parse,
errback = self.error,
# 在request中埋入flag,在经过中间件时,可以以此为判断依据,针对性处理每条Request
flags = [1]
)
- 使用在下载中间件的示例:
# 在下载中间件中,代理处理部分
# 当Request的flag[0]设置为1时,不添加代理IP
class ProxiesMiddleware(object):
def __init__(self):
runTimer = datetime.datetime.now()
print(f"instance ProxiesMiddleware, startProxyTimer, runTimer:{runTimer}.")
timerUpdateProxies()
print(f"instance ProxiesMiddleware, startProxyTimer, runTimer:{runTimer}.")
def process_request(self, request, spider):
print('Using ProxiesMiddleware!')
# 在这里识别 request.url是不是指列表页,从而不启用代理。
# 或者在发送列表页request时,将某个栏位(flags可用,类型是列表)置上标记,在这个地方检察这个标记,从而决定要不要启动代理。
if request.flags:
if request.flags[0] == 1: # flags[0] 如果为1表示这条request并不需要添加代理
return None # 不加proxy, 直接返回, 给其他中间件继续处理request
if not request.meta.get('proxyFlag'):
request.meta['proxy']='http://xxxxxxxxxxxx:xxxxxxxxxxxx@proxy.abuyun.com:9020'
3. 跟进一个网页中的超链接
for page in range(1 ,pageNum + 1):
# 从本网页实现页面跟进
# href是从网页中拿到的超链接地址
yield response.follow(
url = re.sub(r'page=\d+', f'page={page}', href, count = 1),
meta = {
'dont_redirect':True , 'key':response.meta['key']},
callback = self.galance,
errback = self.error
)
4. 利用redis进行网页去重,做分布式爬虫的基础。
- 关于scrapy-redis的原理,请参考:https://www.biaodianfu.com/scrapy-redis.html
- 参考文章:https://www.cnblogs.com/zjl6/p/6742673.html
class ClawernameSpider(scrapy.Spider):
# 定制化设置
custom_settings = {
'LOG_LEVEL': 'DEBUG', # Log等级,默认是最低级别debug
# ………………
# 利用redis对网页去重的设置项
'DUPEFILTER_CLASS': "scrapy_redis.dupefilter.RFPDupeFilter",
'SCHEDULER': "scrapy_redis.scheduler.Scheduler",
'SCHEDULER_PERSIST': False, # Don't cleanup redis queues, allows to pause/resume crawls.
# ………………
}
运行redis-cli.exe,然后执行flushdb *清除掉redis中的记录,以免之前没爬取成功的页面,在下次爬取时被忽略掉了。
key