scrapy默认模板解析网页里面的链接内容
前言:
首先进入Terminal中
1、创建一个scrapy框架项目:scrapy startproject 项目名
2、创建爬虫urL:
cd 项目名
scrapy genspider itcast 网址
解析这个网页里的每个笑话的时间、名称、链接,再将链接里的笑话内容解析放在一个字典里面:
![微信截图_20200415152855.png](https://i-blog.csdnimg.cn/blog_migrate/1e2edaae63cbba7fe5e3da3fc9a7f1b9.png)
1、在创建的爬虫模块里面填写信息
# name 爬虫的识别名称,必须唯一,启动爬虫时使用
name = 'xiaoxiao'
allowed_domains = ['xiaohua.zol.com.cn']
# 搜索的域名范围
start_urls = ['http://xiaohua.zol.com.cn/']
# 爬虫起始地址
#上面的都是自动生成的
# 解析返回的网页数据(response.body),提取结构化数据
def parse(self, response):
with open('xiaoh.html', 'w', encoding='utf-8') as f:
f.write(response.text)
li = response.xpath('//div[@class="section"]/ul[@class="news-list video-list"]/li')
for liens in li:
item = XiaohuaItem()
time = liens.xpath('.//span/text()')
item['time'] = time[0].get()
title = liens.xpath('.//a/@title')
item['title'] = title[0].get()
href = liens.xpath('.//a/@href')
item['href'] = 'http://xiaohua.zol.com.cn'+href[0].get()
yield scrapy.Request(url=item['href'], callback=self.parse_content, meta={'item':item})
# 解析URL请求返回后的内容
def parse_content(self,response):
print('+++++++++++++++++parse_content+++++++++++++++++++++')
item['content'] = response.xpath('//meta[@name="description"]/@content').get().strip()
yield item
2、在itmes数据容器文件里面加入要保存的属性
这里的变量名一定要和爬虫模块保存的字典 key 对应上
time = scrapy.Field()
title = scrapy.Field()
href = scrapy.Field()
content = scrapy.Field()
setting模块:
如果保存的数据里面有中文需要在settings模块里面加入一条字符编码集代码
FEED_EXPORT_ENCODING = 'utf-8'
配置头文件
USER_AGENT = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
如果要跳过网站的robots协议
ROBOTSTXT_OBEY = False