scrapy默认模板解析网页里面的链接内容

scrapy默认模板解析网页里面的链接内容

前言：

首先进入Terminal中

1、创建一个scrapy框架项目：scrapy startproject 项目名

2、创建爬虫urL：

cd 项目名

scrapy genspider itcast 网址

解析这个网页里的每个笑话的时间、名称、链接，再将链接里的笑话内容解析放在一个字典里面：

1、在创建的爬虫模块里面填写信息

# name 爬虫的识别名称，必须唯一，启动爬虫时使用
name = 'xiaoxiao'
allowed_domains = ['xiaohua.zol.com.cn']
# 搜索的域名范围
start_urls = ['http://xiaohua.zol.com.cn/']
# 爬虫起始地址

#上面的都是自动生成的
# 解析返回的网页数据(response.body)，提取结构化数据
def parse(self, response):
    with open('xiaoh.html', 'w', encoding='utf-8') as f:
        f.write(response.text)

    li = response.xpath('//div[@class="section"]/ul[@class="news-list video-list"]/li')
    for liens in li:
        item = XiaohuaItem()
        time = liens.xpath('.//span/text()')
        item['time'] = time[0].get()
        title = liens.xpath('.//a/@title')
        item['title'] = title[0].get()
        href = liens.xpath('.//a/@href')
        item['href'] = 'http://xiaohua.zol.com.cn'+href[0].get()
        yield scrapy.Request(url=item['href'], callback=self.parse_content, meta={'item':item})
# 解析URL请求返回后的内容
def parse_content(self,response):
    print('+++++++++++++++++parse_content+++++++++++++++++++++')
    item['content'] = response.xpath('//meta[@name="description"]/@content').get().strip()
    yield item

2、在itmes数据容器文件里面加入要保存的属性
这里的变量名一定要和爬虫模块保存的字典 key 对应上
time = scrapy.Field()
title = scrapy.Field()
href = scrapy.Field()
content = scrapy.Field()

setting模块：
如果保存的数据里面有中文需要在settings模块里面加入一条字符编码集代码
FEED_EXPORT_ENCODING = 'utf-8'
配置头文件
USER_AGENT = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36'
如果要跳过网站的robots协议
ROBOTSTXT_OBEY = False

---