99作文网、微博、双色球、汽车之家

最新推荐文章于 2021-02-24 12:39:03 发布

6and0

最新推荐文章于 2021-02-24 12:39:03 发布

阅读量394

点赞数 1

分类专栏：爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/zxcvbbnn/article/details/106958047

版权

本文介绍了如何使用爬虫技术分别从99作文网、微博平台、双色球彩票网站以及汽车之家获取数据，详细阐述了各个网站的数据结构和爬取策略，为读者提供了全面的爬虫实战经验。

摘要由CSDN通过智能技术生成

案例

99作文网
微博数据
双色球
汽车之家

99作文网

import requests
from lxml import etree
import urllib.parse
import os


class ZuoWenSpider():
    def __init__(self):
        self.url = 'https://www.99zuowen.com/xiaoxuezuowen/'
        self.headers = {
   
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36'
        }

        self.dir = '99zuowen/'
        if not os.path.exists(self.dir):
            os.mkdir(self.dir)

    def send_request(self, full_url):
        response = requests.get(full_url, headers=self.headers)

        if response.status_code == 200:
            return response

    def parse_content(self, response):  # 解析内容
        html = etree.HTML(response.text)
        cat = html.xpath('//dl[@class="type_list2"]')[0]
        a_list = cat.xpath('./dd/a')

        for a in a_list:
            title = a.xpath('./text()')[0]
            href = a.xpath('./@href')[0]
            full_url = urllib.parse.urljoin(self.url, href)
            response = self.send_request(full_url)
            self.parse_list(response, title)

    def parse_list(self, response, title):  # 解析列表
        html = etree.HTML(response.text)
        href_list = html.xpath('//li[@class="lis"]//span[@class="right"]/a/@href')

        for href in href_list:
            response = self.send_request(href)
            self.parse_detail(response, title)

    def parse_detail(self, response, title):  # 解析详情

        html = etree.HTML(response.text)
        name = html.xpath('//h1/text()')[0]
        content = "".join(html.xpath('//div[@class="content"]//p//text()'))
        self.save_content(title, name, content