将python中爬取的数据保存到数据库中

最新推荐文章于 2024-07-26 21:47:11 发布

zhh_1998

最新推荐文章于 2024-07-26 21:47:11 发布

阅读量4.9k

点赞数 3

分类专栏： Python

本文链接：https://blog.csdn.net/zhh_1998/article/details/105403078

版权

该博客介绍如何使用Python进行关联爬取，并将获取的数据有效保存到MySQL数据库中，分为爬取数据和数据存库两个步骤。

摘要由CSDN通过智能技术生成

要用python关联爬取数据，保存到数据库中

分两步，第一步就是爬取数据，第二步才是保存到数据库

爬取数据

需要的头文件有：

# -*- coding:UTF-8 -*-
import pymysql as mdb
import pymysql.cursors
import requests
from bs4 import BeautifulSoup
import bs4

解析网址


def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

爬取数据


def fillnameList(ulist1, html):
    soup = BeautifulSoup(html, "html.parser")

    a = soup.find('div', class_='hcent_m1j_2n').findAll("dt")
    for i in a:
        tds = i("a")
        ulist1.append([tds[0].string])