爬虫：大学排名爬取

最新推荐文章于 2024-09-19 23:38:37 发布

zsq_lover

最新推荐文章于 2024-09-19 23:38:37 发布

阅读量354

点赞数

文章标签： python

本文链接：https://blog.csdn.net/zsq_lover/article/details/113363544

版权

大学排名爬取

技术路线

编辑代码思路

发现和解决问题

参考博客

关于None问题的博客文章
https://blog.csdn.net/qq_43544492/article/details/84869155?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control

代码实现

# 定向爬虫，爬取中国最好大学排名
import requests
# 引用bs4库中的BeautifulSoup类
from bs4 import BeautifulSoup
# 引用bs4库
import bs4

# 定义获得网页文本的函数
# 需要的参数是网页的url
# 返回的是网页信息
def getHTMLText(url):
    try:
        r=requests.get(url)
        r.raise_for_status()
        # 改变文档为信息体的合适的编码
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""
# 需要网页数据和list表（这个数据结构用于存取目标数据）
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,"html.parser")
    # 获得数据 （在<tbody>）
    for tr in soup.find('tbody').children:
        # 这里进行对非标签进行排除
        if isinstance(tr, bs4.element.Tag):
            # 解析tr行中包含数据的td
            tds = tr('td')
            ulist.append([tds[0].contents[0], tds[1].a.string, tds[4].contents[0]])

# 将list数据打印出来
def printUnivList(ulist,num):
    tplr = "{0:^10}\t{1:^10}\t{2:^10}"
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplr.format("排名","学校","分数",chr(12288)))
    for i in range(num):
        u = ulist[i]
        # replace(待替换，替换，最多次数)
        print(tplt.format(u[0].replace(' ','').replace("\n",""), u[1], u[2].replace(' ','').replace("\n",""),chr(12288)))


def main():
    # 预先安置的一个列表对象，用于存储大学名称和排名还有分数的数据
    uinfo = []
    url = 'https://www.shanghairanking.cn/rankings/bcur/2020'
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,20)
# 程序开始的地方
main()