爬取编程语言排名

最新推荐文章于 2024-04-07 16:12:55 发布

zsq_lover

最新推荐文章于 2024-04-07 16:12:55 发布

阅读量242

点赞数

文章标签： python

本文链接：https://blog.csdn.net/zsq_lover/article/details/113029584

版权

爬取编程语言排名

技术路线

思路分析

代码实现

# 定向爬虫，爬取编程语言的排名
import requests
# 引用bs4库中的BeautifulSoup类
from bs4 import BeautifulSoup
# 引用bs4库
import bs4

# 定义获得网页文本的函数
# 需要的参数是网页的url
# 返回的是网页信息
def getHTMLText(url):
    try:
        r=requests.get(url)
        # 用raise_for_status产生异常信息
        r.raise_for_status()
        # 改变文档为信息体的合适的编码
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""


# 需要网页数据和list表（这个数据结构用于存取目标数据）
def fillUnivList(ulist,html):
    soup=BeautifulSoup(html,"html.parser")
    # 获得数据 （在<tbody>）
    for tr in soup.find('tbody').children:
        # 这里进行对非标签进行排除
        if isinstance(tr, bs4.element.Tag):
            # 解析tr行中包含数据的td
            tds = tr('td')
            ulist.append([tds[0].string, tds[1].string, tds[3].string])

# 将list数据打印出来
def printUnivList(ulist,num):
    tplr = "{0:^10}\t{1:^10}\t{2:^10}"
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
    print(tplr.format("2021排名","2020排名","编程语言",chr(12288)))
    for i in range(num):
        u = ulist[i]
        # replace(待替换，替换，最多次数)
        # replace(' ','').replace("\n","") 将空格和换行替换成无
        print(tplt.format(u[0], u[1], u[2],chr(12288)))


def main():
    # 预先安置的一个列表对象，用于爬取的数据
    uinfo = []
    url = 'https://www.tiobe.com/tiobe-index/'
    html = getHTMLText(url)
    fillUnivList(uinfo,html)
    printUnivList(uinfo,10)
# 程序开始的地方
main()