Python使用API自动请求GitHub信息并使用Pygal将信息进行可视化

最新推荐文章于 2024-03-18 09:41:35 发布
最新推荐文章于 2024-03-18 09:41:35 发布
阅读量930 收藏 9
点赞数 6
分类专栏： matplotlib 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjzounir/article/details/105421033
版权

使用Web应用编程接口（API）自动请求网站的特定信息，在对这些信息进行可视化！！

Web API是网站的一部分，请求特定信息的程序交互，成为API调用，请求的数据以易于处理的格式（如JSON或CSV）返回。

1、使用API调用请求数据

  1. 本节内容可视化基于来自GitHub的信息（是一个分布式版本控制系统），GitHub上的项目都存储在仓库中。
  2. 仓库中包含与项目相关的一切：代码、项目参与者信息、问题或bug报告等。
  3. 对于喜欢的项目，GitHub用户可给它加星（star）以表示支持，本节将编写程序，自动下载GitHub上星级最高的Python项目的信息，并对这些信息进行可视化处理。
1.1、API请求GitHub托管了多少python项目及最受欢迎的Python仓库信息

1、首先我们登入网站查看下 https://github.com/
在这里插入图片描述
2、在浏览器中输入如下地址：
https://api.github.com/search/repositories?q=language:python&sort=stars
https://api.github.com/
将请求发送到GitHub网站中响应API调用的部分
search/repositories
让API搜索GitHub上所有仓库
?q=language:python&sort=stars
问号指出我们要传递一个实参
q表示查询，获取语言为Python的仓库信息
sort=stars将项目按其获得的星级进行排序
效果图如下所示：
从第二行输出可知，GitHub总共有5010524个Python项目
在这里插入图片描述

1.2、安装requests

1、在pycharm终端中Terminal中输入pip install --user requests，报错说缺少urllib3库
在这里插入图片描述
2、查询下是否有urllib3，输入pip list，发现没有
在这里插入图片描述
3、安装urllib3输入pip install urllib3，Successfully 成功
在这里插入图片描述
4、再次输入pip install --user requests安装requests
在这里插入图片描述
5、输入pip list，查询发现有了requests，这时候安装完毕
在这里插入图片描述

2、处理API响应

编写程序，执行API调用并处理结果，找出GitHub上星级最高的Python项目

新建python_repos.py文件

import requests     #导入模块requests

#执行API调用并存储响应
url='https://api.github.com/search/repositories?q=language:python&sort=stars'
r=requests.get(url)         #requests来执行调用
print("Status code",r.status_code)          #输出状态码200表示请求成功

#将API响应存储在一个变量中
response_dict=r.json()      #使用json()将这些信息转换为Python字典

#处理结果
print(response_dict.keys())     #打印主键

效果如下所示：
在这里插入图片描述
和请求的数据中一致
在这里插入图片描述

3、处理响应字典

将API调用返回的信息存储到字典后，我们就可以处理这个字典中的数据

3.1、获取仓库信息

在python_repos.py文件中修改：

import requests     #导入模块requests

#执行API调用并存储响应
url='https://api.github.com/search/repositories?q=language:python&sort=stars'
r=requests.get(url)         #requests来执行调用
print("Status code",r.status_code)          #输出状态码200表示请求成功

#将API响应存储在一个变量中
response_dict=r.json()      #使用json()将这些信息转换为Python字典
print("Total repositories：",response_dict['total_count'])

#探索有关仓库信息
repo_dicts=response_dict['items']
print("Repositories returned：",len(repo_dicts))

#研究第一个仓库
repo_dict=repo_dicts[0]
print("\nKeys：",len(repo_dict))
for key in sorted(repo_dict.keys()):
    print(key)
#处理结果
#print(response_dict.keys())     #打印主键

#探索有关仓库信息
将字典存入repo_dicts，通过len()获取仓库数量
#研究第一个仓库
打印第一个仓库键数，并遍历打印所有键
效果图如下：
在这里插入图片描述

3.2、获取第一个仓库中的键和对应的值

在3.1中我们获取到repo_dict共包含70个键

在python_repos.py文件中修改：

import requests     #导入模块requests

#执行API调用并存储响应
url='https://api.github.com/search/repositories?q=language:python&sort=stars'
r=requests.get(url)         #requests来执行调用
print("Status code",r.status_code)          #输出状态码200表示请求成功

#将API响应存储在一个变量中
response_dict=r.json()      #使用json()将这些信息转换为Python字典
print("Total repositories：",response_dict['total_count'])

#探索有关仓库信息
repo_dicts=response_dict['items']
print("Repositories returned：",len(repo_dicts))

#研究第一个仓库
repo_dict=repo_dicts[0]
#print("\nKeys：",len(repo_dict))
#for key in sorted(repo_dict.keys()):
    #print(key)
print("\nSelected information about first repository：")
print('Name：',repo_dict['name'])		#项目名称
print('owner：',repo_dict['owner']['login'])		#登录名
print('Stars：',['stargazers_count'])				#该项目获得的星级
print('Repository：',repo_dict['html_url'])			#该项目的URL
print('Created：',repo_dict['created_at'])			#显示项目创建时间
print('Updated：',repo_dict['updated_at'])			#最后一次更新时间
print('Description：',repo_dict['description'])		#仓库描述
#处理结果
#print(response_dict.keys())     #打印主键

效果图如下：
在这里插入图片描述

4、概述最受欢迎的仓库

打印每个项目的名称、所有者、星级、在GitHub上的URL以及描述。

在python_repos.py文件中修改：

import requests     #导入模块requests

#执行API调用并存储响应
url='https://api.github.com/search/repositories?q=language:python&sort=stars'
r=requests.get(url)         #requests来执行调用
print("Status code",r.status_code)          #输出状态码200表示请求成功

#将API响应存储在一个变量中
response_dict=r.json()      #使用json()将这些信息转换为Python字典
print("Total repositories：",response_dict['total_count'])

#探索有关仓库信息
repo_dicts=response_dict['items']
print("Repositories returned：",len(repo_dicts))

print("\nSelected information about first repository：")
for repo_dict in repo_dicts:
    print('\nName：',repo_dict['name'])		#项目名称
    print('Qwner：',repo_dict['owner']['login'])		#登录名
    print('Stars：',['stargazers_count'])				#该项目获得的星级
    print('Repository：',repo_dict['html_url'])			#该项目的URL
    print('Description：',repo_dict['description'])		#仓库描述
#处理结果
#print(response_dict.keys())     #打印主键

效果图如下：
每个项目包含了我们需要的信息
在这里插入图片描述

5、监视API的速率限制

大多数API都存在速率限制，要获取是否接近GitHub的限制

在浏览器中输入：
https://api.github.com/rate_limit
新建test.py文件看下速率：

import requests     #导入模块requests

#执行API调用并存储响应
url='https://api.github.com/rate_limit'
r=requests.get(url)         #requests来执行调用
print("Status code",r.status_code)          #输出状态码200表示请求成功


#将API响应存储在一个变量中
response_dict=r.json()      #使用json()将这些信息转换为Python字典
print(response_dict['resources']['search'])

效果图如下：
显示极限为每分钟10个请求
在当前一分钟内还可以执行10个请求
在这里插入图片描述

6、使用Pygal可视化仓库

得到了我们需要的数据之后，我们可以进行可视化，呈现GitHub上Python项目的受欢迎程度

在python_repos.py文件中修改：

import requests     #导入模块requests
import pygal
from pygal.style import LightColorizedStyle as LCS,LightenStyle as LS

#执行API调用并存储响应
url='https://api.github.com/search/repositories?q=language:python&sort=stars'
r=requests.get(url)         #requests来执行调用
print("Status code",r.status_code)          #输出状态码200表示请求成功

#将API响应存储在一个变量中
response_dict=r.json()      #使用json()将这些信息转换为Python字典
print("Total repositories：",response_dict['total_count'])

#探索有关仓库信息
repo_dicts=response_dict['items']
#print("Repositories returned：",len(repo_dicts))

names,stars=[],[]
for repo_dict in repo_dicts:
    names.append(repo_dict['name'])		#项目名称
    stars.append(repo_dict['stargazers_count'])				#该项目获得的星级

#可视化
my_style=LS('#333366',base_style=LCS)
chart=pygal.Bar(style=my_style,x_label_rotation=45,show_legend=False)
chart.title='Most-Starred Python Projects on GitHub'
chart.x_labels=names

chart.add('',stars)
chart.render_to_file('python_repos.svg')

names,stars=[],[]
建立两个空列表用来存储项目名和获得的星数
my_style=LS(’#333366’,base_style=LCS)
基类设置为浅蓝色，传递了实参base_style，使用LightColorizedStyle 类
chart=pygal.Bar(style=my_style,x_label_rotation=45,show_legend=False)
x_label_rotation=45让标签绕X轴旋转45度
show_legend=False)隐藏图例

效果图如下：
在浏览器中打开python_repos.svg文件
在这里插入图片描述

7、改进Pygal图表

创建Pygal类Config的实例来定制图表的外观。

在python_repos.py文件中修改：

import requests     #导入模块requests
import pygal
from pygal.style import LightColorizedStyle as LCS,LightenStyle as LS

#执行API调用并存储响应
url='https://api.github.com/search/repositories?q=language:python&sort=stars'
r=requests.get(url)         #requests来执行调用
print("Status code",r.status_code)          #输出状态码200表示请求成功

#将API响应存储在一个变量中
response_dict=r.json()      #使用json()将这些信息转换为Python字典
print("Total repositories：",response_dict['total_count'])

#探索有关仓库信息
repo_dicts=response_dict['items']
#print("Repositories returned：",len(repo_dicts))

names,stars=[],[]
for repo_dict in repo_dicts:
    names.append(repo_dict['name'])		#项目名称
    stars.append(repo_dict['stargazers_count'])				#该项目获得的星级

#可视化
my_style=LS('#333366',base_style=LCS)
my_config=pygal.Config()
my_config.x_label_rotation=45       #让标签绕X轴旋转45度
my_config.show_legend=False         #隐藏图例
my_config.title_font_size=24        #图表标题、副标签和主标签
my_config.label_font_size=14
my_config.major_label_font_size=18
my_config.truncate_label=15         #将较长的项目名缩短为15个字符
my_config.show_y_guides=False
my_config.width=1000                #设置了自定义宽度

chart=pygal.Bar(my_config,style=my_style)
chart.title='Most-Starred Python Projects on GitHub'
chart.x_labels=names

chart.add('',stars)
chart.render_to_file('python_repos.svg')

代码中已详细注释！！！

效果图如下：
在这里插入图片描述

8、添加自定义工具提示

在Pygal中，将鼠标指向条形将显示它表示的信息，这通常成为工具提示。创建一个自定义工具提示已同时显示项目的描述。

新建bar_descriptions.py文件

import pygal
from pygal.style import LightColorizedStyle as LCS,LightenStyle as LS

my_style=LS('#333366',base_style=LCS)
chart=pygal.Bar(style=my_style,x_label_rotation=45,show_legend=False)

chart.title='Python Projects'
chart.x_labels=['httpie','django','flask']

plot_dicts=[
    {'value':16101,'label':'Description of httpie'},
    {'value':15028,'label':'Description of django'},
    {'value':14798,'label':'Description of flask'}
]

chart.add('',plot_dicts)
chart.render_to_file('bar_descriptions.svg')

plot_dicts=[ ]
定义一个列表，用label相关联字符串给条形创建工具提示
chart.add(’’,plot_dicts)
调用add()，传入传入了一个由表示条形的字典组成的列表
效果图如下：
在这里插入图片描述

9、根据数据绘图

为根据数据绘图，我们将自动生成plot_dicts，其中包含API调用返回的30个项目的信息。

在python_repos.py文件中修改：

import requests     #导入模块requests
import pygal
from pygal.style import LightColorizedStyle as LCS,LightenStyle as LS

#执行API调用并存储响应
url='https://api.github.com/search/repositories?q=language:python&sort=stars'
r=requests.get(url)         #requests来执行调用
print("Status code",r.status_code)          #输出状态码200表示请求成功

#将API响应存储在一个变量中
response_dict=r.json()      #使用json()将这些信息转换为Python字典
print("Total repositories：",response_dict['total_count'])

#探索有关仓库信息
repo_dicts=response_dict['items']
#print("Repositories returned：",len(repo_dicts))

names,plot_dicts=[],[]
for repo_dict in repo_dicts:
    names.append(repo_dict['name'])		#项目名称

    plot_dict={
        'value':repo_dict['stargazers_count'],
        'label':str(repo_dict['description']),
    }
    plot_dicts.append(plot_dict)

#可视化
my_style=LS('#333366',base_style=LCS)
my_config=pygal.Config()
my_config.x_label_rotation=45       #让标签绕X轴旋转45度
my_config.show_legend=False         #隐藏图例
my_config.title_font_size=24        #图表标题、副标签和主标签
my_config.label_font_size=14
my_config.major_label_font_size=18
my_config.truncate_label=15         #将较长的项目名缩短为15个字符
my_config.show_y_guides=False
my_config.width=1000                #设置了自定义宽度

chart=pygal.Bar(my_config,style=my_style)
chart.title='Most-Starred Python Projects on GitHub'
chart.x_labels=names

chart.add('',plot_dicts)
chart.render_to_file('python_repos.svg')

plot_dict={ }
创建字典，用来存储value（星数）和label（项目描述）
‘value’:repo_dict[‘stargazers_count’],
星数
‘label’:str(repo_dict[‘description’]),
这边要用str来封装不然会报错

效果图如下：
显示了项目描述以及星数
在这里插入图片描述

10、在图表中添加可单击的链接

Pygal允许将图标中的每个条形用作网站的链接。

在python_repos.py文件中修改：

plot_dict={
        'value':repo_dict['stargazers_count'],
        'label':str(repo_dict['description']),
        'xlink':repo_dict['html_url'],
    }

效果如下图所示：
1、将鼠标放在任意条形上，会显现多出了link
在这里插入图片描述
2、点击该条形会跳转到显示该项目的GitHub页面
在这里插入图片描述

综上使用API请求信息，并将信息可视化完毕！！！

附上完整的python_repos.py和bar_descriptions.py文件

python_repos.py

import requests     #导入模块requests
import pygal
from pygal.style import LightColorizedStyle as LCS,LightenStyle as LS

#执行API调用并存储响应
url='https://api.github.com/search/repositories?q=language:python&sort=stars'
r=requests.get(url)         #requests来执行调用
print("Status code",r.status_code)          #输出状态码200表示请求成功

#将API响应存储在一个变量中
response_dict=r.json()      #使用json()将这些信息转换为Python字典
print("Total repositories：",response_dict['total_count'])

#探索有关仓库信息
repo_dicts=response_dict['items']
#print("Repositories returned：",len(repo_dicts))

names,plot_dicts=[],[]
for repo_dict in repo_dicts:
    names.append(repo_dict['name'])		#项目名称

    plot_dict={
        'value':repo_dict['stargazers_count'],
        'label':str(repo_dict['description']),
        'xlink':repo_dict['html_url'],
    }
    plot_dicts.append(plot_dict)

#可视化
my_style=LS('#333366',base_style=LCS)
my_config=pygal.Config()
my_config.x_label_rotation=45       #让标签绕X轴旋转45度
my_config.show_legend=False         #隐藏图例
my_config.title_font_size=24        #图表标题、副标签和主标签
my_config.label_font_size=14
my_config.major_label_font_size=18
my_config.truncate_label=15         #将较长的项目名缩短为15个字符
my_config.show_y_guides=False
my_config.width=1000                #设置了自定义宽度

chart=pygal.Bar(my_config,style=my_style)
chart.title='Most-Starred Python Projects on GitHub'
chart.x_labels=names

chart.add('',plot_dicts)
chart.render_to_file('python_repos.svg')

bar_descriptions.py

import pygal
from pygal.style import LightColorizedStyle as LCS,LightenStyle as LS

my_style=LS('#333366',base_style=LCS)
chart=pygal.Bar(style=my_style,x_label_rotation=45,show_legend=False)

chart.title='Python Projects'
chart.x_labels=['httpie','django','flask']

plot_dicts=[
    {'value':16101,'label':'Description of httpie'},
    {'value':15028,'label':'Description of django'},
    {'value':14798,'label':'Description of flask'}
]

chart.add('',plot_dicts)
chart.render_to_file('bar_descriptions.svg')

不足之处，请指出，蟹蟹！！！

Little-曾
关注
  • 6
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
开源社区活跃度分析——api.github.com的使用
Wentingyuya的博客
12-12 1057
开源社区活跃度分析——api.github.com的使用
用Python操作github api创建仓库，上传index.html文件，并创建github page页面
04-10 555
想使用github token创建一个一条龙的服务，那就是创建仓库，添加index文件， 并发布github page页面，就需要对全流程的api有了解，今天我操作了一番，记录一下流程。
github 仓库配置deploy key
李克的博客
12-15 2212
针对github仓库，想通过ssh key来操作。：github要求不同仓库的deploy key 必须不一样，否则无法添加公钥。当然，github这样规定是正确，方便了对仓库的精细管理，但也给配置deploy key增加一定难度。网络上有大量文章对账户的SSH key 与 仓库的Deploy keys介绍。概括起来说就是，账户的SSH key 能够操作该账号下的任何仓库，而仓库的Deploy keys只能操作某个特定的仓库。
使用github的API
shutdown -s -t
11-12 9834
github自己有API，如果自己写的爬虫没有特色或者没有很高的效率，反而不如使用API来的快一些。github不像社交网络那样拥有大量用户和内容，所以规模相对小一点，使用API也相对便捷一些。 使用github的API 没有token的情况下，只有60次访问，而且有的IP直接被限制。除此之外，有一些API在访问的时候必须要认证的参数，所以还是进行认证好一些。官方API文档有详细的功能说明。 支持...
python调用github api创建仓库和分支
cherry_chu_jchu的博客
05-21 1330
首先，要在github上创建一个access token，用来做调API请求时的登录核身。 登录github.com，进入settings页面 选择developer settings 点击personal access tokens 选择需要的权限和有效期，点击生成。需要注意的是，access token只会展示这一次，要记得及时保存，否则以后不会再出现（忘了只能重新申请）。 想要验证申请的access token能否用于登录，可以在ssh上尝试访问一下github（这一步非常重要，
Python第十七章-数据可视化-使用API.pdf
02-05
在本章中， 你学习了： 如何使用API来编写独立的程序， 它们自动采集所需的数据并对其进行可视化； 使用GitHub API来探索GitHub上星级最高的Python项目， 还大致地了解了Hacker News API； 如何使用requests包来自动...
Python爬虫使用脚本登录Github并查看信息
09-20
主要介绍了Python爬虫之用脚本登录Github并查看信息,本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
github-traffic-stats：一个小的Python项目，使用GitHub API提取和存储GitHub项目的流量统计信息
02-03
一个小型的Python项目，用于使用GitHub API提取和存储GitHub项目的流量统计信息。 目前，GitHub仅向仓库提供14天的流量数据。 该数据包括每天的观看次数和唯一身份访问者人数。 但是，如果您要存储和查看超过14天...
auto-github-bio:open使用openweathermap.org API自动执行Github传记
05-03
自动Github传记 :books: 使用openweathermap.org API自动执行Github传记记得 :glowing_star: 这个Github，如果你 :sparkling_heart: 它。安装[Github]创建您的个人访问令牌您必须创建一个个人访问令牌，以允许您的...
Python:实现获取 github 信息算法(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
08-08 296
Python:实现获取 github 信息算法(附完整源码)
Python API接口对接详解与实践
WBKJ_Noah的博客
08-31 1778
Python作为一种功能强大的编程语言，也提供了许多用于对接API的库和框架。本文介绍了如何使用Python对接API，并附有实践代码。通过阅读本文，读者可以了解如何选择合适的API、如何注册并获取API密钥、如何安装所需的库、如何编写代码来调用API以及如何处理返回的数据。API，即应用程序编程接口，是一种预先定义好的软件接口，允许不同的应用程序相互通信并共享数据。API通常由一组函数和规则组成，这些函数和规则定义了应用程序如何获取所需的数据。二、Python API库介绍。三、对接API的步骤。
python调用github_Python调用GithubAPI并进行初步的数据分析
weixin_34504649的博客
01-30 602
找到一个Github上的公开api 网页内容是一个巨大的Python字典，我们来获取一些信息内容包括文章所获得星数，文章名，以及文章的链接。首先，展示一下成品 下面展示具体的操作过程：首先请求该urlimport requestsurl = 'https://api.github.com/search/repositories?q=language:python&sort=stars'r...
python调用github_python 调用github的api,呈现python的受欢迎的程度
weixin_40008033的博客
12-07 94
{"id": 21289110,"node_id": "MDEwOlJlcG9zaXRvcnkyMTI4OTExMA==","name": "awesome-python","full_name": "vinta/awesome-python","private": false,"owner": {"login": "vinta","id": 652070,"node_id": "MDQ6VXNl...
PyGithub: Python 库用于访问 Github API
最新发布
gitblog_00079的博客
03-18 525
PyGithub: Python 库用于访问 Github API PyGithub 是一个使用 Python 编写的库，它允许您轻松地通过 Github API 与 Github 进行交互。 什么是 PyGithub？ PyGithub 提供了对 Github API 的全面支持，包括但不限于以下功能： 创建、编辑和删除仓库、标签、里程碑等。 管理拉取请求、问题、评论等。 访问用户信息、组织信...
通过 GitHub 的 API 获取代码
iastro的专栏
12-19 1万+
GitHub 的 API 功能很强大，也很规范。基本都是以 GET 方式从 https://api.github.com/ 取得。 假如要获得代码库里的 readme，使用使用 GET /repos/:owner/:repo/readme 比如 Typecho 的肥皂库 https://api.github.com/repos/typecho-fans/plugins/readme
Jetpack新成员，Paging3从吐槽到真香
热门推荐
郭霖的专栏
03-23 2万+
Paging是Google推出的一个应用于Android平台的分页加载库。 事实上，Paging并不是现在才刚刚推出的，而是之前就已经推出过两个版本了。 但Paging 3和前面两个版本的变化非常大，甚至可以说是完全不同的东西了。所以即使你之前没有学习过Paging的用法也没有关系，把Paging 3当成是一个全新的库去学习就可以了。 我相信一定会有很多朋友在学习Paging 3的时候会产生和我相同的想法：本身Android上的分页功能并不难实现，即使没有Paging库我们也完全做得出来，但为什么Pa
python 图表_Python入门学习系列——使用Python调用Web API实现图表统计
weixin_39618169的博客
11-25 158
使用Python调用Web API实现图表统计Web API：Web应用编程接口，用于URL请求特定信息的程序交互，请求的数据大多以非常易于处理的格式返回，比如JSON或CSV等。本文将使用Python中的requests包实现Web API的调用，API接口来自于GitHub提供的公用API，最后使用图表对API调用的结果进行图表统计显示。API地址为：https://api.github.co...
pythonweb数据可视化_Python使用Web API数据可视化
weixin_33539912的博客
01-29 709
Web应用编程接口 (API)自动请求网站的特定信息而不是整个网页，再对这些信息进行可视化。由于这样编写的程序始终使用最新的数据来生成可视化，因此即便数据瞬息万变，它呈现的信息也都是最新的。Web API是网站的一部分，用于与使用非常具体的URL请求特定信息的程序交互。这种请求称为API调用。请求的数据将以易于处理的格式(如JSON或CSV)返回。依赖于外部数据源的大多数应用程序都依赖于API调用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值