python爬虫爬取豆瓣电影排行榜,并写进csv文件,可视化数据分析

#1、爬取内容,写进csv文件
import requests
import re
import csv
#豆瓣电影排行榜,写进csv文件
url = "https://movie.douban.com/top250?start=25"#start确定每次起始位置,每次取25个

headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36"
}
res = requests.get(url,headers=headers)
page_content=res.text
#.*?表示懒惰匹配,加上括号表示要取匹配的内容,?P<name>表示根据此标记获取匹配的内容,使用下面group时候用
#正则预编译
obj = re.compile(r'<li>.*?<span class="title">(?P<name>.*?)</span>.*?<br>(?P<year>.*?)&nbsp;'
                 r'.*?<span class="rating_num" property="v:average">(?P<score>.*?)</span>'
                 r'.*?<span>(?P<coment>.*?)人评价</span>',re.S)

result = obj.finditer(page_content) #生成的内容是个迭代器
f = open("data.csv","a+",encoding="utf-8")
csvwriter = csv.writer(f)

for it in result:
    # print(it.group('name')) #对应?P<name>,可以用过name标记取到匹配的内容
    # print(it.group('year').strip())#处理年份前面的空格
    # print(it.group('score'))
    # print(it.group('coment'))
    dic = it.groupdict() #把数据装进字典
    dic['year'] = dic['year'].strip()
    csvwriter.writerow(dic.values())
print("over")
 
#2、可视化,取电影和评分

import csv
from matplotlib import pyplot
pyplot.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
f = open("data.csv","r",encoding="utf-8")
csvReader = csv.reader(f)
name,score,year = [],[],[]
for row in csvReader:
    name.append(row[0])
    year.append(row[1])
    score.append(row[2])
    header_row = next(csvReader)
pyplot.plot(name,score)
pyplot.title("电影排行榜")
pyplot.xlabel("电影")
pyplot.ylabel("评分")
pyplot.xticks(rotation=90)#控制横坐标的方向
pyplot.show()

  • 6
    点赞
  • 86
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值