【Python3网络爬虫】 抓取猫眼电影排行榜

本文介绍了如何使用Python3编写网络爬虫,抓取猫眼电影排行榜上的电影信息,包括电影的排名、图片、名称、主演、上映时间和评分等。通过正则表达式提取网页数据,最后将结构化的电影信息写入文本文件。同时,文章展示了如何进行分页爬取,以获取排行榜前100名的电影数据。
摘要由CSDN通过智能技术生成
#抓取猫眼电影排行榜前100

#目标: 提取出猫眼电影TOP100的电影名称、时间、评分、图片等信息

#提取站点 :http://maoyan.com/board/4 提取的结果以文件形式保存

#使用知识: 网页基础 、网络基础 、urllib、requests、正则表达式


1.抓取分析:

1.网站页面 有效信息:影片名称 主演 上映时间 上映地区 评分 图片 一页10条

2.点击 第二页 发现上方的URL http://maoyan.com/board/4?offset=10


由此可见 offset代表偏移值


2.抓取首页

import requests

def get_one_page(url):
    headers ={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.170 Safari/537.36',
        }
    response = requests.get(url,headers = headers)
    if response.status_code ==200:
        return response.text
    return None

def main():
    url = 'http://maoyan.com/board/4'
    html = get_one_page(url)
    print(html)
    
main()

3.正则提取

先观察一个条目的源码:

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值