抓取猫眼电影top100

一、目标

运用requests+正则表达式爬取猫眼电影top100的电影图片、名称、时间、评分等信息，提取站点的url为"http://maoyan.com/board/4"，提取结果以文本的形式保存下来。

二、准备工作

1. 安装python

首先，下载Python3，这里使用Python3.6.5版本，64位。

地址链接：https://www.python.org/downloads/

双击打开，进行安装。特别注意：要勾选上"Add to Path"选项，否则后面会很麻烦。

调出命令符窗口，输入"python",如果出现下图界面，就说明安装成功。

  

2. 安装pycharm

Pycharm是Python IDE的一种，可以帮助用户提高效率，比如调试、语法高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制。此外，该IDE提供了一些高级功能，以用于支持Django框架下的专业Web开发。

从网站下载pycharm，下载链接为：

 https://www.jetbrains.com/pycharm/download/#section=windows

3. 安装使用到的第三方库：

requests库：

request对象是从客户端向服务器发出请求，包括用户提交的信息以及客户端的一些信息。客户端可通过HTML表单或在网页地址后面提供参数的方法提交数据，然后通过request对象的相关方法来获取这些数据。request的各种方法主要用来处理客户端浏览器提交的请求中的各项参数和选项。

requests库可以直接在pycharm下载（如下图）

在打开的setting界面中我们点击python的解释器，你会看到很多导入的第三方库，如下图所示，点击最右边的加号

在弹出的available packages界面中，你会看到一个搜索框，如下图所示

然后我们搜索一个插件，比如我搜索simplejson这个插件，会出现如下图所示的界面，点击下载

三、抓取分析

我们要抓取的目标站点为http://maoyan.com/board/4，打开之后的磅单信息如图。

排名第一的电影是霸王别姬，页面中显示的有效信息有影片名称、主演、上映时间、上映地区、评分、图片等信息。

将页面滚动到最下方，可以发现有分页的列表，直接点击第二页，可以发现页面的URL变成http://maoyan.com/board/4?offset=10，比之前的URL多了一个参数，那就是offset=10，而且目前的排行结果是排行11~20名的电影，初步推断这是一个偏移量的参数，再点击下一页，发现页面的URL变成了http://maoyan.com/board/4?offset=20，参数offset变成了20，而且显示的结果是排行21~30