爬取豆瓣TOP250

一、准备工作

1. 安装python。
2. 安装jupyter库，按window+R，会弹出一个方框，输入cmd会弹出窗口，输入pip install jupyter，安装jupyter库。
3. 安装好jupyter后，建一个文件夹，在文件夹路径那里输入cmd，会出现一个窗口了，再直接输入jupyter notebook,按回车，便可直接进入jupyter的网络编辑页面。
   如图：
   
   出现此界面后便会自动跳转到jupyter的网络编辑页面，如图：
   
   在此页面后，点击右上角的New，选择Python3，会新建一个网页编辑器。

二、开始分析网页

（1）URL链接分析网页

第一页：https://movie.douban.com/top250?start=0&filter=
第二页：https://movie.douban.com/top250？start=25&filter=
第三页：https://movie.douban.com/top250?start=50&filter=
第四页：https://movie.douban.com/top250?start=75&filter=
第五页：https://movie.douban.com/top250?start=100&filter=
以上为豆瓣电影top250的前五个网页链接，由上我们可以看出黄色标记出来的部分是它们的不同，并且是有规律的，0,、25、50、75、100，所以可以推出后五页的链接。
例如：第九页的链接为：https://movie.douban.com/top250?start=200&filter=

（2）用for循环分析

结果如下：

（3）用函数表示出URL链接

将start=0改为start=%s,后面的%page表示将page函数中的数值范围赋予给s,即可得出十个网页的链接。点击第五个链接，就到top250 中的第五页，与之前得到的链接相同。

三、爬取网页

（1）安装requests库

进行这步操作需要安装requests库，按window+R，会弹出一个方框，输入cmd会弹出窗口，输入pip install requests，安装requests库。
以请求第一页为例如图：

（2）在网页上对代码进行审查

在空白处点击右键，进入检查，点击network，点击all，在对网页进行刷新，就会出现网页的组成，如图片、文字、文件等。
如图：

（3）请求源代码（HTML），向服务器发出请求

（4）伪装浏览器

首先，将代码审查中的user-agent复制过来，将其构成一个字典。
如图：