爬虫urllib库小项目---爬取豆瓣读书网的海报和书籍名称并存储

url = "https://book.douban.com/latest?icn=index-latestbook-all"

小项目需求：

1.图书海报

2.图书海报存储到本地地址

小项目练练手

 

 

步骤：

第一步：请求页面行为，通过浏览器分析（通过谷歌浏览器分析）

第二步：借助浏览器分析页面信息，获取海报信息(使用urllib和bs4库进行分析)

第三步：抓取数据，存储数据（使用open,write方法存储数据到本地）

 

这里面代码就是按顺序来写的，只是纯粹实现了这个功能：

为什么要写div = soup.find("div",class_="article")？

我们可以利用浏览器分析，从下面图可以看到，所有的书籍名称都包含在<div class="article">下面

对于每个具体书籍，则是包含在<li>这个下面

最终结果如下：

 

 

代码进一步优化：