- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 xpath案例-解析所有城市名称
第一种方法把热门城市和所有城市分开来考虑import requestsfrom lxml import etreeif __name__=='__main__': headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.146 Safari/537.36' } url
2021-02-20 22:18:12
242
原创 xpath——4k解析图片
#需求：解析下载图片数据 http://pic.netbian.com/4kyouxi/import requestsfrom lxml import etreeimport osif __name__=="__main__": headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.146
2021-02-09 20:24:17
198
原创 xpath案例1——爬取58同城二手房的信息
#需求：爬取58二手房中的房源信息import requestsfrom lxml import etreeif __name__=="__main__": headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.146 Safari/537.36' } #爬取到页面源码数据
2021-02-09 20:23:04
316
1
原创 python爬虫---用数据解析bs4爬取整部三国演义（不用诗词名句网）
python爬虫—用数据解析bs4爬取整部三国演义（不用诗词名句网）需求：使用bs4实现将三国演义小说的每一章的内容爬取到本地磁盘进行存储诗词名句网无法进去，所以我自己找了个网站爬取，思路差不多。首先，对首页的页面数据进行爬取url = 'http://sanguo.5000yan.com/baihuawen/'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.3
2021-02-04 21:20:14
563
原创 用正则解析来爬取图片信息
用正则解析来爬取图片信息以糗事百科为例。我们的数据爬取的流程：–指定url–发起请求–获取响应数据–数据解析–持久化存储正则解析的原理就在从整个页面的源码数据中，利用正则表达式，解析出局部想要爬取的数据，然后进行持久化存储。第一个程序是只考虑首页的图片爬取1.首先先创建一个文件夹保存所有图片import requestsimport reimport os#需求：爬取糗事百科中糗图板块下所有的图片if __name__=='__main__': #创建一个文件夹，保存所
2021-02-01 19:38:20
428
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人