- 博客(5)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 xpath案例-解析所有城市名称
第一种方法把热门城市和所有城市分开来考虑 import requests from lxml import etree if __name__=='__main__': headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.146 Safari/537.36' } url
2021-02-20 22:18:12
237
原创 xpath——4k解析图片
#需求：解析下载图片数据 http://pic.netbian.com/4kyouxi/ import requests from lxml import etree import os if __name__=="__main__": headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.146
2021-02-09 20:24:17
192
原创 xpath案例1——爬取58同城二手房的信息
#需求：爬取58二手房中的房源信息 import requests from lxml import etree if __name__=="__main__": headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.146 Safari/537.36' } #爬取到页面源码数据
2021-02-09 20:23:04
306
1
原创 python爬虫---用数据解析bs4爬取整部三国演义（不用诗词名句网）
python爬虫—用数据解析bs4爬取整部三国演义（不用诗词名句网） 需求：使用bs4实现将三国演义小说的每一章的内容爬取到本地磁盘进行存储 诗词名句网无法进去，所以我自己找了个网站爬取，思路差不多。 首先，对首页的页面数据进行爬取 url = 'http://sanguo.5000yan.com/baihuawen/' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.3
2021-02-04 21:20:14
554
原创 用正则解析来爬取图片信息
用正则解析来爬取图片信息 以糗事百科为例。 我们的数据爬取的流程： –指定url –发起请求 –获取响应数据 –数据解析 –持久化存储 正则解析的原理就在从整个页面的源码数据中，利用正则表达式，解析出局部想要爬取的数据，然后进行持久化存储。 第一个程序是只考虑首页的图片爬取 1.首先先创建一个文件夹保存所有图片 import requests import re import os #需求：爬取糗事百科中糗图板块下所有的图片 if __name__=='__main__': #创建一个文件夹，保存所
2021-02-01 19:38:20
415
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人