zy0412326的专栏

没写好！有点瑕疵！可以根据任意关键字采集检索的图片！使用的技术：Python3.7 、selenium3.141.0 及Google浏览器的插件。为啥使用selenium包呢？主要是因为百度检索出来的图片页面是ajax的。传统的bs4等包根本获取不到html的dom结构，无法进行UI层面的采集。selenium包解决了这个问题。其中：1、BaseFrame.__log__...

采集笔趣阁小说，使用以下几个核心包：requests：2.10.0beautifulsoup4：4.7.1其中：1、BaseFrame.__log__("开始采集中国船舶网的数据...") BaseFrame.__log__() 就是我个人封装的日之类替换成print就可以。2、response = requests.get(self.base_url, timeout=30,...

不废话直接代码：import randomclass UserAgent: def __init__(self): self.headers = [ "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 ...

采集中国船舶网数据，使用以下几个核心包：requests：2.10.0beautifulsoup4：4.7.1openpyxl ：2.6.2其中：1、BaseFrame.__log__("开始采集中国船舶网的数据...") BaseFrame.__log__() 就是我个人封装的日之类替换成print就可以。2、response = requests.get(self....

本来想采集网易，人家技术比较牛，没能过破解就搂草打兔子，弄了个千千MP3就是以前百度哪个，直接代码吧。import jsonimport osimport timeimport requestsfrom bs4 import BeautifulSoupfrom sprider.access.sprider.SpriderAccess import SpriderAccessf...