Python爬虫
朱家意
风抚山林,去带走了一片片落叶,是风太轻柔,还是落叶的追求。
展开
-
Python爬取网页图片
大家都知道,网上图片有很多,在我们需要的时候,我们总不能一张一张的下载吧,所以我这里写了一个程序,能够爬取静态网站的图片。这个方法主要是采用正则表达式,正则表达式说难也不难,但是就是刚开始学的时候会感觉到晦涩难懂,而且枯燥无味。但是只要能够多练练,要学会也不难,要精通就有点难了。 这里呢,我们需要导入四个包import re, urllib , urllib2 , os ...原创 2018-04-19 10:47:25 · 1439 阅读 · 0 评论 -
前程无忧网招聘爬取
吾生于乙亥年,于世虚度二十春秋是也。小生不才,明知文拙脑蠢,却喜挥笔泼墨,畅叙幽情。小生不才,愿分享以己所学,不足之处望多指教。 人才网是目前非常热门的一个网站之一,属于前程无忧下的一个典型网站之一。本文主要是以正则表达式及BeautifulSoup库进行爬取数据。使用Python代码获取数据,同时使用re正则表达式匹配自己想要的信息,最后对数据进行预处理并保存到本地进行分...原创 2019-09-15 21:23:44 · 814 阅读 · 1 评论 -
Python数据字典处理Excel,并统计总数,画出饼图
之前给大家分享了使用pyechats库画折线图和柱状图,也是读取Excel表格中数据来画图的,这里我使用的是Python3;现在给大家分享使用matplotlib画图,也是读取本地Excel表格中的数据来画图,但是这个我们采用数据字典,可以统计Excel中的数据。而且今天分享的这个方法很实用,有很大的扩展性。很多画图的方法都可以采用这个代码; 现在也是给大家逐一讲解,这有利于大家理...原创 2018-06-09 13:48:52 · 17532 阅读 · 12 评论 -
Python读取Excel表格,并同时画折线图和柱状图
今日给大家分享一个Python读取Excel表格,同时采用表格中的数值画图柱状图和折线图,这里只需要几行代码便可以实。首先我们需要安装一个Excel操作的库xlrd,这个很简单,在安装Python后直接在DOS命令下输入pip install xlrd,便可以安装成功,如果还是不行,就输入Python -m pip install xlrd.后面会附上完整的代码和截图:这行代码就是读取本...原创 2018-06-08 13:48:05 · 84123 阅读 · 38 评论 -
python爬取视频段段子可视化界面
Python的用途大家都知道,主要是用来爬虫,对于的进行分析处理。我这个呢,主要是给大家分享一个爬取视频段子可视化下载的方法。望各位道友能够喜欢。 可视化主要用到一个Tkinter库,大家需要去下载安装,这个库很好下载的,网上就用,这里小编就不多说了。爬取视频段子呢,我们同样需要一个视频地址,还需要一个下载链接。这个个代码能,也用到了多线程,所以我们还需要掌握一个库threa...原创 2018-04-20 10:01:30 · 1227 阅读 · 0 评论 -
networkx的安装及简单用法
对于学Python的小朋友都知道,Python中很多的库,因为这是一门解释性的语言,相对于其他语言来说,这门语言简单相对简单。 今天呢,我给大家分享一下networkx库的安装方法,我这里有两种简单的方法,不过这两种方法都需要为Python配置环境变量。在配置环境变量之后,只需要在cmd命令下输入Python,如果出现Python的版本信息,则说明环境变量配置成功。之...原创 2018-04-17 15:15:26 · 45186 阅读 · 2 评论 -
初识Python,Python爬取小说
读书十余载,以为能像古人一样才高八斗,满腹锦纶。可事实是胸无点墨,别无所长。仰星辰,观古今之差。同为寒窗十载,理应差别不会有这么大。可是自己痛定思痛,我们却差古人太多,古有头悬梁锥刺股,凿壁偷光之为,而我们生活安逸美好。安逸是好,但会让人逐渐堕落,不思进取。 我虽无面壁,却有面壁之实。今日,初学Python,让我感触良多,同为万物之灵,却有如此大的差别。最大的错误在于我们缺少...原创 2018-03-25 01:06:31 · 539 阅读 · 0 评论 -
Python基础代码爬取超链接文字及链接
今天给大家分享一个Python基本代码爬取超链接文字及超链接,及一一对应存放到本地文件夹TXT文件中,这里因为我是一个Python初学者,所以所写的代码非常简单,对大家而言也是非常容易理解的。 这里我以我的博客为例写了一个,前面还是逐步解释,后面会附上完整的代码:首先我们依旧是爬取网页的三个步骤,HTML下载器(生成URL,下载内容),第二;URL管理器,第三;HTM...原创 2018-06-06 10:17:54 · 21424 阅读 · 4 评论 -
简单代码爬取博客超链接的文字,并且去除字符“原”和空格
这里给大家分享一个怎么用Python爬取超链接的文字,并且能够去除字符“原“和前后空格、空行等等。这个代码不多,而且非常简单。我这里用的是Python3,版本不和的可以调整一下,这个代码还是很好理解的。 接下来我给大家分享爬取我的博客超链接文字的例子,先给大家逐步分析一下,这样有助于帮助大家的理解和学习。后面将会附上完整的代码。首先,一如既往的,开始就是简单的爬取网页...原创 2018-06-04 21:28:02 · 3425 阅读 · 0 评论 -
爬取多态加载图片同时保存到本地指定文件夹
初学Python多久,大多数都喜欢爬取妹子图片,今天我就给大家分享一下研究出来的代码,爬取动态加载图片的网站,并且保存到本地。让大家以后不必为这个难题而烦恼。不过这里首先说一下,如果大家也自己爬取动态加载的图片那种网站,建议先去爬取静态的,因为这个要简单的多,由浅而深嘛。好了,现在我现了讲解一下关于爬取动态加载的图片,后面我会附上完整的代码。这里我们我们需要导入几个库,urllib原创 2018-05-06 11:21:27 · 4014 阅读 · 0 评论 -
Eclipse环境下写Django程序
Django是一个Web应用框架,由Python写成。采用了MTV的框架模式,即模型M,模板T和视图V。这个是一个非常实用的一个Python库,今天呢,我们就来写Django的第一个程序。这里我就不对Django多做介绍。对于学习编程的人来说,程序的第一门语言都是“你好,世界”’,所以今天我们也使用Django来写,看怎么用Django输出“hello world”。首先,我们需要安装Django...原创 2018-05-09 10:55:02 · 1262 阅读 · 0 评论 -
python爬取前程无忧岗位详信息
这是之前写的一个爬虫,现在分享一下。这次主要是使用BeautifulSoup,这个是最简单的一种方法。但是这次使用了lambda匿名函数,该函数是python中的一种表达式,lambda函数格式为:冒号前是参数,冒号的右边为表达式。lambda返回值函数的地址,也就是函数对象。还是一步步分析:匹配到新的URL地址,然后获取新的URL的地址下的内容。#设置访问头headers={'Use...原创 2019-09-25 20:12:24 · 2975 阅读 · 1 评论