爬虫
文章平均质量分 60
antchow-
这个作者很懒,什么都没留下…
展开
-
爬虫之自动化测试
首先需要知道自动化测试所必需的selenium selenium是一个用于Web应用程序测试的工具。selenium 测试直接运行在浏览器中,就像真正的用户在操作一样。 支持的浏览器包括IE,chrome和Firefox等。 再者你要选择一个用来测试的浏览器,我选的是火狐,其他的没试过,应该都差不多。 如果你选火狐的话就要用到火狐的浏览器驱动器,也就是geckodriver。这个东西很常见,随原创 2016-12-30 10:30:46 · 5979 阅读 · 1 评论 -
爬虫之页面链接获取
大一的时候见到一个研一学姐用C#写了个网页链接的爬虫,觉得好高大上,最近又有朋友问我怎么写,于是无聊就用python(懒得打开VS)写了个简单的单级链接获取先给代码:from selenium import webdriverfrom selenium.webdriver.firefox.firefox_binary import FirefoxBinary## 网页链接获取url = '你要趴原创 2017-01-01 15:28:28 · 2920 阅读 · 0 评论 -
漫画爬虫的一个小小的例子
逢年过节胖三斤,技术手法退十年。- - 差不多一个多月没碰博客了,都快要没手感了。 说一下前一段时间玩爬虫的时候作死的一个小例子吧。大概的描述就是闲的没事做,去爬了一个漫画网站,想着成功了去装个逼。结果代码写到吐血。这个网站的反爬还真是做的让我这种技术渣又爱又恨啊,这个漫画网站就是:爱漫画(http://www.iimanhua.com)。如果有哪位大牛攻破了的话请一定要多多指教小弟一下,感激不尽原创 2017-02-23 17:51:44 · 1870 阅读 · 0 评论 -
webmagic根据xpath解析页面
昨天做页面的时候,有一个需求,大概要实现的功能就是用户输入一个网址url和一个xpath路径,根据这个xpath去用户给的url里解析,最后呈现出解析的结果,以达到用户判断自己写的xpath是否正确。之前百度了一个网上的一种用htmlclean来解析的,我试了一下,效果还不错,也比较简单,毕竟人家是专门用来做解析的嘛。后面因为项目里用的爬虫框架是webmagic,想的是最好不要引用别的框架了,于是就原创 2017-03-16 11:38:26 · 6894 阅读 · 0 评论