zhusongziye的博客

个人知识整理和收集,欢迎同道的朋友一起学习进步!

不知道给女朋友买什么 ?让爬虫告诉你

引言   你是否曾经遇到过要给女朋友、父母、好朋友送礼物却不知道买什么的情况?小编作为一个直男,每次都在给朋友选礼物的事情上费劲脑筋,实在是不知道买什么东西好。但事情总是要解决,小编萌生了一个想法,在某购物网站搜索关键字,然后将搜索结果进行词频分析,这样不就知道有什么东西是大家买的比较多的了么...

2018-09-17 22:04:37

阅读数 247

评论数 0

[Python爬虫]通过分析胸罩销售记录 发现了惊人的秘密

通过爬虫去爬取京东的用户评价,通过分析爬取的数据能得到很多结果,比如,哪一种颜色的胸罩最受女性欢迎,以及中国女性的平均size(仅供参考哦~)   打开开发者工具-network,在用户评价页面我们发现浏览器有这样一个请求     通过分析我们发现主要用的参数有三个productId...

2018-09-17 21:58:45

阅读数 803

评论数 0

Python爬虫学习之Scrapy-Redis实战京东图书

  什么是scrapy-redis? redis-based components for scrapy scrapy-Redis就是结合了分布式数据库redis,重写了scrapy一些比较关键的代码,将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。 scrapy-redis是...

2018-09-17 21:44:57

阅读数 406

评论数 0

19道小米网运维工程师笔试真题

第一部分:Linux基础   题目1: 有一百个图片文件,它们的地址都是 http://down.xiaomi.com/img/1.png http://down.xiaomi.com/img/2.png … 一直到http://down.xiaomi.com/img/100.png...

2018-09-17 21:19:44

阅读数 261

评论数 0

Web自动化selenium技术快速实现爬虫

selenium是大家众所周知的web自动化测试框架,主要用来完成web网站项目的自动化测试,但其实如果要实现一个web爬虫,去某些网站爬取数据,其实用selenium来实现也很方便。 比如,我们现在要实现一个这样的需求:打开百度--》输入拉钩--》找到拉钩链接,点击进入拉钩--》选择“全国”站...

2018-09-17 21:12:05

阅读数 267

评论数 0

用Selenium+PhantomJS来抓取煎蛋网妹子图

  那天有朋友找我一起抓妹子图片,像我这么正派的人,肯定是要抱着学习的目的……打开网页,哇! 话不多说,先看看网页吧! 熟练的打开网页,找到妹子图,然后F12打开开发者工具,定位,ok,图片地址找到了,so easy~!,我们写入代码看看 WTF~! 返回了个空列表?加了head...

2018-09-01 16:41:49

阅读数 325

评论数 1

Python接口自动化测试之动态数据处理

   在前面的知识基础上介绍了在接口自动化测试中,如何把数据分离出来,并且找到它的共同点,然后依据这个共同点来找到解决复杂问题的思想。我一直认为,程序是人设计的,它得符合人性,那么自动化测试的,就是需要在复杂世界的背后,找到一个共同的点,然后把复杂的程序进行简单化。再次看如下的截图:    ...

2018-09-01 12:48:24

阅读数 1630

评论数 0

Charles获取手机HTTPS请求

 在接口测试中,特别是对移动产品的测试,经常要争取APP端的请求来和开发沟通,目前基本都是使用的是HTTPS(超文本传输安全协议)。这里详细的讲下使用Charles工具抓取手机端的HTTPS的请求配置。        启动Charles工具后,在菜单栏点击Proxy,然后点击Proxy Sett...

2018-09-01 12:41:44

阅读数 1087

评论数 0

用Python代码来下载任意指定网易云歌曲

前两天教了大家如何在控制台上找到真实的mp3播放地址,但是不可以下载付费的,因为只能下载可播放的歌曲。至于怎样下载付费网易云音乐,还是开个会员吧,要知道免费是最贵的的这个道理。   有粉丝看了前两天文章想用代码来装逼,我就为了满足他,特意去折腾了两天,终于写出来了,迫不及待与大家分享一把。不得...

2018-09-01 11:56:57

阅读数 721

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭