- 博客(8)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 不知道给女朋友买什么 ？让爬虫告诉你
引言 你是否曾经遇到过要给女朋友、父母、好朋友送礼物却不知道买什么的情况？小编作为一个直男，每次都在给朋友选礼物的事情上费劲脑筋，实在是不知道买什么东西好。但事情总是要解决，小编萌生了一个想法，在某购物网站搜索关键字，然后将搜索结果进行词频分析，这样不就知道有什么东西是大家买的比较多的了么？说干咱就干。 需求分析 通过京东购物网站搜索关键字，将搜索结果中的产品名称进行保存，...
2018-09-17 22:04:37
1075
1
转载 [Python爬虫]通过分析胸罩销售记录 发现了惊人的秘密
通过爬虫去爬取京东的用户评价，通过分析爬取的数据能得到很多结果，比如，哪一种颜色的胸罩最受女性欢迎，以及中国女性的平均size(仅供参考哦~) 打开开发者工具-network，在用户评价页面我们发现浏览器有这样一个请求 通过分析我们发现主要用的参数有三个productId，page，pageSize。后两个为分页参数，productId是每个商品的id，通过这个id去获取...
2018-09-17 21:58:45
1499
转载 Python爬虫学习之Scrapy-Redis实战京东图书
什么是scrapy-redis?redis-based components for scrapyscrapy-Redis就是结合了分布式数据库redis，重写了scrapy一些比较关键的代码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。scrapy-redis是github上的一个开源项目，可以直接下载到他的源代码：https://github.com/r...
2018-09-17 21:44:57
998
转载 19道小米网运维工程师笔试真题
第一部分：Linux基础 题目1：有一百个图片文件，它们的地址都是http://down.xiaomi.com/img/1.pnghttp://down.xiaomi.com/img/2.png…一直到http://down.xiaomi.com/img/100.png批量下载这100个图片文件，并找出其中大于500KB的文件。 题目2：一个文本文件in...
2018-09-17 21:19:44
786
转载 Web自动化selenium技术快速实现爬虫
selenium是大家众所周知的web自动化测试框架，主要用来完成web网站项目的自动化测试，但其实如果要实现一个web爬虫，去某些网站爬取数据，其实用selenium来实现也很方便。比如，我们现在要实现一个这样的需求：打开百度--》输入拉钩--》找到拉钩链接，点击进入拉钩--》选择“全国”站--》输入岗位“自动化测试工程师”--》搜索--》爬取所有的自动化测试岗位信息用selenium怎...
2018-09-17 21:12:05
1376
转载 Python接口自动化测试之动态数据处理
在前面的知识基础上介绍了在接口自动化测试中，如何把数据分离出来，并且找到它的共同点，然后依据这个共同点来找到解决复杂问题的思想。我一直认为，程序是人设计的，它得符合人性，那么自动化测试的，就是需要在复杂世界的背后，找到一个共同的点，然后把复杂的程序进行简单化。再次看如下的截图： 在这个图片中，可以看到这是不同的接口请求的数据，那么我们在自动化测试中就得定位到具体的行和列，...
2018-09-01 12:48:24
11616
转载 Charles获取手机HTTPS请求
在接口测试中，特别是对移动产品的测试，经常要争取APP端的请求来和开发沟通，目前基本都是使用的是HTTPS（超文本传输安全协议）。这里详细的讲下使用Charles工具抓取手机端的HTTPS的请求配置。 启动Charles工具后，在菜单栏点击Proxy，然后点击Proxy Settings，在弹出的框中配置端口，端口填写8888，然后点击OK按钮，见如图：让手机和电脑连接同...
2018-09-01 12:41:44
11193
转载 用Python代码来下载任意指定网易云歌曲
前两天教了大家如何在控制台上找到真实的mp3播放地址，但是不可以下载付费的，因为只能下载可播放的歌曲。至于怎样下载付费网易云音乐，还是开个会员吧，要知道免费是最贵的的这个道理。 有粉丝看了前两天文章想用代码来装逼，我就为了满足他，特意去折腾了两天，终于写出来了，迫不及待与大家分享一把。不得不说，这里面坑很大，遇到几个大坑在那里折腾了几个小时，分享出来让大家想装逼的少踩点坑。废话不多说，开始...
2018-09-01 11:56:57
2139
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人