- 博客(45)
- 资源 (8)
- 收藏
- 关注
RSS订阅转载 分布式爬虫原理之分布式爬虫原理
我们在前面已经实现了Scrapy微博爬虫，虽然爬虫是异步加多线程的，但是我们只能在一台主机上运行，所以爬取效率还是有限的，分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提高爬取的效率。一、分布式爬虫架构在了解分布式爬虫架构之前，首先回顾一下Scrapy的架构，如下图所示。Scrapy单机爬虫中有一个本地爬取队列Queue，这个队列是利用deque模块实现的。如果新的Request...
2018-05-25 22:08:07
30787
6
转载 Scrapy框架的使用之Scrapy通用爬虫
通过Scrapy，我们可以轻松地完成一个站点爬虫的编写。但如果抓取的站点量非常大，比如爬取各大媒体的新闻信息，多个Spider则可能包含很多重复代码。如果我们将各个站点的Spider的公共部分保留下来，不同的部分提取出来作为单独的配置，如爬取规则、页面解析方式等抽离出来做成一个配置文件，那么我们在新增一个爬虫的时候，只需要实现这些网站的爬取规则和提取规则即可。本节我们就来探究一下Scrapy通用爬...
2018-05-21 20:35:12
2784
1
转载 软件测试之回归测试
相信很多同学都是听过回归测试这个说法的吧，而自动化测试很多时候都应用在这个时候，今天就来说一说回归测试吧。一、软件回归测试的定义： 回归测试是指修改了旧代码后，重新进行测试以确认修改没有引入新的错误或导致其他代码产生错误的一种测试方法。1、回归测试是指重复以前的全部或部分的相同功能测试2、新加入测试的模块，可能对其他模块产生副作用，因此要进行某些程度的回归测试3、回归测试的重心，是以关键性模块为核...
2018-05-21 20:34:28
39170
转载 自动化测试Selenium最新面试题和对应答案！
问题1：Selenium是什么，流行的版本有哪些？Selenium是基于Web的最流行的UI自动化测试工具。它提供了一组支持多种平台的公开API（例如Linux，Windows，Mac OS X等）。此外，像Google Chrome，Mozilla Firefox，Internet Explorer和Safari等所有现代浏览器都可以用来运行Selenium测试。它也涵盖了Android平台，其...
2018-05-21 20:34:18
10118
1
转载 关于App的cpu/内存/流量 /电量的方法
怎么对安卓以及iOS app进行流量以及电量进行测试，今天就带大家带来进行测试。这篇文章也是小编从网上的资料整理过来的，觉得写的很全就带给大家，我们借用工具腾讯的GT工具进行测试。腾讯GT简介：此apk是一款可以对APP进行测试的软件，可以在任何情况下快速测试手机app的CPU、内存、流量、电量、帧率/流畅度等性能测试。有安卓版本和iOS版本，分别下载1.腾讯GT下载地址http://gt.ten...
2018-05-20 17:23:09
1521
转载 如何编写高质量的测试计划
什么是测试计划测试计划是对测试过程的整体设计，测试计划确定了测试产品所需的资源，确定了我们将测试什么，测试将怎样进行。测试计划的输出是一份或多份文档。为什么要制定测试计划项目的成败由四大要素决定：时间、成本、范围、质量。其中的“质量”可以由测试计划覆盖，主要作用如下：1）展现计划执行的细节，让测试人员来进行同行评审；2）体现排期、测试环境等更多信息。测试计划要点1）确定测试范围制定测试计划的第一步...
2018-05-20 17:08:32
1368
转载 软件测试之接口测试
现在很多公司都有做接口测试的要求，这时很多之前一直做功能测试的伙伴们就比较措手不及了，怎么办呢？今天小编就来就着接口测试的话题来讲解下接口测试的一些知识。1、接口测试的背景1）什么是接口测试呢？接口测试是测试系统组件间接口的一种测试，接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点联系，测试的重点是要检查数据的交换，传递和控制管理过程，以及系统间的相互逻辑依赖关系等。2）那为...
2018-05-20 16:51:23
8680
1
转载 内建质量之路
主题一：“怎么有效的进行需求分析和需求测试A组讨论结果目前大家进行需求分析和需求测试的方法：1）需求文档2）产品讲解3）原型4）边做边获取需求目前的方法会导致的问题1）需求不清晰2）需求丢失3）需求传达有误4）需求分析的合理性没法办法测试（项目背景业务不清楚）5）需求漏洞无法测试解决方法讨论：1）产品、开发、测试需求宣贯2）找映海看看能否有什么方式提前获取一手需求3）参照竟品业务来进行需求分析和需...
2018-05-20 16:42:44
3773
转载 AutoLine开源平台常见问题解答
AutoLine开源平台常见问题解答为什么别人部署安装AutoLine开源平台没碰到各种问题，我一安装部署使用就各种问题呢？答：请及时访问https://github.com/small99/AutoLine, 更新最新的代码请严格遵循安装部署教程进行，不要遗漏任何命令有问题，请说明Python版本、OS版本以及截图和日志提交到github上AutoLine开源平台最低Python版本要求是多少？...
2018-05-20 16:39:46
519
转载 AutoLine开源平台安装部署教程
安装手册安装手册MySQL安装及配置AutoLine依赖包安装初始化数据库初始化数据运行可能碰到的问题github地址：https://github.com/small99/AutoLineMySQL安装及配置下载最新版的Mysql安装，具体安装方法，请自行参照相关文档。使用utf-8编码创建一个名为autoline的数据库修改.env配置文件中的数据库连接字符串，如下：DATABASE_URL=...
2018-05-20 16:37:55
673
转载 AutoLine开源平台发布
AutoLine开源平台AutoLine开源平台什么是AutoLine开源平台为什么要开发AutoLine采用了哪些开源技术/框架安装配置如何运行一些截图支持与联系许可公众号什么是AutoLine开源平台AutoLine开源平台是一个开源自动化测试解决方案，基于RobotFramework进行二次开发，支持RobotFramework几乎所有的库。为什么要开发AutoLine为中小企业提供一个好用...
2018-05-20 16:35:58
1020
转载 10个Python面试常问的问题
概述Python是个非常受欢迎的编程语言，随着近些年机器学习、云计算等技术的发展，Python的职位需求越来越高。下面我收集了10个Python面试官经常问的问题，供大家参考学习。1、类继承有如下的一段代码：class A(object): def show(self): print 'base show'class B(A): def show(self): ...
2018-05-20 16:27:44
258
转载 100 道 Linux 笔试题
本套笔试题共100题，每题1分，共100分。（参考答案在文章末尾）1. cron 后台常驻程序 (daemon) 用于： A. 负责文件在网络中的共享 B. 管理打印子系统C. 跟踪管理系统信息和错误 D. 管理系统日常任务的调度2. 在大多数Linux发行版本中，以下哪个属于块设备 (block devices) ？ A. 串行口B. 硬盘 C. 虚拟终端D. 打印机3. 下面哪个Linux命令...
2018-05-20 16:26:35
4230
转载 整理的最全 python常见面试题（基本必考）
1、大数据的文件读取 ① 利用生成器generator ②迭代器进行迭代遍历：for line in file2、迭代器和生成器的区别1）迭代器是一个更抽象的概念，任何对象，如果它的类有next方法和iter方法返回自己本身。对于string、list、dict、tuple等这类容器对象，使用for循环遍历是很方便的。在后台for语句对容器对象调用iter()函数，iter()是python的...
2018-05-20 16:04:57
3053
转载 Scrapy框架的使用之Scrapy对接Splash
之前我们实现了Scrapy对接Selenium抓取淘宝商品的过程，这是一种抓取JavaScript动态渲染页面的方式。除了Selenium，Splash也可以实现同样的功能。本节我们来了解Scrapy对接Splash来进行页面抓取的方式。一、准备工作请确保Splash已经正确安装并正常运行，同时安装好Scrapy-Splash库。二、新建项目首先新建一个项目，名为scrapysplashtest，...
2018-05-19 21:42:10
10708
4
转载 Jupyter notebook快速入门教程
本篇将给大家介绍一款超级好用的工具：Jupyter notebook。为什么要介绍这款工具呢？如果你想使用Python学习数据分析或数据挖掘，那么它应该是你第一个应该知道并会使用的工具，它很容易上手，用起来非常方便，是个对新手非常友好的工具。而事实也证明它的确很好用，在数据挖掘平台 Kaggle 上，使用 Python 的数据爱好者绝大多数使用 jupyter notebook 来实现分析和建模的...
2018-05-18 22:22:40
105428
2
转载 利用python和百度地图API实现数据地图标注
如题，先上效果图：主要分为两大步骤使用python语句，通过百度地图API，对已知的地名抓取经纬度使用百度地图API官网的html例程，修改数据部分，实现呈现效果一、使用python语句，通过百度地图API，获取经纬度读取文件信息import pandas as pddata = pd.read_excel('test_baidu.xlsx')data图中可以看出，原始数据并没有经纬度。2. 构建...
2018-05-18 22:15:48
19309
2
转载 Python实现数据库一键导出为Excel表格！大大的增加了工作效率！
数据库数据导出为excel表格，也可以说是一个很常用的功能了。毕竟不是任何人都懂数据库操作语句的。 下面先来看看完成的效果吧。数据源导出结果 依赖由于是Python实现的，所以需要有Python环境的支持Python2.7.11我的Python环境是2.7.11。虽然你用的可能是3.5版本，但是思想是一致的。xlwtpip install xlwtMySQLdbpip install MySQLd...
2018-05-18 21:18:09
7014
1
转载 Python的22个编程技巧，简化 if 语句、开启文件分享……
1. 原地交换两个数字Python 提供了一个直观的在一行代码中赋值与交换（变量值）的方法，请参见下面的示例：x,y= 10,20print(x,y)x,y= y,xprint(x,y)#1 (10, 20)#2 (20, 10)赋值的右侧形成了一个新的元组，左侧立即解析（unpack）那个（未被引用的）元组到变量<a>和<b>。一旦赋值完成，新的元组变成了未被引用状态并且...
2018-05-18 20:48:00
1728
原创 Python 3 新特性：类型注解
前几天有同学问到，这个写法是什么意思：def add(x:int, y:int) -> int: return x + y我们知道 Python 是一种动态语言，变量以及函数的参数是不区分类型。因此我们定义函数只需要这样写就可以了：def add(x, y): return x + y这样的好处是有极大的灵活性，但坏处就是对于别人代码，无法一眼判断出参数的类型，IDE 也无法...
2018-05-17 21:18:21
2772
转载 用 30 个实例完全解读 TOP 命令
Linux中的top命令显示系统上正在运行的进程。它是系统管理员最重要的工具之一。被广泛用于监视服务器的负载。在本篇中，我们会探索top命令的细节。top命令是一个交互命令。在运行top的时候还可以运行很多命令。我们也会探索这些命令。（译注：不同发行版的top命令在各种细节有不同，如果发现不同时，请读你的帮助手册和命令内的帮助。）1. Top 命令输出:首先，让我们了解一下输出。top命令会显示系...
2018-05-17 21:14:47
326
转载 Python库大全
学Python，想必大家都是从爬虫开始的吧。毕竟网上类似的资源很丰富，开源项目也非常多。Python学习网络爬虫主要分3个大的版块：抓取，分析，存储当我们在浏览器中输入一个url后回车，后台会发生什么？简单来说这段过程发生了以下四个步骤：查找域名对应的IP地址。向IP对应的服务器发送请求。服务器响应请求，发回网页内容。浏览器解析网页内容。那么学习爬虫需要掌握哪些库呢？通用：urllib -网络库(...
2018-05-17 21:02:54
241
转载 软件测试面试时遇到的数据库问题
1.数据库中有如下两个表： 表1:employee 员工编号：employee_id （NOT allows null） 员工姓名：employee_name （NOT allows null） 年 龄 ：age, 雇用日期：hire_date, 部门：department 表2：salary 员工编号：employee_id 员工工资：salary （1）计算2015年以后雇佣的员工个数 关于日...
2018-05-16 21:48:59
2880
转载 软件测试工程师常见面试题和笔试题
1.白箱测试和黑箱测试是什么?什么是回归测试?2.单元测试、集成测试、系统测试的侧重点是什么？3.设计用例的方法、依据有那些？4.一个测试工程师应具备那些素质和技能？5.集成测试通常都有那些策略？6.你用过的测试工具的主要功能、性能及其他？7.一个缺陷测试报告的组成8.基于WEB信息管理系统测试时应考虑的因素有哪些？9.软件本地化测试比功能测试都有哪些方面需要注意？10.软件测试项目从什么时候开始...
2018-05-16 21:23:59
12932
转载 推荐7 款实用好用的电脑软件
EasyCharts EasyCharts 是一个简单好用 的Excel 插件。使用它可以快速制作出美观高大上的图表。它支持多种图表，什么柱线图，散列图，折线图等等。而且还能美化配色图表。它还可以使用数据分析命令自动绘制复杂的图表。关注公众号：高效率工具搜罗（ID：gongju006），后台回复：echart，获取下载。Proxyee-downProxyee-down 是一款不用登陆账号就可...
2018-05-16 21:22:30
32382
转载 Scrapy框架的使用之Scrapy对接Selenium
Scrapy抓取页面的方式和requests库类似，都是直接模拟HTTP请求，而Scrapy也不能抓取JavaScript动态渲染的页面。抓取JavaScript渲染的页面有两种方式。一种是分析Ajax请求，找到其对应的接口抓取，Scrapy同样可以用此种方式抓取。另一种是直接用Selenium或Splash模拟浏览器进行抓取，我们不需要关心页面后台发生的请求，也不需要分析渲染过程，只需要关心页面...
2018-05-16 20:48:23
33502
15
转载 Python3.x开发简单爬虫及案例学习
什么是爬虫一段自动抓取互联网信息的程序，可以从一个URL出发，访问它所关联的URL,提取我们所需要的数据。也就是说爬虫是自动访问互联网并提取数据的程序。爬虫的价值将互联网上的数据为我所用，开发出属于自己的网站或APP爬虫框架爬虫调度端：用来启动、执行、停止爬虫，或者监视爬虫中的运行情况在爬虫程序中有三个模块URL管理器：对将要爬取的URL和已经爬取过的URL这两个数据的管理网页下载器：将URL管理...
2018-05-15 21:00:14
2953
转载 一文读懂 WebSocket 通信过程与实现
什么是 WebSocket ？WebSocket 是一种标准协议，用于在客户端和服务端之间进行双向数据传输。但它跟 HTTP 没什么关系，它是一种基于 TCP 的一种独立实现。以前客户端想知道服务端的处理进度，要不停地使用 Ajax 进行轮询，让浏览器隔个几秒就向服务器发一次请求，这对服务器压力较高。另外一种轮询就是采用 long poll 的方式，这就跟打电话差不多，没收到消息就一直不挂电话，也...
2018-05-14 22:12:23
16008
转载 一款免费的百度网盘下载软件
一款免费的百度网盘下载软件 。接下来，开始介绍我们的主角：proxyee-down 。这是github开源的一个项目，给大佬的项目宣传一下，作者使用本地http代理服务器方式嗅探下载请求，支持所有操作系统和大部分主流浏览器,支持分段下载和断点下载。项目地址：https://github.com/monkeyWie/proxyee-down 。重点来了，如何使用这款软件？下载完后直接如上图，点击安装...
2018-05-14 21:31:41
2288
原创 笔记本电池冲不进电或不存电的修复方法
不少同学的本本，用不到2年电池就坏掉了不存电，几分钟就一泻千里，成了那啥，哈哈，，别想多了！还有的本本因为放的太久了，几个月没充电，发现电池冲不进去电了，这个更糟进不去都，哎，，，这是怎么回事呢！其实电池并没有那么脆弱，电池电芯都是锂离子的，可千次循环充放电，此时的电池只是处于自我保护，一种冬眠的不激活的状态。此时，一般本本没有这种能力去修复电池。说了这么多到底怎么做呢？第一，把电池拆下来，用保鲜...
2018-05-14 20:48:11
84099
转载 Python十分钟制作属于你自己的个性logo
词云的使用相信大家已经不陌生了，使用很简单，直接调用wordcloud包就可以了。它的主要功能是根据文本词汇和词汇频率生成图片，从中可以直观的看出各个词汇所占比重。最近正好想做一个人的logo，于是乎决定使用词云来制作完成。wordcloud安装pip install wordcloud使用 pip 安装你肯定会遇到一个坑，安装过程中可能会报错，提示你安装 Microsoft Visual C++...
2018-05-12 21:54:30
2614
转载 关于fiddler导出jmeter插件的安装问题
最近部分同学在使用fiddler导出jmeter脚本插件，出现一些问题，现在给大家做下分析和解决：问题如下：分析：插件放入，没有生效，是放错位置的原因解决方案：1.打开fiddler2.打开tools3.选择路径，打开目录，我的电脑是：C:\Users\yhxie\AppData\Local\Programs\Fiddler4.将文件放在该目录下：5.重启fiddler，再看，如下：6.到此问题得...
2018-05-12 21:39:31
2186
转载 使用requests+BeautifulSoup的简单爬虫练习
爬取网站：猫眼电影top100。这个网站也挺容易的，所以大家可以先自己爬取下，遇到问题再来看下这篇文章哈。这篇文章主要是练习而已，别无用处，大佬请绕道哈！1、本文用到的库及网站requestsBeautifulSoup目标网站：http://maoyan.com/board/42、分析目标网站很容易找到我们想要的信息，上面的5的箭头都是我们想要的信息，分别是电影图片地址、电影名字、主演、上演时间和...
2018-05-08 22:49:36
1643
转载 性能测试的分类、区别以及特点
现在性能测试一个比较火的话题，究其原因是因为现在很多公司都要求测试人员会做性能测试，所以今天小编就来普及下性能测试的几种分类和其特点。 关于性能测试有几个名词：性能测试、负载测试、压力测试、并发测试，很多人都是混合使用，或者有时压力测试，有时叫并发测试。这些名词除了非测试人员分不清楚之外，甚至很多专业测试人员也对这些名词会搞迷糊。下面就从来详细说说这些名词之间的区别和特点。1、软件性能测...
2018-05-08 22:48:41
2641
转载 Android测试时常用到的指令
在面试app测试的时候，很多面试官会问一下Android的常用指令，你要是知道的话，肯定是加分，所以今天就来普及下安卓常用指令。1、adb的常用指令有：(1)查看当前运行的设备和获得root权限的指令： adb -devices和adb root(2)把电脑上的文件复制拷贝到手机设备上的指令： adb push<1><2> <1>：为电脑上的磁...
2018-05-08 22:48:31
1420
转载 Mysql数据库的使用方法
现在看软件测试的招聘要求，基本都是要求会数据库这一块的，薪水越高所具备的技能也要越多，而数据库知识则是一项必备技能了，所以今天小编就好好的普及下数据库知识方面的基本使用方法！一、数据库的基本概念1、 常用的两种引擎： (1) InnoDB引擎： 1）支持ACID，简单地说就是支持事务完整性、一致性； 2）支持行锁，以及类似ORACLE的一致性读，多用户并发； ...
2018-05-08 22:48:20
14813
1
转载 只想找个功能测试，面试官却把我逼上了绝境
又到一年金三银四铜五找工作跳槽加薪升职季。在XX同学做好了充分的准备后，选择了铜五这个跳槽人数逐渐变少的月份，去选择他心仪的公司去面试。 下面以第一人称叙述：目标职位：功能测试目标薪资：10k地点：上海毕业时间：2015年6月（到今年6月刚刚好3年）公司名字：？？？我当然不会告诉你，这个得保密。目前状况：一直做得是纯功能测试。 我以为我做好了万全准备，当...
2018-05-08 22:47:24
1189
1
转载 Pycharm激活、配置以及快捷方式
Pycharm可以去官网下载需要pycharm或者注册码可以直接留言评论！Pycharm的安装激活jar包的目的就是让截获截止时间并骗过pycharm;将jar包放入pycharm在你本地的安装目录bin下。并且修改两个以 vmoptions为结尾的启动文件如图所示:并且在两个文件后追加 -javaagent:D:devAppPyCharm 2017.3.2inJetbrainsCrack-2.6...
2018-05-08 22:40:48
1335
转载 一文读懂Python可迭代对象、迭代器和生成器
我们都知道，序列可以迭代。但是，你知道为什么吗？ 本文来探讨一下迭代背后的原理。序列可以迭代的原因：iter 函数。解释器需要迭代对象 x 时，会自动调用 iter(x)。内置的 iter 函数有以下作用：(1) 检查对象是否实现了 iter 方法，如果实现了就调用它，获取一个迭代器。 (2) 如果没有实现 iter 方法，但是实现了 getitem 方法，而且其参数是从零开始的索引，Python...
2018-05-08 22:30:33
16336
转载 138 条 Vim 命令、操作、快捷键全集
命令历史以:和/开头的命令都有历史纪录，可以首先键入:或/然后按上下箭头来选择某个历史命令。启动vim在命令行窗口中输入以下命令即可vim 直接启动vimvim filename 打开vim并创建名为filename的文件文件命令打开单个文件vim file同时打开多个文件vim file1 file2 file3 ...在vim窗口中打开一个新文件:open file在新窗口中打开文件:spli...
2018-05-08 22:22:27
214
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人