zhusongziye的博客

个人知识整理和收集,欢迎同道的朋友一起学习进步!

分布式爬虫原理之分布式爬虫原理

我们在前面已经实现了Scrapy微博爬虫,虽然爬虫是异步加多线程的,但是我们只能在一台主机上运行,所以爬取效率还是有限的,分布式爬虫则是将多台主机组合起来,共同完成一个爬取任务,这将大大提高爬取的效率。一、分布式爬虫架构在了解分布式爬虫架构之前,首先回顾一下Scrapy的架构,如下图所示。Scra...

2018-05-25 22:08:07

阅读数:3800

评论数:0

Scrapy框架的使用之Scrapy通用爬虫

通过Scrapy,我们可以轻松地完成一个站点爬虫的编写。但如果抓取的站点量非常大,比如爬取各大媒体的新闻信息,多个Spider则可能包含很多重复代码。如果我们将各个站点的Spider的公共部分保留下来,不同的部分提取出来作为单独的配置,如爬取规则、页面解析方式等抽离出来做成一个配置文件,那么我们在...

2018-05-21 20:35:12

阅读数:252

评论数:0

软件测试之回归测试

相信很多同学都是听过回归测试这个说法的吧,而自动化测试很多时候都应用在这个时候,今天就来说一说回归测试吧。一、软件回归测试的定义: 回归测试是指修改了旧代码后,重新进行测试以确认修改没有引入新的错误或导致其他代码产生错误的一种测试方法。1、回归测试是指重复以前的全部或部分的相同功能测试2、新加入测...

2018-05-21 20:34:28

阅读数:1530

评论数:0

自动化测试Selenium最新面试题和对应答案!

问题1:Selenium是什么,流行的版本有哪些?Selenium是基于Web的最流行的UI自动化测试工具。它提供了一组支持多种平台的公开API(例如Linux,Windows,Mac OS X等)。此外,像Google Chrome,Mozilla Firefox,Internet Explor...

2018-05-21 20:34:18

阅读数:608

评论数:0

关于App的cpu/内存/流量 /电量的方法

怎么对安卓以及iOS app进行流量以及电量进行测试,今天就带大家带来进行测试。这篇文章也是小编从网上的资料整理过来的,觉得写的很全就带给大家,我们借用工具腾讯的GT工具进行测试。腾讯GT简介:此apk是一款可以对APP进行测试的软件,可以在任何情况下快速测试手机app的CPU、内存、流量、电量、...

2018-05-20 17:23:09

阅读数:216

评论数:0

如何编写高质量的测试计划

什么是测试计划测试计划是对测试过程的整体设计,测试计划确定了测试产品所需的资源,确定了我们将测试什么,测试将怎样进行。测试计划的输出是一份或多份文档。为什么要制定测试计划项目的成败由四大要素决定:时间、成本、范围、质量。其中的“质量”可以由测试计划覆盖,主要作用如下:1)展现计划执行的细节,让测试...

2018-05-20 17:08:32

阅读数:127

评论数:0

软件测试之接口测试

 现在很多公司都有做接口测试的要求,这时很多之前一直做功能测试的伙伴们就比较措手不及了,怎么办呢?今天小编就来就着接口测试的话题来讲解下接口测试的一些知识。1、接口测试的背景1)什么是接口测试呢?接口测试是测试系统组件间接口的一种测试,接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的...

2018-05-20 16:51:23

阅读数:746

评论数:1

内建质量之路

主题一:“怎么有效的进行需求分析和需求测试A组讨论结果目前大家进行需求分析和需求测试的方法:1)需求文档2)产品讲解3)原型4)边做边获取需求目前的方法会导致的问题1)需求不清晰2)需求丢失3)需求传达有误4)需求分析的合理性没法办法测试(项目背景业务不清楚)5)需求漏洞无法测试解决方法讨论:1)...

2018-05-20 16:42:44

阅读数:370

评论数:0

AutoLine开源平台常见问题解答

AutoLine开源平台常见问题解答为什么别人部署安装AutoLine开源平台没碰到各种问题,我一安装部署使用就各种问题呢?答:请及时访问https://github.com/small99/AutoLine, 更新最新的代码请严格遵循安装部署教程进行,不要遗漏任何命令有问题,请说明Python版...

2018-05-20 16:39:46

阅读数:92

评论数:0

AutoLine开源平台安装部署教程

安装手册安装手册MySQL安装及配置AutoLine依赖包安装初始化数据库初始化数据运行可能碰到的问题github地址:https://github.com/small99/AutoLineMySQL安装及配置下载最新版的Mysql安装,具体安装方法,请自行参照相关文档。使用utf-8编码创建一个...

2018-05-20 16:37:55

阅读数:129

评论数:0

AutoLine开源平台发布

AutoLine开源平台AutoLine开源平台什么是AutoLine开源平台为什么要开发AutoLine采用了哪些开源技术/框架安装配置如何运行一些截图支持与联系许可公众号什么是AutoLine开源平台AutoLine开源平台是一个开源自动化测试解决方案,基于RobotFramework进行二次...

2018-05-20 16:35:58

阅读数:118

评论数:0

10个Python面试常问的问题

概述Python是个非常受欢迎的编程语言,随着近些年机器学习、云计算等技术的发展,Python的职位需求越来越高。下面我收集了10个Python面试官经常问的问题,供大家参考学习。1、类继承有如下的一段代码:class A(object):    def show(self):        pr...

2018-05-20 16:27:44

阅读数:70

评论数:0

100 道 Linux 笔试题

本套笔试题共100题,每题1分,共100分。(参考答案在文章末尾)1. cron 后台常驻程序 (daemon) 用于: A. 负责文件在网络中的共享 B. 管理打印子系统C. 跟踪管理系统信息和错误 D. 管理系统日常任务的调度2. 在大多数Linux发行版本中,以下哪个属于块设备 (block...

2018-05-20 16:26:35

阅读数:379

评论数:0

整理的最全 python常见面试题(基本必考)

1、大数据的文件读取  ① 利用生成器generator  ②迭代器进行迭代遍历:for line in file2、迭代器和生成器的区别1)迭代器是一个更抽象的概念,任何对象,如果它的类有next方法和iter方法返回自己本身。对于string、list、dict、tuple等这类容器对象,使用...

2018-05-20 16:04:57

阅读数:470

评论数:0

Scrapy框架的使用之Scrapy对接Splash

之前我们实现了Scrapy对接Selenium抓取淘宝商品的过程,这是一种抓取JavaScript动态渲染页面的方式。除了Selenium,Splash也可以实现同样的功能。本节我们来了解Scrapy对接Splash来进行页面抓取的方式。一、准备工作请确保Splash已经正确安装并正常运行,同时安...

2018-05-19 21:42:10

阅读数:1405

评论数:2

Jupyter notebook快速入门教程

本篇将给大家介绍一款超级好用的工具:Jupyter notebook。为什么要介绍这款工具呢?如果你想使用Python学习数据分析或数据挖掘,那么它应该是你第一个应该知道并会使用的工具,它很容易上手,用起来非常方便,是个对新手非常友好的工具。而事实也证明它的确很好用,在数据挖掘平台 Kaggle ...

2018-05-18 22:22:40

阅读数:1023

评论数:0

利用python和百度地图API实现数据地图标注

如题,先上效果图:主要分为两大步骤使用python语句,通过百度地图API,对已知的地名抓取经纬度使用百度地图API官网的html例程,修改数据部分,实现呈现效果一、使用python语句,通过百度地图API,获取经纬度读取文件信息import pandas as pddata = pd.read_...

2018-05-18 22:15:48

阅读数:2017

评论数:0

Python实现数据库一键导出为Excel表格!大大的增加了工作效率!

数据库数据导出为excel表格,也可以说是一个很常用的功能了。毕竟不是任何人都懂数据库操作语句的。 下面先来看看完成的效果吧。数据源导出结果 依赖由于是Python实现的,所以需要有Python环境的支持Python2.7.11我的Python环境是2.7.11。虽然你用的可能是3.5版本,但是思...

2018-05-18 21:18:09

阅读数:381

评论数:1

Python的22个编程技巧,简化 if 语句、开启文件分享……

1. 原地交换两个数字Python 提供了一个直观的在一行代码中赋值与交换(变量值)的方法,请参见下面的示例:x,y= 10,20print(x,y)x,y= y,xprint(x,y)#1 (10, 20)#2 (20, 10)赋值的右侧形成了一个新的元组,左侧立即解析(unpack)那个(未被...

2018-05-18 20:48:00

阅读数:341

评论数:0

​Python 3 新特性:类型注解

前几天有同学问到,这个写法是什么意思:def add(x:int, y:int) -> int:    return x + y我们知道 Python 是一种动态语言,变量以及函数的参数是不区分类型。因此我们定义函数只需要这样写就可以了:def add(x, y):   ...

2018-05-17 21:18:21

阅读数:445

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭