zhusongziye的博客

个人知识整理和收集,欢迎同道的朋友一起学习进步!

排序:
默认
按更新时间
按访问量

pytest单元测试框架插件开发实践

我学习了一下pytest。 按照惯例,检验我学习成果的方法就是造个轮子,于是我根据写单元测试时发现的痛点,写了一个插件 https://github.com/ShichaoMa/pytest-apistellar 现在分享出来,供大家学习和参考。 既然说到痛点,想必写过单元测试的人都知...

2018-10-20 16:56:19

阅读数:10

评论数:0

Python网络爬虫精要

目的 学习如何从互联网上获取数据。数据科学必须掌握的技能之一。 本文所用到的第三方库如下: requests, parsel, selenium requests负责向网页发送HTTP请求并得到响应,parsel负责解析响应字符串,selenium负责JavaScript的渲染。 网络爬虫...

2018-10-20 16:54:19

阅读数:14

评论数:0

Python分布式爬虫详解(三)

上一章中,利用scrapy-redis做了一个简单的分布式爬虫,虽然很一般(只有30个请求)但是基本能说清楚原理,本章中,将对该项目进行升级,使其成为一个完整的分布式爬虫项目。 Python分布式爬虫详解(一) Python分布式爬虫详解(二) 本章知识点: a.代理ip的使用 b.Ma...

2018-10-20 16:10:53

阅读数:8

评论数:0

Python分布式爬虫详解(二)

上一章Python分布式爬虫详解(一)简单的介绍了什么是分布式爬虫,废话不多说,本章开始从零搭建一个爬取电影天堂电影信息的分布式爬虫。 本章知识点: a.CrawlSpider爬取电影天堂动作片第一页数据 b.将项目改为RedisCrawlSpider爬虫 一、CrawlSpider爬虫 ...

2018-10-20 16:07:59

阅读数:15

评论数:0

Python分布式爬虫详解(一)

当项目上升到一定境界时候,需要同时抓取几百个甚至上千个网站,这个时候,单个的爬虫已经满足不了需求。比如我们日常用的百度,它每天都会爬取大量的网站,一台服务器肯定是不够用的。所以需要各个地方的服务器一起协同工作。 本章知识点: a.scrapy-redis简介 b.开始项目前的准备 一、Sc...

2018-10-20 16:03:39

阅读数:18

评论数:0

wxPython:一套Python语言的GUI工具箱

  简单介绍 wxPython是Python语言中一套优秀的GUI图形库,可以很方便地创建完整、功能健全的GUI图形用户界面。 如Wxpython官网说的那样,它产出的应用程序可以在windows、mac os以及linux系统上不做或做很少修改的情况下完美运行。 当然,wxpytho...

2018-10-20 15:46:07

阅读数:6

评论数:0

网易云音乐歌曲评论爬虫(附python源码)

♚转载: 作者:志颖 ,一个狂热的python爬虫热爱者 GitHub:github.com/zyingzhou 用过网易云音乐听歌的朋友都知道,网易云音乐每首歌曲后面都有很多评论,热门歌曲的评论更是接近百万或者是超过百万条.现在我就来分享一下如何爬取网易云音乐歌曲的全部评论,由于网易云音乐...

2018-10-20 15:37:36

阅读数:39

评论数:0

边玩游戏边学Python,原来编程如此有趣!

编程这种东西 如果没有个优秀的老师教你 想要真正入门成长非常困难   终于有个编程课程让我眼前一亮 一边打游戏,一边学编程   What? 是不是猛的一听有点意思 其实真的是这么回事啦 www.pypypy.cn 看到这个域名有没有想入非非 一股py之气喷涌而出 网站用微...

2018-10-20 15:26:48

阅读数:6

评论数:0

用Python爬取东方财富网上市公司财务报表

摘要: 现在很多网页都采取JavaScript进行动态渲染,其中包括Ajax技术。有的网页虽然也用Ajax技术,但接口参数可能是加密的无法直接获得,比如淘宝;有的动态网页也采用JavaScript,但不是Ajax技术,比如Echarts官网。所以,当遇到这两类网页时,需要新的采取新的方法,这其中包...

2018-10-20 12:26:06

阅读数:40

评论数:0

用Python分析北京二手房房价

数据初探   首先导入要使用的科学计算包numpy,pandas,可视化matplotlib,seaborn,以及机器学习包sklearn。   import pandas as pd import numpy as np import seaborn as sns import mat...

2018-10-20 11:34:21

阅读数:8

评论数:0

如何在 Python 中使用断点调试

实际上没人能一次就写出完美的代码,除了我。但是世界上只有一个我。 -- 林纳斯·托瓦兹(Linux 之父)   既然不是神,写代码自然免不了要修改。修改代码的过程被称作调试,又叫 debug。   刚接触编程的人,往往对调试代码没有很深的认识,觉得把功能做出来就完事了。一旦程序运行出现问...

2018-10-18 22:11:59

阅读数:2

评论数:0

PyCharm 快速上手指南

0、前言 Pycharm 作为一款针对 Python 的编辑器,配置简单、功能强大、使用起来省时省心,对初学者友好,这也是为什么编程教室一直推荐新手使用 Pycharm 的原因。 本文我们将介绍  pycharm 编辑器的基本使用方法,主要包括以下几个方面: 下载安装 新建项目流...

2018-10-18 22:09:30

阅读数:2

评论数:0

听说你好不容易写了个爬虫,结果没抓几个就被封了?

近来知乎上如雨后春笋般冒出了大把大把的爬虫教程。这是好事,学了 Python 基础的同学们可以很轻松地搜出许多练手的例子。不过我不是针对谁,我是说网上绝大多数的爬虫教程,其实都缺乏可操作性。 是的,也包括我自己写过的。 主要原因有两点: 教程是死的,网站是活的。页面会改版,接口会更新...

2018-10-18 21:47:00

阅读数:11

评论数:0

爬虫必备工具,掌握它就解决了一半的问题

网上爬虫的教程实在太多了,去知乎上搜一下,估计能找到不下一百篇。大家乐此不疲地从互联网上抓取着一个又一个网站。但只要对方网站一更新,很可能文章里的方法就不再有效了。   每个网站抓取的代码各不相同,不过背后的原理是相通的。对于绝大部分网站来说,抓取的套路就那么一些。今天这篇文章不谈任何具体网站...

2018-10-18 21:34:38

阅读数:12

评论数:0

如何用Python抓抖音上的小姐姐

爬虫的案例我们已讲得太多。不过几乎都是网页爬虫。即使有些手机才能访问的网站,我们也可以通过 Chrome 开发者工具的手机模拟功能来访问,以便于分析请求并抓取。 但有些 App 根本就没有提供网页端,比如今年火得不行的抖音。(网上有些教程也是用网页手机模拟的方法,但此法现已失效。) 对于这种情...

2018-10-18 21:16:20

阅读数:21

评论数:0

Python爬虫万金油,使用工具goose快速提取网页内容

爬虫抓取数据有两个头疼的点,写过爬虫的小伙伴们一定都深有体会: 网站的防抓取机制。你要尽可能将自己伪装成“一个人”,骗过对方的服务器反爬验证。 网站的内容提取。每个网站都需要你做不同的处理,而且网站一旦改版,你的代码也得跟着更新。 第一点没什么捷径可走,套路见得多了,也就有经验...

2018-10-18 21:03:05

阅读数:8

评论数:0

不知道给女朋友买什么 ?让爬虫告诉你

引言   你是否曾经遇到过要给女朋友、父母、好朋友送礼物却不知道买什么的情况?小编作为一个直男,每次都在给朋友选礼物的事情上费劲脑筋,实在是不知道买什么东西好。但事情总是要解决,小编萌生了一个想法,在某购物网站搜索关键字,然后将搜索结果进行词频分析,这样不就知道有什么东西是大家买的比较多的了么...

2018-09-17 22:04:37

阅读数:101

评论数:0

[Python爬虫]通过分析胸罩销售记录 发现了惊人的秘密

通过爬虫去爬取京东的用户评价,通过分析爬取的数据能得到很多结果,比如,哪一种颜色的胸罩最受女性欢迎,以及中国女性的平均size(仅供参考哦~)   打开开发者工具-network,在用户评价页面我们发现浏览器有这样一个请求     通过分析我们发现主要用的参数有三个productId...

2018-09-17 21:58:45

阅读数:235

评论数:0

Python爬虫学习之Scrapy-Redis实战京东图书

  什么是scrapy-redis? redis-based components for scrapy scrapy-Redis就是结合了分布式数据库redis,重写了scrapy一些比较关键的代码,将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。 scrapy-redis是...

2018-09-17 21:44:57

阅读数:97

评论数:0

19道小米网运维工程师笔试真题

第一部分:Linux基础   题目1: 有一百个图片文件,它们的地址都是 http://down.xiaomi.com/img/1.png http://down.xiaomi.com/img/2.png … 一直到http://down.xiaomi.com/img/100.png...

2018-09-17 21:19:44

阅读数:93

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭