Python
文章平均质量分 78
ZhiHuaWei
我知道自己能力小,但,有什么可以能帮到你的吗?
展开
-
Python项目如何生成依赖库文件“requriements.txt”
Python项目如何生成依赖库文件“requriements.txt”综述requirements.txt简单介绍如何生成如何使用`requirements.txt`综述我们在开发项目的时候,会用virtualenv创建很多Python项目运行独立环境或者是在GitHub或者Gitee上面进行Clone一些Python项目时,经常会看到项目的根目录下有一个requirements.txt文件,并且会在Readme.md文件中介绍使用项目前需要运行的一下命令。这个requirements.txt文件是什么原创 2020-08-31 10:47:20 · 1965 阅读 · 0 评论 -
Python爬虫5.12 — scrapy框架scrapy-redis[分布式爬虫]模块的使用
Python爬虫5.12 — scrapy框架scrapy-redis[分布式爬虫]模块的使用综述Scrapy-Redis分布式爬虫组件分布式爬虫的有点分布式爬虫必须要解决的问题安装`Scrapy-Redis`Scrapy-Redis架构Scrapy 架构图Scrapy-Redis 架构图开发分布式爬虫开发运行结语其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3.7.4前面的文章我们学习原创 2020-06-28 11:24:54 · 824 阅读 · 0 评论 -
Python爬虫5.11 — scrapy框架结合selenium+chromedriver的使用
Python爬虫5.11 — scrapy框架结合selenium+chromedriver的使用综述原理讲解开发实例其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3.7.4上篇文章我们讲述了下载器中间件的概念,以及如何使用下载器中间件如何使用下载器中间件进行动态随机设置请求头和设置代理IP的方法。这一篇文章我们就讲述一个少高级一点的中间件用法,那就是Scrapy+selenium+ch原创 2020-05-28 09:01:51 · 1437 阅读 · 0 评论 -
Python爬虫5.10 — scrapy框架Download Middlewares[下载器中间件]的使用
Python爬虫5.10 — scrapy框架Download Middlewares[下载器中间件]的使用综述Download Middlewares(下载器中间件)process_request(self, request, spider)process_response(self, request, response, spider)中间件其他方法实例说明随机请求头中间件IP代理池中间件开放...原创 2020-04-25 09:59:21 · 1267 阅读 · 0 评论 -
Python爬虫5.9 — scrapy框架下载文件和图片
Python爬虫5.9 — scrapy框架下载文件和图片综述下载文件和图片使用Scrapy框架内置方法的好处下载文件的`File Pipeline`下载图片的`Images Pipeline`实例说明传统下载方式使用`Scrapy`框架自带`ImagesPipeline`进行下载图片其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不...原创 2020-03-30 15:45:32 · 3986 阅读 · 2 评论 -
Python爬虫5.8 — scrapy框架CrawlSpider模块的使用
Python爬虫5.8 — scrapy框架CrawlSpider模块的使综述CrawlSpider 介绍CrawlSpider 爬虫创建CrawlSpider爬虫LinkExtractors链接提取器Rule规则类微信小程序社区CrawlSpider使用案例CrawlSpider总结其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不...原创 2020-03-27 14:09:58 · 848 阅读 · 0 评论 -
Python爬虫5.7 — scrapy框架Shell命令的使用
Python爬虫5.7 — scrapy框架Shell命令的使用综述Scrapy Shall打开Scrapy Shall总结其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3.7.4本篇文章主要讲解Scrapy Shall的使用。Scrapy Shall我们想要再爬虫中使用x...原创 2020-03-20 11:08:58 · 661 阅读 · 0 评论 -
Python爬虫5.6 — scrapy框架setting模块的使用
Python爬虫5.4 — scrapy框架items模块的使用综述setting 介绍解析说明日志文件配置robots协议全局并发数的一些配置自带缓存配置Scrapy-Redis分布式爬虫相关设置redis的地址配置其他不常用配置其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3...原创 2020-03-10 10:03:23 · 1072 阅读 · 0 评论 -
Python爬虫5.5 — scrapy框架logging模块的使用
Python爬虫5.5 — scrapy框架logging模块的使用综述log 介绍关于log等级logging.getLogger()日志保存到本地自定义logger其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3.7.4本篇文章主要讲解日志模块(logging)的使用。l...原创 2020-02-10 12:13:26 · 1952 阅读 · 0 评论 -
Python爬虫5.4 — scrapy框架items模块的使用
Python爬虫5.4 — scrapy框架items模块的使用综述items 介绍声明定义使用items其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3.7.4本篇我们来讲述items模块的用。items 介绍items主要目标是从非结构化来源(通常是网页)提取结构化数据...原创 2020-01-14 11:49:53 · 3545 阅读 · 0 评论 -
Python爬虫5.3 — scrapy框架spider[Request和Response]模块的使用
Python爬虫5.3 — scrapy框架spider[Request和Response]模块的使用综述Request对象scrapy.Request()函数讲解:Response对象发送POST请求模拟登陆模拟登陆人人网其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3.7.4...原创 2019-12-30 08:28:41 · 1918 阅读 · 0 评论 -
Python爬虫5.2 — scrapy框架pipeline模块的使用
Python爬虫5.2 — scrapy框架pipeline模块的使用综述pipeline核心方法process_item(item, spider)close_spider(spider)close_spider(spider)from_crawler(cls, crawler)使用pipeline一个spider多个item类型结构情况多个spider情况使用多个items进行区分其他博文链接...原创 2019-12-19 15:50:10 · 3426 阅读 · 2 评论 -
Python爬虫5.1 — scrapy框架简单入门
Python爬虫5.1 — scrapy框架简单入门综述Scrapy 框架Scrapy 框架介绍Scrapy 架构图Scrapy 框架模块功能Scrapy 执行流程Scrapy 安装和文档Scrapy 快速入门创建项目创建爬虫目录介绍使用Scrapy框架爬取糗事百科使用命令创建糗百爬虫爬虫代码解析运行爬虫糗事百科Scrapy爬虫笔记优化实例爬虫数据存储(Scrapy导出器)JsonItemExpo...原创 2019-12-06 15:18:00 · 3102 阅读 · 0 评论 -
Python爬虫4.5 — tesseract(图片验证码识别)用法教程
Python爬虫4.5 — tesseract[图片验证码识别]用法教程综述Tesseract介绍安装Windows系统:Linux系统Mac系统设置环境变量简单使用在命令行中使用tesseract识别图像代码中使用tesseract识别图像其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python...原创 2019-11-20 08:54:57 · 2450 阅读 · 0 评论 -
Python爬虫4.4 — selenium高级用法教程
Python爬虫4.4 — selenium高级用法教程综述Headless Chrome设置请求头设置代理IP常用启动项参数options设置Cookie操作selenium设置cookie行为链常用的行为链操作方法(ActionChains类方法)页面等待1. 隐式等待2. 显示等待expected_conditions类中其他方法切换页面其他博文链接综述本系列文档用于对Python爬虫技...原创 2019-11-04 09:16:52 · 4894 阅读 · 3 评论 -
Python爬虫4.3 — selenium基础用法教程
Python爬虫4.3 — selenium基础用法教程综述Selenium + ChromedriverSelenium 介绍Chromedriver 介绍其他浏览器的driver安装Selenium+chromedriver简单使用获取百度首页Selenium常用操作关闭页面定位元素操作表单元素获取截屏获取窗口信息执行JS代码其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简...原创 2019-10-24 09:44:15 · 3965 阅读 · 2 评论 -
Python爬虫4.2 — ajax(动态网页数据抓取)用法教程
Python爬虫4.2 — ajax[动态网页数据]用法教程综述AJAX 介绍什么是AJAX实例说明请求分析获取方式实例说明其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3.7.4有时候我们在用requests抓取页面的时候,得到的结果可能和在浏览器中看到的不一样。在浏览器中可...原创 2019-10-18 10:22:16 · 9108 阅读 · 5 评论 -
Python爬虫4.1 — threading(多线程)用法教程
Python爬虫4.1 — threading[多线程]用法教程综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3.7.4前面的文章记录了网络请求(urllib,requests)、数据提取(beautiful,xpath,正则)、数据存储(json,csv)的学习,下面进行...原创 2019-10-12 10:54:43 · 7046 阅读 · 10 评论 -
Python笔记1:Python环境的搭建
今天起开始Python的学习。学习一种语言之前必须要先搭建好此语言的开发环境,Windows环境下的搭建方法比较简单,直接在Python官网进行下载,然后选择自己需要的版本进行安装即可,这个教程比较多,唯一需要注意的是在安装过程中把选择pip安装到Path一定要选择上,不然还有单独进行配置。Linux中已经自带了Python2和Python3,我们不再需要再安装,只安装一个必要的工具即可。本篇博文原创 2017-11-18 15:10:05 · 314 阅读 · 0 评论 -
Python笔记2:Ubuntu下安装MySQL及MySQL终端操作命令
Ubuntu上安装MySQL非常简单只需要几条命令就可以完成。1. sudo apt-get install mysql-server2. apt-get isntall mysql-client3. sudo apt-get install libmysqlclient-dev 安装过程中会提示设置密码什么的,注意设置了不要忘了,安装完成之后可以使用如下命令来检查是原创 2017-11-25 10:10:11 · 744 阅读 · 0 评论 -
Python2与Python3的区别总结
Python的3.0版本相对于Python的早期版本,这是一个较大的升级。为了不带入过多的累赘,Python 3.0在设计的时候没有考虑向下相容。许多针对早期Python版本设计的程式都无法在Python 3.0上正常执行。为了照顾现有程式,Python 2.6作为一个过渡版本,基本使用了Python 2.x的语法和库,同时考虑了向Python 3.0的迁移,允许使用部分Python 3.0的原创 2018-03-22 14:37:51 · 939 阅读 · 0 评论 -
如何更好的设计MySQL数据库(MySQL 数据库设计原则)
简述 在我们项目开发中,数据库的设计可以说是非常重要,我遇到过很多数据库设计比较杂乱的项目,像表名、字段名命名混乱、字段类型设计混乱等待。写本篇博文的目的就是总结一下设计MySQL 数据库原则,有一个小小的规范会使得我们的项目更加强壮。设计原则1. 命名规则 数据库的的名字一般都是很随意,最好和我们的项目业务一致,这样比较好进行区分;数据表的命名应尽可能...原创 2018-07-04 10:31:20 · 3238 阅读 · 0 评论 -
Python爬虫1.1 — urllib基础用法教程
Python爬虫 — urllib基础用法教程综述urllib库介绍urllib.request 介绍urlopen()urlretrleve()urllib.parse 介绍urlencode()parse_s()urlparse()urlsplit()urljoin()urllib.error 介绍综述本系列文档用于对Python爬虫技术进行简单的讲解记录,巩固自己技术知识的同时,万一一不...原创 2019-08-03 17:02:54 · 2401 阅读 · 0 评论 -
Python爬虫1.2 — urllib高级用法教程
Python爬虫 — urllib高级用法教程综述设置请求头(urllib.request.Request)使用代理(urllib.request.ProxyHandle)Cookie(urllib.request.HTTPCookieProcessor)其他博文链接综述本系列文档用于对Python爬虫技术进行简单的讲解记录,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Py...原创 2019-08-05 08:45:25 · 1732 阅读 · 1 评论 -
Python爬虫1.3 — requests基础用法教程
Python爬虫 — requests基础用法教程综述requests库介绍requests的安装和文档地址发送get请求发送post请求requests异常处理response的一些属性response.text和response.content的区别其他博文链接综述本系列文档用于对Python爬虫技术的学习进行记录总结。Python 版本是3.7.4前面我们记述了urllib库的一些用...原创 2019-08-11 17:55:40 · 1801 阅读 · 0 评论 -
Python爬虫1.4 — requests高级用法教程
Python爬虫1.4 — requests高级用法教程综述设置请求头(headers)设置代理服务器IP(proxy)Cookies(Session)requests.Session()处理不信任的SSL证书其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3.7.4在上篇文章记...原创 2019-08-17 12:01:09 · 3172 阅读 · 0 评论 -
Python爬虫2.1 — BeautifulSoup用法教程
Python爬虫2.1 — BeautifulSoup用法教程综述BeautifulSoup 介绍解析器几大解析工具的对比使用方法节点选择器选择元素提取信息嵌套选择关联选择方法选择器find_all()find()CSS选择器总结其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3....原创 2019-09-02 09:51:25 · 3275 阅读 · 1 评论 -
Python爬虫2.2 — xpath用法教程
Python爬虫2.2 — xpath用法教程综述XPath 介绍什么是XPathXPath 路径表达式XPath 标准函数XPath 开发工具XPath 语法XML 实例文档选取节点谓语选取未知节点选取若干路径需要注意的XPath 实例lxml 库使用lxml解析HTML代码在lxml中使用XPath语法其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技...原创 2019-09-10 09:24:29 · 2358 阅读 · 0 评论 -
Python爬虫3.1 — json用法教程
Python爬虫3.1 — json用法教程综述json 介绍什么是jsonjson支持数据格式json库的使用json.dumps()json.loads()json.dump()json.load()其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3.7.4前面的几篇文章讲述...原创 2019-09-11 08:42:51 · 2968 阅读 · 1 评论 -
Python爬虫3.2 — csv用法教程
Python爬虫3.2 — csv用法教程综述csv 介绍什么是csvcsv库的使用`reader()`读操作`DictReader()`读操作`writer()`写操作`DictWriter()`写操作总结其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3.7.4上一篇文章讲了...原创 2019-09-29 10:10:40 · 3848 阅读 · 0 评论 -
Python爬虫3.3 — txt用法教程
Python爬虫3.3 — txt用法教程综述txt 介绍示例代码文件打开方式with ** as **其他博文链接综述本系列文档用于对Python爬虫技术的学习进行简单的教程讲解,巩固自己技术知识的同时,万一一不小心又正好对你有用那就更好了。Python 版本是3.7.4前面两篇记述了如何使用json、csv进行数据存储,本篇记述和使用txt存储数据。txt 介绍将数据保存到txt文...原创 2019-10-08 08:38:45 · 2729 阅读 · 0 评论 -
Python实现连接操作MySql数据库
在本文中介绍 Python3 使用PyMySQL连接数据库,并实现简单的增删改查。(注意是python3)1、安装PyMySQL PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库,Python2中则使用mysqldb。PyMySQL 遵循 Python 数据库 API v2.0 规范,并包含了 pure-Python MyS原创 2017-01-10 14:51:53 · 34047 阅读 · 8 评论