zhi_neng-CSDN博客

原创 python3数据库MongoDB的全面安装教程

MongoDB 是由C++语言编写的非关系型数据库，是一个基于分布式文件存储的开源数据库系统其内容存储形式类似 JSON 对象，它的字段值可以包含其他文档、数组及文档数组，非常灵活。 MongoDB支持多种平台，包括 Windows、Linux、Mac OS、Solaris 等，在其官方网站( htps://www mongodb.com/download-center)均可找到对应的安装包。1.相关链接官方网站:https://www.mongodb.com官方文档:https://docs

2021-07-12 22:36:07 680 1

原创 python3数据库MySQL三大平台的安装教程

作为数据存储的重要部分，数据库同样是必不可少的，数据库可以分为关系型数据库和非关系型数据库。关系型数据库如SQLite、MySQl、Qracle、SQLServer、DB2等，其数据库是以表的形式存储；非关系型数据库如MongoDB、Redis，它们的存储形式是键值对，存储形式更加灵活。今天我们来介绍一下，MySQL关系型数据库的安装教程。MySQL的安装MySQL是一个轻量级的关系型数据库，我们来了解下它的安装方式。1.相关链接官方网站:https://www.mysql.com/cn下.

2021-07-12 21:57:24 287 1

原创最全面的python3请求库pyquery的安装教程

前面我们已经讲过了lxml和beautifulsoup请求库的安装过程，今天来讲一下pyquery请求库，pyquery同样是一个强大的网页解析工具，它提供了和jQuery类似的语法来解析HTML文档，支持 CSS 选择器，使用非常方便。本节中，我们就来了解一下它的安装方式。1.相关链接GitHub: https://github.com/gawel/pyqueryPyPI: https://pypi.python.org/pypi/pyquery官方文档:http://pyquery.r.

2021-07-08 17:07:40 4023 1

原创 python3解析库Beautiful Soup的安装教程详解

Beautiful Soup是Python的一个 HTML或 XML 的解析库，我们可以用它来方便地从网页中提取数据。它拥有强大的API和多样的解析方式，本节就来了解下它的安装方式。1.相关链接官方文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc中文文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zhPyPI:https://pypi.python.org/pyp

2021-07-08 16:48:20 1769 1

转载 python3请求库aiohttp的使用安装教程

aiohttp 就是这样一个提供异步 Web服务的库,从Python3.5版本开始,Python中加入async/await关键字，使得回调的写法更加直观和人性化。aiohttp 的异步操作借助于 async/await 关键字的写法变得更加简洁，架构更加清晰。而前面介绍的request库是一个阻塞式 HTTP 请求库，当我们发出一个请求后，程序会一直等待服务器响应，直到得到响应后，程序才会进行下一步处理。其实，这个过程比较耗费时间。如果程序可以在这个等待过程中做一些其他的事情，如进行请求的调度、响..

2021-07-08 16:38:01 1589

原创 python3解析库lxml的windows/Linux/Mac三大平台安装教程

抓取网页代码之后，下一步就是从网页中提取信息。提取信息的方式有多种多样，可以使用正则来提取，但是写起来相对比较烦琐。这里还有许多强大的解析库，如Ixml、Beautiful Soup、pyquery等。此外，还提供了非常强大的解析方法，如 XPath 解析和 CSS 选择器解析等，利用它们，我们可以高效便捷地从网页中提取有效信息。本文中，我们就来介绍一下这些库的安装过程。一.lxml 的安装lxml 是 Python 的一个解析库，支持 HTML 和 XML 的解析，支持 XPath 解析方式，而且.

2021-07-08 16:33:58 2126 1

原创 python动态渲染页面爬取Selenium的具体使用（二）

上文我们讲了六个方面，下面我们继续介绍Selenium的使用方法。在上面的实例中，一些交互动作嗾使针对某个节点执行的。比如，对于输入框，我们就调用它的输入文字和清空文字方法；对于按钮，就调用它的点击方法。其实，还有一些另外的操作可以使用，具体下面讲解。7.动作链动作链就是一些没有特定执行对象，这些动作作用需要用另一种方式来执行，比如：鼠标拖拽、键盘按键等。我们现在要实现一个节点的拖拽操作，将某一个节点从一处拖拽到另外一边，可以这样实现：from selenium import webdri

2021-07-04 21:07:39 415

原创 python动态渲染页面爬取Selenium的具体使用（一）

Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。对于一些JavaScript动态渲染的页面来说，此种抓取方式非常有效。本文就让我们一起来学习一下它的强大之处吧。1.准备工作我们用Chrome为例来学习Selenium的用法。在开始之前，请确保已经正确安装了Chrome浏览器并配置好了ChromeDriver。另外还需要正确安装Python的Selenium库，详细的安装教程大家可以看我之前写

2021-06-30 22:01:15 735 2

原创 Python自动化办公批量将文字写入Word文件中的具体操作

Python自动化办公，准备将文字内容批量的写入Word文件中，相信人多的小伙伴都想学习一下，毕竟学习好了，我们以后处理Word文档更加的方便快捷，提高了我们的工作效率。本文就来讲讲如何实现批量处理Word文件。1.项目目标我们需要调整员工的工资，批量修改员工的工资，并生成Word文档，方便后面邮件发给每一个员工。2.准备工作我们需要用到一个库python-docx,安装的方法也比较简单，直接pip install python-docx即可。说明文档：https://pytho

2021-06-27 14:41:41 1619

原创 Python3中Scrapy爬虫框架Spider的用法

在Scrapy中，要抓取网站的链接配置、抓取逻辑、解析逻辑里其实都是在Spider中配置的。本文了解一下Spider的基本用法。1.Spider运行流程在实现Scrapy爬虫项目时，最核心的类便是Spider类了，它定义了如何抓取某个的流程和方式。简单来讲，Spider要做的事就是如下两件：定义抓取网站的动作；分析爬取下来的网页。对于Spider类来说，整个爬取循环过程如下所述。以初始的URL初始化Request，并设置回调函数。当该Request成功请求并返回时，Respon.

2021-06-24 20:39:09 618

原创 python3无界面浏览PhantomJS的安装教程

PhantomJS 是一个无界面的、可脚本编程的 WebKit 浏览器引擎,它原生支持多种 Web 标准: DOM操作、CSS选择器、JSON、Canvas 以及SVG。Selenium 支持 Phantom/S，这样在运行的时候就不会再弹出一个浏览器了。而且PhantomJS 的运行效率也很高，还支持各种参数配置，使用非常方便。下面我们就来了解一下 PhantomJS 的安装过程。1.相关链接官方网站: http:/phantomjs.org官方文档:http:/phantomjs.o..

2021-06-22 17:00:07 554

原创 Python3安装教程之ChromeDriver的安装

前面我们成功安装好了 Selenium库，但是它是一个自动化测试工具，需要浏览器来配合使用，本节中我们就介绍一下 Chrome 浏览器及 ChromeDriver驱动的配置。首先，下载 Chrome浏览器，方法有很多，在此不再赘述。随后安装ChromeDriver。因为只有安装 ChromeDriver,才能驱动 Chrome 浏览器完成相应的操作。下面我们来介绍下怎样安装ChromeDriver。1.相关链接官方网站:https://sites.google.com/a/chromium.or

2021-06-21 23:25:08 1563 1

原创 Scrapy爬虫框架中Selector的具体用法介绍

之前介绍了利用BeautifulSoup、pyquery以及正则表达式来提取网页数据，这确实非常方便。而Scrapy本身提供了自己的数据提取方法，即Selector（选择器）。

2021-06-21 17:08:23 1477

原创用python编程实例解析凯撒密码的具体应用

凯撒密码是古罗马凯撒大帝用来对及时情报进行加密的算法，它采用了替换方法将信息中的每一个英文字符循环替换为字母表序列中该字符后面的第三个字符，即循环左移3位。凯撒密码包括加密部分和解密部分...

2021-06-19 15:42:23 6605

原创用一个非常简单的项目来了解Scrapy完成一遍抓取流程

本文将通过介绍一个简单的项目，完成一遍Scrapy抓取的流程。通过这个过程，我们可以对Scrapy的基本用法和原理有一个大致的了解，方便以后的使用。1.

2021-06-13 14:38:31 296

翻译爬虫框架Scrapy框架的介绍一看就明白

Scrapy功能非常强大，爬取效率高，相关扩展组件多，可配置和可扩展晨读非常高，它几乎可以应对所有反爬网站，是目前Python中使用最广泛的爬虫框架。Scrapy是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，可以灵活完成各种需求。我们只需要定制开发几个模块就可以轻松实现一个爬虫。1.架构介绍我们先了解一下Scrapy框架的机构，如下图所示它可以分为如下的几个部分：Engine：引擎，处理整个系统的数据流处理、.

2021-06-10 21:50:17 709

原创 python教程之CSV文件数据存储的处理操作

本形式存储表格数据。该文件是一个字符序列，可以由任意数目的记录组成，记录间以某种换行符分文本是电子表格，它包含了文本、数值、公式和格式等内容，而CSV 中不包含这些内容，就是特定 csv，全称为Comma-Separated Valus，中文可以叫作逗号分隔值或字符分隔值，其文件以纯文隔。每条记录由字段组成，字段间的分隔符是其他字符或字符串，最常见的是逗号或制表符。不过所有记录都有完全相同的字段序列，相当于一个结构化表的纯文本形式。它比 Excel 文件更加简洁，XLS...

2021-06-10 17:11:18 1951

原创 python教程之JSON文件数据存储的处理操作

JSON，全称为 JavaScript Object Notation, 也就是 JavaSeript 对象标记，它通过对象和数组的组合装示数据，构造简洁但是结构化程度非常高，是一种轻量级的数据交换格式。本文中，我们就来了解如何利用 Python 保存数据到 JSON 文件。1.对象和数组在JavaScript语言中，一切都是对象。因此，任何支持的类型都可以通过JSON来表示，例如字符串、数字、对象、数组等，但是对象和数组是比较特殊且常用的两种类型，下面简要介绍一下它们。...

2021-06-09 23:46:55 701 1

原创 python教程之TXT文本数据存储的处理操作

将数据保存到TXT文本的操作非常简单，而且TXT文本几乎兼容任何平台，但是有一个缺点，就是不利于检索。所以如果对检索和数据结构要求不高，追求方便的话，可以采用TXT文本存储。本文中，我们就来...

2021-06-09 22:32:45 1318 3

原创 Python3请求库Selenium的安装教程

Selenium是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些JavaScript渲染的页面来说，这种抓取方式非常有效。下面我们来看看 Selenium的安装过程。1.相关链接口官方网站:http://www.seleniumhq.org口GitHub: https://github.com/SeleniumHQ/selenium/tree/master/py PyPI: https://pypi.python.org/pypi/selenium口官方文档

2021-06-09 21:11:18 819 3

zhi_neng的博客