钟健的博客

使用兼容的PyMongo版本：如果无法升级MongoDB服务器或降级PyMongo，可以尝试找到一个与MongoDB服务器版本兼容的PyMongo版本。这个错误表明使用的PyMongo版本与MongoDB服务器的Wire版本不兼容。降级PyMongo版本：如果不能升级MongoDB服务器，可以尝试降级PyMongo版本，以匹配MongoDB服务器版本。升级MongoDB服务器：将MongoDB服务器升级到PyMongo所需的版本，即MongoDB 3.6或更高版本。需要对账号和密码进行编码。

PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库 ， 遵循 Python 数据库 API v2.0 规范。

当需要中文时需要引入字体。#当x或y含有字符串。

python logging常见的日志使用功能。

python ffmpeg。

Blueprint 是一个存储操作方法的容器，这些操作在这个Blueprint 被注册到一个应用之后就可以被调用，Flask 可以通过Blueprint来组织URL以及处理请求。其本质上来说就是让程序更加松耦合，更加灵活，增加复用性，提高查错效率，降低出错概率。在具体项目开发过程中，不同蓝本分别对应不同的功能模块。

可以通过扩展为不同的操作设置自定义日志格式课程和制作指向你的新班级。classscrapy.logformatter.LogFormatter源代码用于为不同操作生成日志消息的类。所有方法都必须返回一个列出参数的字典levelmsg和args调用时将用于构造日志消息level是该操作的日志级别，可以使用和msg应该是可以包含不同格式占位符的字符串。此字符串，格式为args，将是该行动的长期信息。args应该是一个tuple或dict，其中的格式占位符为msg.最后的日志消息计算为msg % args。

下面是关于如何使用浏览器的开发人员工具来简化抓取过程的一般指南。现在几乎所有浏览器都内置了尽管我们将在本指南中使用firefox，但这些概念适用于任何其他浏览器。在本指南中，我们将介绍通过抓取从浏览器的开发人员工具中使用的基本工具。

部署蜘蛛以定期运行它们的不同选项。在您的本地机器中运行 Scrapy 蜘蛛对于（早期）开发阶段非常方便，但是当您需要执行长时间运行的蜘蛛或移动蜘蛛以在生产中连续运行时，就不那么方便了。这就是部署报废蜘蛛的解决方案。

telnet控制台只是一个运行在scrappy进程内部的常规python shell，因此您可以从中做任何事情。telnet控制台是一个 built-in Scrapy extension 它在默认情况下是启用的，但如果需要，您也可以禁用它。通过公共网络使用telnet控制台是不安全的，因为telnet不提供任何传输层安全性。用户名和密码仅提供有限的保护，因为telnet不使用安全传输-默认情况下，即使设置了用户名和密码，通信也不会加密。telnet控制台使用的密码，默认行为是让它自动生成。

【代码】selenium启动Chrome配置参数问题。

一个筛选器，用于查找重复项，并删除那些已经处理过的项。您在此设置中分配给类的整数值确定它们运行的顺序：项目从值较低的类转到值较高的类。通常将这些数字定义在0-1000范围内。要激活Item Pipeline组件，必须将其类添加到 ITEM_PIPELINES。

Spider Middleware是Scrapy的Spider处理机制的一个挂钩框架，您可以在其中插入自定义功能，以处理发送到Spider进行处理的响应以及处理从Spider生成的请求和项目。主要入口是类方法，该方法接收一个 实例。该 对象使您可以访问例如。定义：class:方法：process_spider_input(response, spider)**介绍：**对于通过爬虫中间件进入爬虫请求的每个响应都将调用此方法进行处理。**如果返回None：**则Scrapy将继续处理此响应，并执行所有其

NumPy创建数组一、常见创建numpy.emptynumpy.empty 方法用来创建一个指定形状（shape）、数据类型（dtype）且未初始化的数组：numpy.empty(shape, dtype = float, order = 'C')数组元素为随机值。numpy.zeros创建指定大小的数组，数组元素以 0 来填充：numpy.zeros(shape, dtype = float, order = 'C')numpy.ones创建指定形状的数组，数组元素以 1 来填充：

jupyter一、安装pip install jupyter二、启动jupyter notebook三、修改jupyter notebook --generate-config四、CentOS7服务安装# 安装jupyter成功 略# 创建配置文件jupyter notebook --generate-configvi /root/.jupyter/jupyter_notebook_config.py""" python 生成密码from notebook.auth imp

NumPy 数组属性一、重要 ndarray 对象属性属性说明ndarray.ndim秩，即轴的数量或维度的数量ndarray.shape数组的维度，对于矩阵，n 行 m 列ndarray.size数组元素的总个数，相当于 .shape 中 n*m 的值ndarray.dtypendarray 对象的元素类型ndarray.itemsizendarray 对象中每个元素的大小，以字节为单位ndarray.flagsndarray 对象的内存信

sqlalchemy简介： SQLAlchemy 是Python 社区最知名的 ORM 工具之一，为高效和高性能的数据库访问设计，实现了完整的企业级持久模型。**安装 **pip install sqlalchemy #直接cmd命令行安装配置文件一般搭配**flask**框架使用，sqlalchemy的配置一般从flask的config文件中加载config的配置：flask-sqlalchemy-config数据类型类型名MySQL类型python类型描述Sma

爬虫遇到js动态渲染问题时间：2020年6月3日10:28:48作者：钟健概要：关于scrapy爬虫应对网页JavaScript动态渲染问题关键字：scrapy crapy-splash一、传统爬虫的问题scrapy爬虫与传统爬虫一样，都是通过访问服务器端的网页，获取网页内容，最终都是通过对于网页内容的分析来获取数据，这样的弊端就在于他更适用于静态网页的爬取，而面对js渲染的动态网页就有点力不从心了，因为通过js渲染出来的动态网页的内容与网页文件内容是不一样的。1.实际案例腾讯招聘：ht

scrapy爬虫部部署服务器时间：2020年5月27日18:28:30作者：钟健记录：scrapy爬虫关键字：scrapy scrapyd scrapydweb一、scrapy爬虫部署服务器scrapy通过命令行运行一般只用于测试环境，而用于运用在生产环境则一般都部署在服务器中进行远程操作。scrapy部署服务器有一套完整的开源项目：scrapy+scrapyd(服务端)+scrapy-client(客户端)+scrapydweb1、scrapyd1.介绍Scrapyd是用于部署和运

scrapy中各文件作用一、目录[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mOoXwzmp-1647176996199)(images\20191205105124.png)]spider文件夹一般爬虫都放置在该文件夹中。items.py负责处理被spider提取出来的item，定义数据。pipelines.py通道文件， 当我们的items被返回的时候，会自动调用我们的pipelines类中process_item()（需要加到settings.p

scrapy打包无法运行解决方法建议采用脚本运行，下面是main.py参考文档：https://docs.scrapy.org/en/latest/topics/practices.html# 第一步：导入scrapy工具类from scrapy.crawler import CrawlerProcessfrom scrapy.utils.project import get_project_settingsimport scrapy.utils.miscimport scrapy.co

Ubuntu安装Python3（第0步）建议配置阿里镜像https://developer.aliyun.com/mirror/ubuntu一、安装相关依赖apt-get update && apt-get upgradeapt-get install -y build-essential checkinstall libreadline-gplv2-dev libncursesw5-dev libssl-dev libsqlite3-dev tk-dev libgdbm-dev l

scrapy框架-ItemPipeline调用时间： 当Item在Spider中被收集之后，它将会被传递到Item Pipeline，一些组件会按照一定的顺序执行对Item的处理。功能:清理HTML数据验证爬取的数据(检查item包含某些字段)查重(并丢弃)将爬取结果保存到数据库中一、一个自己的Pipeline类必须实现以下方法：process_item(self, item**,** spider**)**每个item pipeline组件都需要调用该方法，这个方法必须返回

scrapy框架-下载及处理文件和图片前言：scrapy提供下载item中包含的文件及图片， 提供了一个可重用的item pipelines， 这些pipeline有些共同的方法和结构(我们称之为media pipeline)。一般来说你会使用Files Pipeline或者 Images Pipeline。这两种pipeline都实现了以下特性:避免重新下载最近已经下载过的数据将所有下载的图片转换成通用的格式（JPG）和模式（RGB）缩略图生成检测图像的宽/高，确保它们满足最小

数据清洗-时间格式化1.字符串转时间from datetime import datetimet = '2020年11月11日15:04:41'time = datetime.strptime(t,'%Y年%m月%d日%H:%M:%S')print(time) # 结果：2020-11-11 15:04:41t1 = '2020-11-11 15:04:41'time1 = datetime.strptime(t1,'%Y-%m-%d %H:%M:%S')print(time1) #结果：

scrapy如何降低反爬风险1、设置时间间隔，降低爬取速度打开setting.py设置#减少请求并发数量CONCURRENT_REQUESTS = 4CONCURRENT_REQUESTS_PER_DOMAIN = 4CONCURRENT_REQUESTS_PER_IP = 4#设置请求间隔DOWNLOAD_DELAY = 12.设置随机请求头部middlewares.pyimport randomclass UserAgentDownloadMiddleWare(object

中国地图china.js一、简介中国地图china是基于echarts.js和china.js绘制图像。官方已不支持china.js下载china.js：https://static.delebug.com/echarts/china.js二、配置项// china.js的配置项与echarts基本图形配置项相通// 关于echarts基本图形配置参考：https://echarts.apache.org/v4/zh/option.html// 其中china地图主要配置不同处在seri

SQLAlchemy之Column常用参数一、常用参数primary_key：True 设置某个字段为主键。autoincrement：True 设置这个字段为自增长。default： 设置字段的默认值。nullable：指定某个字段是否为空。默认值是True，可以为空。unique：指定某个字段的值是否唯一，默认是False。onupdate：在数据更新的时候会调用这个参数指定的值或者函数。在第一次插入这条数据的时候，不会用onupdate的值，只会使用default

sqlalchemy简介： SQLAlchemy 是Python 社区最知名的 ORM 工具之一，为高效和高性能的数据库访问设计，实现了完整的企业级持久模型。**安装 **pip install sqlalchemy #直接cmd命令行安装配置文件一般搭配**flask**框架使用，sqlalchemy的配置一般从flask的config文件中加载config的配置：flask-sqlalchemy-config数据类型类型名MySQL类型python类型描述Sma

SQLAlchemy之Column常用参数一、常用参数primary_key：True 设置某个字段为主键。autoincrement：True 设置这个字段为自增长。default： 设置字段的默认值。nullable：指定某个字段是否为空。默认值是True，可以为空。unique：指定某个字段的值是否唯一，默认是False。onupdate：在数据更新的时候会调用这个参数指定的值或者函数。在第一次插入这条数据的时候，不会用onupdate的值，只会使用default

Flask-SQLAlchemy-config一、配置键SQLALCHEMY_DATABASE_URI# 连接数据的数据库SQLALCHEMY_DATABASE_URI='sqlite:////tmp/test.db'SQLALCHEMY_DATABASE_URI='mysql://username:password@server/db'#SQLAlchemy 把一个引擎的源表示为一个连同设定引擎选项的可选字符串参数的 URI。URI 的形式是:dialect+driver://userna

使用requests爬取豆瓣电影一、分析豆瓣电影信息https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0我们根据首页信信息获取链接然后，点击进入二级链接到了这个页面，我们就可以看到我们需要的信息了接着，我们回到上个网页，查看一下我们需要爬取多少电影信息，可是当我们点击加载更多的时候，页面没有跳转，

python3的安装及环境搭建Python3的安装官方链接： https://www.python.org/这里建议大家下载python3 Windows的可执行文件.exe,采用一键安装，既方便有速度快！*****下面这张图是python的安装程序打开的样子这时候程序会询问你安装的位置，第一个（Install Now）是系统默认安装，第二个是用户选择安装的位置，这里我们建议选择第二...

一个完整的flask项目框架一、项目布局：MVT开发模式M–model(模型)1.主要对于数据库层的封装，实现 数据模型与数据库的解耦 ，使得数据模型不在依赖特定的数据库，而只需要更改config就可以实现数据库的迁移。2.设计思路：对象-关系-映射（Object–relation-Mapping3.常采用sqlalchemy使数据查询更加简单。V–views(视图)作用：视...