技术
文章平均质量分 54
浩哥爱吃肉
这个作者很懒,什么都没留下…
展开
-
SQLAlchemy链接池的使用
ORM链接池的使用原创 2023-03-08 16:43:48 · 2273 阅读 · 0 评论 -
Python处理图片水印(亲测有效)
去除水印原创 2023-03-06 10:36:54 · 649 阅读 · 1 评论 -
主流数据库对比/sql引擎/Mysql性能优化
主流数据库对比原创 2023-03-03 10:27:24 · 788 阅读 · 0 评论 -
常见数据结构及算法
常见数据结构和算法学习原创 2023-03-03 10:11:11 · 3675 阅读 · 0 评论 -
死锁/资源分配/银行家算法
系统资源分配原创 2023-03-01 11:53:48 · 458 阅读 · 0 评论 -
函数传递/字典推导式/切面编程AOP/鸭子类型/函数重载
Python原创 2023-02-28 18:06:46 · 266 阅读 · 0 评论 -
DRF之实战总结
Django REST framework原创 2023-02-14 14:57:43 · 689 阅读 · 0 评论 -
Python生命周期及内存管理
内存管理原创 2023-02-13 17:52:06 · 1205 阅读 · 0 评论 -
数据脱敏处理
敏感数据处理原创 2023-02-08 15:08:41 · 1463 阅读 · 0 评论 -
自定义异常捕获(flask为例)
捕获异常原创 2023-02-08 15:05:35 · 389 阅读 · 0 评论 -
mongo数据库安装(centerOs)
安装文档原创 2023-02-01 15:27:41 · 253 阅读 · 0 评论 -
flask_socketio实现socket通信
实时后端推送消息原创 2022-10-19 17:04:49 · 772 阅读 · 0 评论 -
轻量级ORM用法之peewee(更具表现力)
基础操作原创 2022-10-17 15:58:29 · 161 阅读 · 0 评论 -
jenkins部署-linux为例
jenkins傻瓜部署原创 2022-06-29 14:12:21 · 324 阅读 · 0 评论 -
flask-restful入门到进阶(一)之迁移数据库
一、安装 pip install flask-migrate二、配置from flask_migrate import Migrate, MigrateCommandmigrate = Migrate(app, db)manager.add_command('db', MigrateCommand)三、创建迁移仓库python manage.py db init四、创建迁移脚本python manage.py db migrate -m "initial m...原创 2021-04-19 14:30:54 · 195 阅读 · 0 评论 -
tenacity重试机制
一、导入包from tenacity import retry, stop_after_attempt , stop_after_delay二、参数设置,代码如下"""指定触发重试条件@ retry(retry = retry_if_exception_type(IOError))stop 多个条件@retry(stop=stop_after_attempt(3) | stop_after_delay(1))在程序重试前设置随机等待时间@retry(wait = wait_r原创 2021-04-09 10:16:29 · 328 阅读 · 0 评论 -
Linux常用命令及vim常用命令
一、Linux命令Linux:ls 命令 ls 列出所有文件 ll == ls -ll ls -lh 列出所有文件详情二、Linux----vim命令基本上 vi/vim 共分为三种模式,分别是命令模式(Command mode),输入模式(Insert mode)和底线命令模式(Last line mode)1、简单描述三者之间转换2、常用vim命令行命令Linux:vim 命令模式 1、----》 编辑模式 i..原创 2021-03-24 16:33:15 · 539 阅读 · 2 评论 -
sqlalchemy文档--查询-定义表
一、添加对象 1、ed_user = User(name='ed', fullname='Ed Jones', password='edspassword')session.add(ed_user)session.commit()2、回滚session.rollback() 二、查询1、查询query.filter(User.name == 'ed') #equalsquery.filter(User.name != 'ed') #not equalsquery.filte原创 2021-03-08 18:04:47 · 774 阅读 · 1 评论 -
flask-restful入门到进阶(一)之目录结构
项目立项原创 2021-03-05 10:10:02 · 624 阅读 · 1 评论 -
mysql连接丢失、删除重复数据,死锁处理
一、MySql连接长时间未操作,连接丢失 def test_conn(self): try: self.conn.ping() except: self.conn = pymysql.connect(host=self.host, port=self.port, user=self.user, password=self.password, db原创 2021-01-08 18:57:40 · 273 阅读 · 2 评论 -
es+ Kibana集群搭建
一、安装1.8以上的jdk二、安装5.0的elasticsearch三、安装5.0的Kibana四、集群的配置原创 2020-11-19 11:06:48 · 1125 阅读 · 1 评论 -
redis作为MQ发布订阅
一、Redis 发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息。Redis 客户端可以订阅任意数量的频道。下图展示了频道 channel1 , 以及订阅这个频道的三个客户端 —— client2 、 client5 和 client1 之间的关系:二、当有新消息通过 PUBLISH 命令发送给频道 channel1 时, 这个消息就会被发送给订阅它的三个客户端:一、redis客户端接收消息import redisrc = re原创 2020-08-17 18:26:23 · 242 阅读 · 0 评论 -
scrapy custom_settings
单独爬虫配置custom_settings = { 'SOME_SETTING': 'some value', }不同爬虫pipeline设置custom_settings = { 'ITEM_PIPELINES': { 'video.pipelines.VideoPipeline': 301, }}cookie设置custom_settings = { 'COOKIES_ENABLED':True, # 在.原创 2020-06-15 12:03:13 · 2187 阅读 · 0 评论 -
python redis
redis 数据结构redis是key-value的数据结构,每条数据都是⼀个键值对 键的类型是字符串 注意:键不能重复 值的类型分为五种字符串string哈希hash列表list集合set有序集合zsetstr字符串类型是Redis中最为基础的数据存储类型,它在Redis中是二进制安全的,这便意味着该类型可以接受任何格式的数据,如JPEG图像数据或Json对象描述信息等。在Redis中字符串类型的Value最多可以容纳的数据长度是512M。str 类型设..原创 2020-06-09 15:38:09 · 171 阅读 · 0 评论 -
red hat 安装redis
源码下载 从官网下载http://download.redis.io/releases/redis-3.0.0.tar.gz 将redis-3.0.0.tar.gz拷贝到/usr/local下解压源码 1 tar -zxvf redis-3.0.0.tar.gz 进入解压后的目录进行编译 1 2 cd /usr/local/redis-3.0.0 make .........原创 2020-05-29 17:14:10 · 710 阅读 · 0 评论 -
Python操作xls表格
一、以创建表和追加数据import xlrdimport xlwtfrom xlutils.copy import copydef write_excel_xls(path, sheet_name, value): index = len(value) # 获取需要写入数据的行数 workbook = xlwt.Workbook() # 新建一个工作簿 sheet = workbook.add_sheet(sheet_name) # 在工作簿中新建一个表格原创 2020-05-25 13:36:36 · 335 阅读 · 0 评论 -
安装Python3环境和pip3
weget 下载指定的Python版本wegethttps://www.python.org/ftp/python/3.6.8原创 2020-05-23 19:30:55 · 1728 阅读 · 0 评论 -
B站视频弹幕
import requests# import jieba# import pandas# import matplotlib.pyplot as plt# from wordcloud import WordCloud, ImageColorGeneratorfrom bs4 import BeautifulSoup# def jieba_cut(sentence):# # seg = jieba.cut(sentence)# segList = []# f.原创 2020-05-20 22:45:34 · 538 阅读 · 0 评论 -
windows环境下配置mitmproxy
一、安装 pip install mitmproxy二、查看版本号完成后,系统将拥有mitmproxy、mitmdump、mitmweb三个命令,由于mitmproxy命令不支持在 windows 系统中运行(这没关系,不用担心),我们可以拿mitmdump测试一下安装是否成功,执行:mitmdump --versionMitmproxy: 4.0.1Python: ...原创 2020-04-12 23:07:18 · 1103 阅读 · 0 评论 -
Python迭代器、生成器、装饰器理解
一、迭代器# coding=utf-8"""迭代器迭代器是一个可以记住遍历的位置的对象 单向遍历迭代器有两个基本的方法:iter() 和 next()迭代器遍历可以用for循环也可用next()"""li = [1,2,3,4]it = iter(li) # 创建迭代器对象print(next(it)) # 输出迭代器的下一个元素"""创建类迭代器把一个类作为一...原创 2020-03-29 17:12:57 · 198 阅读 · 0 评论 -
强大的Pyquery
PyQuery库也是一个非常强大又灵活的网页解析库,如果你有前端开发经验的,都应该接触过jQuery,那么PyQuery就是你非常绝佳的选择,PyQuery 是 Python 仿照 jQuery 的严格实现。语法与 jQuery 几乎完全相同,所以不用再去费心去记一些奇怪的方法了。官网地址:http://pyquery.readthedocs.io/en/latest/jQuery参考文档: ...原创 2018-12-07 15:27:52 · 161 阅读 · 0 评论 -
MySql --sqlalchemy---mongo示例用法
from sqlalchemy.ext.declarative import declarative_basefrom sqlalchemy import Column, Integer, String, UniqueConstraint, Index, BigInteger, Date, Text, not_from sqlalchemy.orm import sessionmakerf...原创 2019-02-12 16:45:06 · 928 阅读 · 0 评论 -
Pyspider脚本编写
基本脚本import sysreload(sys)sys.setdefaultencoding('utf8') import copyimport jsonimport time,datetimeimport refrom pyspider.libs.base_handler import *from pyquery import PyQuery as pqresult...原创 2019-02-12 16:54:59 · 452 阅读 · 0 评论 -
各种时间总和处理方式
python datetime获取几分钟、小时、天之前的时间 1 2 3 4 5 6 importdatetime print((datetime.datetime.now()-datetime.timedelta(days=1)).strftime("%Y-%m-%d %H:%M")) print((d...原创 2018-11-22 09:56:21 · 393 阅读 · 0 评论 -
pyspider的基本用法及原理
Python爬虫-pyspider框架的使用 2012061822064864.pngpyspider 是一个用python实现的功能强大的网络爬虫系统,能在浏览器界面上进行脚本的编写,功能的调度和爬取结果的实时查看,后端使用常用的数据库进行爬取结果的存储,还能定时设置任务与任务优先级等。本篇文章只是对这个框架使用的大体介绍,更多详细信息可见官方文档。<h3>安...原创 2018-11-13 17:13:15 · 923 阅读 · 0 评论 -
pyspider_ API接口用法
self.crawl 2016-09-05 15:00:31 manbuheiniu 27405 最后编辑:manbuheiniu 于 2016-09-05 16:13:49self.crawl(url, **kwargs)self.crawl在pyspider 系统中是非常重要的接口,它的功能是告诉pyspider哪些URL需要抓取.参数:url...转载 2018-10-26 17:25:49 · 573 阅读 · 0 评论 -
logging
Python中的logger和handler到底是个什么鬼最近的任务经常涉及到日志的记录,特意去又学了一遍logging的记录方法。跟java一样,python的日志记录也是比较繁琐的一件事,在写一条记录之前,要写好多东西。典型的日志记录的步骤是这样的:创建logger创建handler定义formatter给handler添加formatter给logger添加handler写成代...原创 2018-09-26 16:39:17 · 147 阅读 · 0 评论 -
Python-logging
基本用法下面的代码展示了logging最基本的用法。基本用法格式化输出记录异常信息当你使用logging模块记录异常信息时,不需要传入该异常对象,只要你直接调用logger.error() 或者 logger.exception()就可以将当前异常记录下来。记录异常信息logging配置要点GetLogger()方法这是最基本的入口,该方法参数可以为空,默认的logger名称是r...原创 2018-09-26 15:39:54 · 1232 阅读 · 0 评论 -
python-类-对象-属性-方法
类属性和实例属性实例方法(对象方法):# 如果想在方法中直接使用self 就使用实例方法def 方法名(self):代码逻辑执行实例方法: 对象名.方法名()类方法# 如果想在方法中直接使用cls 就使用类方法@classmethoddef 方法名(cls):代码逻辑执行类方法: 类对象(类名).方法名 或者 对象名(实例对象).方法名静态方法# 如果不使用self 也不...原创 2018-09-24 15:41:47 · 167 阅读 · 0 评论 -
Python random模块
(一)Python标准库中的random函数,可以生成随机浮点数、整数、字符串,甚至帮助你随机选择列表序列中的一个元素,打乱一组数据等。(二)1 )、random() 返回0<=n<1之间的随机实数n;2 )、choice(seq) 从序列seq中返回随机的元素;3 )、getrandbits(n) 以长整型形式返回n个随机位;4 )、shuffle(seq[, random...原创 2018-09-24 14:57:49 · 160 阅读 · 0 评论