Python
文章平均质量分 60
苍蓝儿
蓝天依旧,明眸如初
展开
-
Python - mmap 共享内存
在程序运行过程中,可能遇到需要进程间或不同平台的语言之间进行信息交互,存在硬盘是一种解决方案但是速度太慢。python的mmap库提供了共享内存的实践方案可以完成信息在内存间交互。简介共享内存内存共享是两个不同的进程共享内存的意思:同一块物理内存被映射到两个进程的各自的进程地址空间。这个物理内存已经被规定了大小(大小一定要比实际写入的东东大)以及名称。当需要写入时,找到内存名称,然后写入内存,等需要读取时候, 首先要知道你要读取多大(因为物理内存比你要读取的东东大,全部读取的话会读到一些“空”.原创 2022-02-03 21:15:04 · 4335 阅读 · 0 评论 -
调用 Mathpix AIP 实现每月1000次免费识别
Mathpix 是优秀的img2latax工具,对于普通用户来说每月有50-100次免费机会,对于需求量大的用户无法满足需求。有一种方法是调用Mathpix官方的API,每月1000次免费机会。概述Mathpix是一款跨平台(Windows、macOS、Linux)的 OCR 工具,它能够识别复杂的数学公式,并将其转换为 LaTeX 语法。LaTeX 是一个十分强大切流行的排版系统,除了能编写数学公式,还能非常完整的撰写学术论文,并且被国际各大机构接受,但一直以入门难著称。Mathpix 能.原创 2022-01-29 16:04:53 · 8169 阅读 · 4 评论 -
python PCV 库的安装与使用
python图像处理中会调用一些开源库,PCV是其中之一,由于该库比较古老,本文记录安装使用方法。下载https://github.com/jesolem/PCVhttps://codechina.csdn.net/mirrors/jesolem/pcv?utm_source=csdn_github_accelerator第二个是国内镜像,速度会快一些git clone到任意目录,或者直接下载zip文件.安装进入下载根目录运行命令:python setup.py inst.原创 2021-03-27 10:54:28 · 7014 阅读 · 1 评论 -
VS code 显示远程 Linux 图形界面
VS code 在远程登录服务器后无法直接像 pycharm 一样显示远程图像,对分析数据十分不便。本文记录vscode实现远程gui的方法。运行环境本地电脑系统:window10远程服务器系统:Ubuntu16.04基础工作由于直接用vscode尝试远程界面显示不易调试(不要问我怎么知道的),先实现脱离vscode,使用shell的远程显示shell的远程显示:Windows Xming +Xshell 实现远程 linux gui 界面本地展示接下来实现VScode远程调.原创 2021-03-27 10:50:17 · 4025 阅读 · 3 评论 -
Jupyter notebook 启动错误 “sys/un.h” No such file or directory
本文记录Jupyter notebook 启动错误 “sys/un.h” No such file or directory 的解决方案。错误复现在运行 jupyter notebook命令时,报错如下:> jupyter notebook_cffi_ext.cE:\ProgramData\Anaconda3\lib\site-packages\zmq\backend\cffi\__pycache__\_cffi_ext.c(213): fatal error C1083: 无法打.原创 2021-03-27 10:49:23 · 1838 阅读 · 0 评论 -
Python - 进度条神器 tqdm 用法
程序运行过程中进度条显示特别重要,Python中使用tqdm库作为进度条操作工具,本文简要介绍tqdm常用功能。背景tqdm源自阿拉伯语 taqaddum,意思是进程( “progress”);也是西班牙语中 “I love you so much” (te quiero demasiado)的缩写(这个是碰了巧了)该模块的作用就是通过装饰tqdm(iterable)任何可迭代的对象,使代码中的循环(loop)在运行过程中为用户展示进度条。盗了官网的图直观展示一下效果准备工作引入.原创 2021-02-08 10:49:09 · 1999 阅读 · 3 评论 -
VS code 停用 justMyCode 调试库代码
VS code 调试时默认启用 justMyCode 配置,使得库代码无法调试,本文记录停用该选项调试一切代码的方法。修改 launch.json新建 launch.json 文件,在配置configurations中加入 "justMyCode": false,一行:{ // 使用 IntelliSense 了解相关属性。 // 悬停以查看现有属性的描述。 // 欲了解更多信息,请访问: https://go.microsoft.com/fwlink/?linkid.原创 2021-02-08 10:47:23 · 10261 阅读 · 3 评论 -
Python ImportError libGL.so.1 cannot open shared object file No such file or directory 解决方案
刚装的 linux 环境中使用 python 导入包时可能会报 libGL.so.1: cannot open shared object file 的错误,本文记录解决方案。问题复现我是在导入 opencv 包时遇到的错误:>>> import cv2Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/root/anaconda3/env.原创 2020-12-04 15:24:29 · 14031 阅读 · 0 评论 -
Python - Matplotlib 关于 agg 相关错误的解决方法
Python使用matplotlib时有时会报出和 agg相关的错误,本文记录两种常见错误的解决方案。问题1UserWarning: Matplotlib is currently using agg, which is a non-GUI backendagg是一个没有图形显示界面的终端,常用的有图形界面显示的终端有TkAgg等,将终端更换一下就好了。import matplotlib matplotlib.use('TkAgg')问题2TclError: no display n.原创 2020-11-20 22:28:10 · 3344 阅读 · 0 评论 -
python 使用 pynvml 工具获取GPU工作状态
深度学习过程中经常需要和GPU打交道,需要在训练之前确定GPU工作状态。本文介绍python中的pynvml包的使用方法,用来获取上述信息。安装直接通过pip安装:pip install nvidia-ml-py或者根据所使用的python版本安装对应包:pip install nvidia-ml-py2 # python2pip install nvidia-ml-py3 # python3使用方法# 导入包import pynvml # 每MB包含的字节数NUM.原创 2020-11-06 20:33:20 · 1674 阅读 · 0 评论 -
解决 pynvml 报错 NVML Shared Library Not Found / WinError 126
pynvml包直接在Windows系统上安装可能会报出模块找不到的错误,本文记录解决方法。问题复现在Windows中调用 pynvml.nvmlInit()时出错:错误信息: File "E:\Program_Files\Annoconda\lib\site-packages\pynvml\nvml.py", line 731, in _load_nvml_library nvml_lib = CDLL(os.path.join(os.getenv("ProgramFiles".原创 2020-11-06 20:32:44 · 9998 阅读 · 4 评论 -
Python - 将matplotlib图像转换为numpy.array 或 PIL.Image
matplotlib是python图像处理中让人又爱又恨的库。最近遇到了需要获取plt图像数据的需求,本文记录了将matplotlib图像转换为numpy.array 或 PIL.Image的方法。众所周知,这个库处理图像会出现内存泄漏的问题,原想着将plt的图转出来用opencv存就好了,然而并没有,牢骚完毕。转换思路总体分为两步完成目标:将plt或fig对象转为argb string的对象将argb string对象图像转为array 或 Image步骤一区分对象为plt.原创 2020-11-06 20:31:57 · 8311 阅读 · 2 评论 -
解决 VS code 不报错不输出的问题
VS code 是微软的轻量级但功能强大的IDE,刚刚配置好anaconda python环境时可能出现不打印print内容的问题,本文记录该问题解决方法。问题复现刚刚安装好VS code 与 Anaconda时,hello world程序不在终端显示打印内容:不显示打印内容。问题分析故障原因在于命令中默认使用的是 anaconda 的pythonw.exe命令,将其换为python.exe即可。修改方法文件-首选项-设置-打开设置:修改"python.python.原创 2020-11-03 00:02:16 · 10853 阅读 · 5 评论 -
补全利器 Kite 安装
Kite 是针对 Python 的代码补全工具 ,由于其快速智能(AI学习)被圈内广泛使用,本文介绍Kite在Windows 与 Linux环境下与VS code结合使用的方法。官网:https://www.kite.com/Windowshttps://www.kite.com/download/直接安装下载的 KiteSetup.exe 即可。在 VS code 中使用 kite安装插件 Kite AI Code AutoComplete[外链图片转存失败,源站可能有防盗.原创 2020-11-02 20:41:17 · 12410 阅读 · 8 评论 -
Python - conda 常用命令介绍
本文介绍使用conda管理anaconda Python环境的相关命令。conda 环境相关命令创建环境conda create -n env_name python=3.7 --clone another_env-n:name 表示新环境名称python:使用python版本–clone:从现有环境复制而来删除环境conda remove -n env_name --all查看环境conda env list 或conda info -e激活环境conda ac.原创 2020-06-20 16:42:32 · 1599 阅读 · 4 评论 -
Python - 类中的对象与属性
本文整理类中对象与属性(变量)相关知识。类对象与实例对象建立测试类:class Test: var_of_class = 'Class Var' def __init__(self): self.var_of_instance = 'Instance Var'类对象建立类进行编译后则形成了类对象,类对象仅支持两个操作:实例化:使用instance_name = class_name()的方式实例化,实例化操作创建该类的实例。属性引用:使用clas.原创 2020-06-20 16:05:41 · 219 阅读 · 0 评论 -
keras 分割网络自定义评估函数 - mean iou
keras支持模型多输入多输出,本文记录多输出时loss、loss weight和metrics的设置方式。模型输出假设模型具有多个输出classify: 二维数组,分类softmax输出,需要配置交叉熵损失segmentation:与输入同尺寸map,sigmoid输出,需要配置二分类损失others:自定义其他输出,需要自定义损失具体配置model变量均为模型中网络层inputs = [input_1 , input_2]outputs = [classify, s.原创 2020-05-25 20:52:45 · 4181 阅读 · 3 评论 -
keras 模型多输出 loss weight metrics 设置
keras支持模型多输入多输出,本文记录多输出时loss、loss weight和metrics的设置方式。<!--more-->模型输出假设模型具有多个输出 classify: 二维数组,分类softmax输出,需要配置交叉熵损失 segmentation:与输入同尺寸map,sigmoid输出,需要配置二分类损失 others:自定义其他输出,需要自定义损失 具体配置model 变量均为模型中网络层 inputs =...原创 2020-05-25 20:21:01 · 4495 阅读 · 0 评论 -
解决 Windows OSError: pydot failed to call GraphViz.Please install GraphViz 报错
Windows操作系统下,运行pydot相关程序时(我的是keras.utils.plot_model)报错,提示没有安装GraphViz,事实上并不都是因为GraphViz没有安装,本文记录错误解决方法。问题复现操作系统:Win10keras版本:2.2.4在Win10系统下(Windows系列都可能出这个问题)keras建立简单的模型,执行 plot_model,报错:import keras from keras.models import Modelfrom keras.la.原创 2020-05-20 11:14:22 · 1376 阅读 · 3 评论 -
解决 json.dump 报错:TypeError - Object of type xxx is not JSON serializable
在python中导入json包可以方便地操作json文件,但是偶尔会遇到 TypeError: Object of type xxx is not JSON serializable 错误,通常报错的位置是很正常的int或float,本文记录该问题解决方法。自定义序列化方法class MyEncoder(json.JSONEncoder): def default(self, obj): if isinstance(obj, np.integer): .原创 2020-05-14 23:40:09 · 2807 阅读 · 0 评论 -
Python - 使用logging模块管理日志文件
logging是很友好的python日志管理包,轻便好用,本文介绍logging使用方法。使用步骤在程序中引入包:import logging配置日志设置 logging.basicConfig( # 日志级别,logging.DEBUG,logging.ERROR level = logging.INFO, ...原创 2020-05-06 00:26:42 · 315 阅读 · 1 评论 -
Python yield 使用
原文:https://www.ibm.com/developerworks/cn/opensource/os-cn-python-yield/您可能听说过,带有 yield 的函数在 Python 中被称之为 generator(生成器),何谓 generator ?我们先抛开 generator,以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波那契(...转载 2019-03-22 19:24:16 · 99 阅读 · 0 评论 -
十分钟看懂 Keras fit_generator multi-loss中的弯弯绕
在训练神经网络的过程中发现Keras fit_generator训练的效果莫名其妙地比我手写的网络好虽然很恼火于没有找到原因还是沦陷在Keras的便捷之下初探fit_generator有些不知所措,完全摸不着头绪稍微弄明白一些之后写了一段示例代码相信足够粗浅易懂import tensorflow as tffrom keras import backend as ...原创 2019-03-26 00:15:28 · 1313 阅读 · 0 评论 -
Python格式化字符串f-string概览
简介f-string,亦称为格式化字符串常量(formatted string literals),是Python3.6新引入的一种字符串格式化方法,该方法源于PEP 498 – Literal String Interpolation,主要目的是使格式化字符串的操作更加简便。f-string在形式上是以 f 或 F 修饰符引领的字符串(f'xxx' 或 F'xxx'),以大括号 {} 标明被...转载 2019-03-09 23:41:07 · 1095 阅读 · 0 评论 -
python 读取并显示图片的两种方法
转自:http://www.cnblogs.com/yinxiangnan-charles/p/5928689.html在 python 中除了用 opencv,也可以用 matplotlib 和 PIL 这两个库操作图片。本人偏爱 matpoltlib,因为它的语法更像 matlab。一、matplotlib1. 显示图片import matplotlib.p转载 2017-05-30 16:18:20 · 88562 阅读 · 3 评论 -
读取并导出Tensorboard中数据
Tensorboard 方便而美丽,但是可远观不可亵玩有点不爽,还是数据落在自己手里比较踏实参考:https://blog.csdn.net/nima1994/article/details/82844988#commentBox可以方便地读取Tensorboard数据上代码from tensorboard.backend.event_processing import even...原创 2019-03-28 11:36:17 · 17752 阅读 · 2 评论 -
将 Imagenet 图像文件夹按照类别编号命名
ImageNet是伟大的图像识别数据库但是其中各类别图像的文件夹名称让强迫症患者难以忍受遂码了个改变类别文件夹名称为编号的小程序###imagenet_class_index.json 是Imagenet图像的类别标注json文件Imagenet文件夹中放置解压好的1000个文件夹import jsonimport os#打开并读取json文件file=op...原创 2019-05-13 22:03:27 · 4838 阅读 · 4 评论 -
keras 预训练模型的使用方法
Tensorflow 几个最新版本的更新大力推崇 Keras 相当于官宣啊相信Keras的可用性给大家做深度学习带来方便 畅快的同时逐渐会变成主流的开发组件0、官方资料Imagenet的图像识别任务目睹了近几年人工神经网络的进展其中有很多里程碑式的进展 keras在应用模块(keras.applications)中提供了带有预训练权值的深度学习模型,这些模型可以用来进行预...原创 2019-05-08 09:19:41 · 7954 阅读 · 0 评论 -
Keras 手动设置优化器 设置梯度操作 实现小内存大Batch更新
转自:https://spaces.ac.cn/archives/5879今天我们来看一个小众需求:自定义优化器。细想之下,不管用什么框架,自定义优化器这个需求可谓真的是小众中的小众。一般而言,对于大多数任务我们都可以无脑地直接上Adam,而调参炼丹高手一般会用SGD来调出更好的效果,换言之不管是高手新手,都很少会有自定义优化器的需求。那这篇文章还有什么价值呢?有些场景下会有一点...转载 2019-06-01 17:40:40 · 3137 阅读 · 1 评论 -
pip安装python包速度慢 失败率高
安装了pip工具之后,其默认的包下载路径为python官网,但下载速度龟慢,且连接不稳定,经常应为连接超时而失败。提高下载速度可以使用国内的镜像站,常用的镜像库有阿里、豆瓣和清华等。阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(doub...转载 2019-09-07 21:17:57 · 3521 阅读 · 0 评论 -
tf.train.Coordinator
转自:https://blog.csdn.net/weixin_42052460/article/details/80714539tensorflow中协调器 tf.train.Coordinator 和入队线程启动器 tf.train.start_queue_runnersTensorFlow的Session对象是支持多线程的,可以在同一个会话(Session)中创建多个线程,并行执行。...转载 2019-03-06 11:21:39 · 946 阅读 · 0 评论 -
tensorflow中 tf.train.slice_input_producer 和 tf.train.batch 函数
作者:-牧野- 来源:CSDN 原文:https://blog.csdn.net/dcrmg/article/details/79776876tensorflow数据读取机制tensorflow中为了充分利用GPU,减少GPU等待数据的空闲时间,使用了两个线程分别执行数据读入和数据计算。具体来说就是使用一个线程源源不断的将硬盘中的图片数据读入到一个内存队列中,另一个线程...转载 2019-03-06 10:45:09 · 250 阅读 · 0 评论 -
TensorFlow batch normalization
TensorFlow 1.0 (February 2017)以后 出现了高级API tf.layers.batch_normalization .使用简单方便# Set this to True for training and False for testingtraining = tf.placeholder(tf.bool)x = tf.layers.dense(input翻译 2017-06-22 08:28:15 · 632 阅读 · 0 评论 -
TF生成数据的方法
转自:http://blog.csdn.net/phdat101/article/details/52442738正常情况下,使用tf.initialize_all_variables()初始化变量,在完全构建好模型并加载之后才运行这个操作。生成数据的主要方法如下1)如果需要利用已经初始化的参数给其他变量赋值TF的变量有个initialized_value()属转载 2017-06-20 17:45:46 · 1566 阅读 · 0 评论 -
Python用pip install安装Scipy keras报错
基于某种原因 新装了Python 2.7 使用keras做深度学习需要安装keras包,但是报错,主要信息为scipy 包打开错误原因为Scipy包缺失在pip install scipy 时各种报错 大概错误指向了numpy,百度到了一个解决办法特此记录一下首先感谢大神引路:https://zhidao.baidu.com/question/177420604原创 2017-06-08 16:54:49 · 5847 阅读 · 2 评论 -
TensorFlow 基本操作
转自:http://blog.csdn.net/jerry81333/article/details/52931412 会话控制 Session:TensorFlow中的Session主要用于执行命令,不管你前面做了什么,比如使用add(),mul()方法,相加也好,相乘也好,不执行Session().run()就不会执行相应的操作。例子如下:[python] view pla...转载 2017-06-21 08:40:38 · 3045 阅读 · 1 评论 -
python 深入理解 赋值、引用、拷贝、作用域
转自:http://www.cnblogs.com/jiangzhaowei/p/5740913.html在 python 中赋值语句总是建立对象的引用值,而不是复制对象。因此,python 变量更像是指针,而不是数据存储区域,这点和大多数 OO 语言类似吧,比如 C++、java 等 ~1、先来看个问题吧:在Python中,令values=[0,1,2];values转载 2017-06-06 09:31:47 · 540 阅读 · 0 评论 -
如何保存Keras模型
转自:http://blog.csdn.net/u010159842/article/details/54407745我们不推荐使用pickle或cPickle来保存Keras模型你可以使用model.save(filepath)将Keras模型和权重保存在一个HDF5文件中,该文件将包含:模型的结构,以便重构该模型模型的权重训练配置(损失函数,优化器等)优化器转载 2017-05-31 17:12:26 · 1430 阅读 · 0 评论 -
python matplotlib imshow显示问题
import matplotlib.pyplot as pltplt.imshow(img)#控制台打印出图像对象的信息,而图像没有显示解决方法:import matplotlib.pyplot as pltimport pylabplt.imshow(img)pylab.show()#转载 2017-05-30 16:28:31 · 6518 阅读 · 1 评论 -
Anaconda多环境多版本python配置指导
Anaconda多环境多版本python配置指导转自:http://www.cnblogs.com/harvey888/p/5465452.html原文地址:http://conda.pydata.org/docs/test-drive.htmlconda测试指南在开始这个conda测试之前,你应该已经下载并安装好了Anaconda或者Miniconda注意转载 2017-05-06 08:52:45 · 4040 阅读 · 0 评论