小白兔的窝

转载 【Python】TypeError: Object of type 'int64' is not JSON serializable (或者float32)

在使用json格式保存数据时，经常会遇到xxx is not JSON serializable，也就是无法序列化某些对象格式，我所遇见的是我使用了numpy时，使用了np的数据格式，写入data后，json.dumps(data)失败，我们可以自己定定义对特定类型的对象的序列化，下面看下怎么定义和使用关于np数据类型的自定义。1.首先，继承json.JSONEncoder，自定义序列化方法...

转载 【计算视觉】Python图像处理库PIL的ImageStat模块介绍

ImageStat模块用于计算整个图像或者图像的一个区域的统计数据。一、ImageStat模块的函数1、Stat定义1：ImageStat.Stat(image)⇒ Stat instanceImageStat.Stat(image, mask)⇒ Stat instance含义1：计算给定图像的统计值。如果变量mask被赋值，将只针对变量mask所定义的区域进行统计。...

转载 【计算视觉】ImageDataGenerator生成器的flow，flow_from_directory用法

flow:flow(self, X, y, batch_size=32, shuffle=True, seed=None, save_to_dir=None, save_prefix='', save_format='png')：接收numpy数组和标签为参数,生成经过数据提升或标准化后的batch数据,并在一个无限循环中不断的返回batch数据x：样本数据，秩应为4.在黑白图像的情况下c...

原创 【Python】收集python代码的优雅写法

本文从下到上更新，最新发现的在最前面。 通过glob模块方便地读取文件夹中文件列表 假设文件存放在root根目录下，文件名均为".txt"的后缀。可以一行语句读取所有文件路径：import globfiles = glob.glob( root_dir + '*.txt' )读取的文件是无序的，可通过sorted对文件路径排序：files = sorted(...

转载 【Python】 package之imutils介绍

安装：pip install imutils注：安装该包依赖于NumPy、Opencv和matplotlib函数介绍：该包中主要5个函数，比使用直接使用Opencv库更加的便利用户Translationexample:# translate the image x=25 pixels to the right and y = 75 pixels uptranslate...

转载 【深度学习】半监督学习入门：伪标签学习和无监督SVM

一、半监督学习1-1、什么是半监督学习让学习器不依赖外界交互、自动地利用未标记样本来提升学习性能，就是半监督学习（semi-supervised learning）。要利用未标记样本，必然要做一些将未标记样本所揭示的数据分布信息与类别标记相联系的假设。假设的本质是“相似的样本拥有相似的输出”。半监督学习可进一步划分为纯（pure）半监督学习和直推学习（transductive le...

转载 【深度学习】半监督学习入门：半监督K均值聚类python代码

说明：下面的半监督K-means的初始聚类中心的选择是根据有标签数据而定的，聚类个数=类别个数，初始聚类中心=各个类样本的均值。# -*- coding: utf-8 -*-import numpy as npdef distEclud(vecA, vecB): ''' 输入：向量A和B 输出：A和B间的欧式距离 ''' return np.sq...

转载 【深度学习】半监督学习入门：Mean teachers

转载 【计算视觉】Python基于opencv的图像压缩算法实例分析

本文实例讲述了Python基于opencv的图像压缩算法。分享给大家供大家参考，具体如下：插值方法:CV_INTER_NN - 最近邻插值,CV_INTER_LINEAR - 双线性插值 (缺省使用)CV_INTER_AREA - 使用象素关系重采样。当图像缩小时候，该方法可以避免波纹出现。当图像放大时，类似于 CV_INTER_NN 方法..CV_INTER_CUBIC - 立方插...

转载 【Python】 字符串与二进制串、十六进制串的相互转换

一个问题，在Python中，如何将一个字符串转换为相应的二进制串（01形式表示），并且能够将这个二进制串再转换回原来的字符串。一个简单版本def encode(s): return ' '.join([bin(ord(c)).replace('0b', '') for c in s]) def decode(s): return ''.join([chr(i) for...

转载 【python】二进制解析struct.error、strut.unpack的错误unpack requires a string argument of length 4

报错内容为：unpack requires a string argument of length 4通常遇到该种错误一般是字节没有对齐，比如struct.unpack("i",self.dexFile.read(2))[0]int类型需要四个字节，而只读取了两个，则会报错，刚用该模块解析dex文件时发现，读取到一定量的数据后会报上面错误，查看读取代码并无错误struct.un...

原创 【Python】通过xlsxwriter向excel表格中插入图片、本地超链接

通过python向excel表格中插入图片，且设置图片的本地超链接。代码亲测可行，python版本为3.6.3import xlsxwriter# 创建一个新Excel文件并添加一个工作表。workbook = xlsxwriter.Workbook('1.xlsx')worksheet = workbook.add_worksheet()# 加宽第一列使文本更清晰。wo...

转载 【Python】通过xlsxwriter向excel表格中插入图片：worksheet.insert_image()参数详解

worksheet.insert_image() 参考insert_image(row,col,image[,options])Insert an image in a worksheet cell.Parameters: row(int) – The cell row (zero indexed). col(int) – The cell colum...

转载 【Python】 字符串相似性度量，用difflib还是Levenshtein

【作者笔记】difflib（Python自带）：不一定为字符串，数组也可以匹配，但数组匹配时只有单个元素完全匹配才计入相似。Levenshtein（第三方插件）：需要输入为字符串，匹配时是整体匹配，数组匹配时需要用join把数组元素连接为字符串。difflib相似度比，和Levenshtein比，基本上接近：difflib.SequenceMatcher(None, str1,st...

转载 【机器学习】Logistic回归和SVM的异同

这个问题在最近面试的时候被问了几次，让谈一下Logistic回归（以下简称LR）和SVM的异同。由于之前没有对比分析过，而且不知道从哪个角度去分析，一时语塞，只能不知为不知。　　现在对这二者做一个对比分析，理清一下思路。　　　　相同点　　1、LR和SVM都是分类算法（曾经我认为这个点简直就是废话，了解机器学习的人都知道。然而，虽然是废话，也要说出来，毕竟确实是一个相同点。）　　...

转载 【学术】推荐给从事科研的青年人——石墨烯教父：从千年博后到物理诺奖的心路历程

【编者按】本文作者为诺贝尔物理学奖获得者安德烈·海姆，译者为科学网博主薛加民老师。如你也是学术圈内人士，或者对科学领域有专研兴趣，可进入知社学术圈公号查看。石墨烯教父：从千年博后到物理诺奖的心路历程（上）【引言】石墨烯是最坚硬并极具弹性的材料，其发现者安德烈·海姆 (Andre Geim) 也拥有同样的属性。卧薪尝胆十几年，脑洞大开万千遍，正是其非同寻常的科研风格为我们带来了可颠覆全...

原创 【学术】进行一场“认真准备的学术汇报”

实验室经常会开组会，分享最新文献、介绍近期工作、做年度总结等。很多同学习惯于在这种会上灌水、蒙混过关。这样做表面上看省时省力，其实会带来负面收益。因为听众会从一场昏昏欲睡的演讲里体会到这个人不怎么样、或者不怎么真诚。更糟糕的是这种浪费它人时间的行为可能会让一些“惜时者”愤怒。尤其是在，前后有优秀演讲对比的情况下，能力高低、品质优劣，一览无余。有幸听了X的两场汇报。第一次我误以为他把组...

转载 【Python】Python xlwt : More than 4094 XFs (styles) 解决方法

对于大量数据写入excel文件,如果使用了表格样式而且在循环中定义了样式，就是产生了easyxf对象,那么最多只能新建4094个对象,然后会抛出More than 4094 XFs (styles)的异常,对于这种情况,简单的解决方案是把样式定义在循环之外，比如:# -*- coding: utf-8 -*-from xlrd import open_workbookfrom ...

转载 【DB】mongodb 的服务启动和基本操作命令

【入门笔记】> mongo：进入数据库：> show dbs：查看数据库：> use MyDB：用数据库/不存在则创建：> show collections：查看当前数据库下的所有集合：> db.MyCollection..skip(2).find().limit(100)((age:-1))：查找指定数据数据，并排序。 skip（2）...

转载 【DB】MongoDB导入大的json数据文件，导入不完全，每次只能导入1000条，且只能导入1000条解决方法

昨天，做了一个东西，就是把生产上的mongodb数据使用mongoexport导出了一个.json文件用于本地做分析使用，里面有将近60MB的数据，导出没问题，但是当使用./mongoimport -d 数据库名称 -c 表名称 文件路径+名称，这个导入指令导入到本地的mongodb时，导入时就会有问题，如下图：可以看到，上面导入到6.2MB的数据时就一直卡在这了，一直不往下执行，在数据库...

原创 【Python】Python 中字典（dict）合并：两个双层嵌套字典

【重点】dic = dic1.copy()，是浅拷贝；dic = dict(dict1)，是深拷贝；尽量用dict(d1, **d2)进行合并，是深拷贝；注意：以上基于python3.6版本，python2.7请绕行。=============================================python中的双层字典合并，即字典的value也是一个字典。...

原创 【Python】python 日期、时间、字符串相互转换

【个人笔记】(1) 区分：strptime、strftimea="04/12/2014 06:08:55"a1 = datetime.datetime.strptime(a,"%d/%m/%Y %H:%M:%S") # 将字符串a转化为datetime，用的是strptimea2 = datetime.datetime.strftime(a1,'%Y-%m-%d %H:%M:...

转载 【学术】施一公：如何提高英文的写作与阅读

在国际学术期刊上发表科研论文，是科研工作者与同行交流、取得国际影响的必经之路。有些国内的科学家实验做得很漂亮，但常常苦恼于论文写作力不从心，成为国际交流的一大障碍。本文从笔者施一公的亲身体验出发，给博士生、博士后以及年轻的PI（课题组长）提供一个借鉴。我大学时的同班同学都知道，那时我的英语不算好（英语四级考试仅为“良”），写作尤其糟糕。初到美国之时，对英文环境适应得很差，读一篇《生物化学杂志》...

转载 【DB】mongodb禁止外网访问以及添加账号

【笔记】（1）用配置文件写入windows服务时候：mongod --bind_ip 127.0.0.1 --dbpath /data/db --auth（2）为数据库设置账号密码登录权限通过：通过mongo进入管理界面，然后设置用户名密码。> use adminswitched to db admin> db.createUser({user:"root...

原创 【DB】解决windows10 家庭版下的.msi文件无法“以管理员身份运行”的问题

先说结论：建议以管理员身份运行cmd，进入msi目录，执行：msiexec /package 文件名称。----------------------------------------------------------------------------------------------------在Win10系统中，我们在运行.exe程序时，既可以直接双击以当前用户身份运...

转载 【DB】mongodb,redis,hbase 定位与区别

------------------------------------------------------------------------------------------------------【个人笔记】我想在本地建立一个数据库，日常存取数据方便。常用语言为PythonMySQL：关系型数据库，可视化好，但是SQL语句不想写，pass；Redis：Key-Value 数...