python
老三是只猫
坚持不断的学习
展开
-
Siamese Network(孪生网络)
模型结构上图是孪生网络的简单模型结构,思路很简单,就是输入两个样本到同样的网络(参数结构相同),最后计算两个网络输出的距离,如果距离较近就认为是同一类,较远就认为是不同的类别,在这里,我们可以使用两个同样参数的CNN,利用CNN从图像中提取特征。注意这里必须是同样的CNN,不然两个不同的CNN,即使输入相同,输出也可能认为两者不同。损失函数 Constrastive loss Triplet loss Softmax loss 其他损失函数:比如co...原创 2021-10-28 22:49:03 · 9834 阅读 · 1 评论 -
python使用Pillow/Opencv对图片进行等比缩放
"""1. 图片的等比缩放;(m,n) <- (scale_size, scale_size)2. 缩放后的图片放置在中间区域,其它区域像素填0;"""import cv2from PIL import Imageimport numpy as npclass UniformScale: def __init__(self, img_file, scale_size): """ :param img_file: 图片文件 :p原创 2021-08-19 07:26:37 · 642 阅读 · 0 评论 -
python 图片批量数据增强
图像旋转import scipy from scipy import misc import os import time import glob from scipy import ndimage def get_image_paths(folder): return glob.glob(os.path.join(folder, '*.png')) def create_read_img(filename): im = misc.imread(filename)转载 2021-04-16 12:02:10 · 748 阅读 · 0 评论 -
seaborn-数据可视化
#pip install git+https://github.com/mwaskom/seaborn.git#!/usr/bin/env python# coding: utf-8# # Seaborn# ## 简介# ### 定义# In[ ]:'''Seaborn是一个基于matplotlib且数据结构与pandas统一的统计图制作库。Seaborn框架旨在以数据可视化为中心来挖掘与理解数据。'''# ### 优点# In[ ]:'''1.代码较少原创 2021-04-07 16:50:28 · 172 阅读 · 0 评论 -
python装饰器的全面总结学习笔记
https://blog.csdn.net/HUSTHY/article/details/105760370原创 2021-03-30 17:41:30 · 82 阅读 · 0 评论 -
python-linux命令处理文件
import csvimport subprocessimport osrunMode = "train"classes = ["Snowman"]with open('class-descriptions-boxable.csv', mode='r') as infile: reader = csv.reader(infile) dict_list = {rows[1]:rows[0] for rows in reader}subprocess.run(['rm', '-原创 2020-05-26 22:21:07 · 172 阅读 · 0 评论 -
PCA主成分分析
pca的主要思想是移动坐标轴,找到方差最大的方向上的特征值,什么叫方差最大的方向的特征值呢,就像下图中的曲线B一样,他的覆盖范围最广。基本步骤: 首先计算数据集的协方差矩阵计算协方差矩阵的特征值和特征向量保留最重要的n个特征什么是协方差矩阵? 定义是变量向量减去均值向量,然后乘以变量向量减去均值向量的转置再求均值代码实现 伪代码如下 去除平均值 计算协方差矩阵 计算协方差矩阵的特征值和特转载 2015-06-26 09:12:47 · 750 阅读 · 0 评论 -
kmeans python实现
大致思路就是给定一个矩阵,假设K是2,页就是分成两个部分,那么我们首先确定两个质心,一开始是找矩阵每一列的最大值和最小值,算出range=max-min,然后设质心就是min+range*random。之后在逐渐递归跟进'''@author: hakuri'''from numpy import *import matplotlib.pyplot as pltdef loadDataSet转载 2015-06-26 10:43:50 · 2236 阅读 · 0 评论 -
时间序列python
平稳性检测 平稳性的定义:围绕一个常数上下波动且波动范围有限,即有常数均值和常数方差。如果有明显的趋势或者周期性,那它通常不是平稳序列。检测方法有三种: (1)时序图检测 (2)自相关系数和偏相关系数>>>>>>通过spss 截尾:就是在某阶之后,系数都为0 拖尾:就是有一个缓慢衰减的趋势,但是不都为02.不平稳的处理方法 差分法:一阶差分指的是原序列值相距一期的两个序列之间的减法运算翻译 2016-08-18 23:52:07 · 7375 阅读 · 1 评论 -
文本挖掘
jieba是一个优秀的中文分词模块,使用python编写,并在Github上开源。 使用jieba分词可以将一整串的中文句式切分为独立的语言元素。scikit-learn也是由python编写的机器学习算法库,其实现了许多有用的算法,对于文本分类来说,使用sklearn分类模型所需要的向量形式。使用sklearn 的 naive_bayes 算法库 可以快速构建一个朴素贝叶斯模型。对于文本分类这种动转载 2016-08-22 00:51:55 · 1265 阅读 · 1 评论 -
文本情感分类(三):到底需不需要分词
深度学习是一种“端到端”的模型,所谓端到端就是能够将原始数据和标签输入,然后让模型自己完成一切过程-包括特征的提取、模型的学习。。而回顾我们做中文情感分类的过程,一般都是“分词——词向量——句向量(LSTM)——分类”这么几个步骤。虽然很多时候这种模型已经达到了state of art的效果,但是有些疑问还是需要进一步测试解决的。对于中文来说,字才是最低粒度的文字单位,因此从“端到端”的角度来看,应转载 2017-12-19 17:30:45 · 1519 阅读 · 0 评论 -
文本情感分类(四)
文本情感分类其实是一个二分类的问题,事实上,对于分类模型,都会存在这样一个毛病,优化目标跟考核指标不一致。通常来说,对于分类,我们都会采用交叉熵作为损失函数,他的来源就是最大似然估计,但是,我们最后的评估目标,并非要看交叉熵有多小,而是看模型的准确率,一般来说,交叉熵很小,准确率也会很高,但是这个关系并非必然的。原创 2017-12-19 17:39:29 · 1078 阅读 · 0 评论 -
介绍两个python库
1:pqdm 主要是用来显示进度条的,而且基本不影响源程序效率。from time import sleepfrom tqdm import tqdmfor i in tqdm(range(1000)): sleep(0.01)2:retry 顾名思义这是一个实现重试的。很多时候我们都需要重试功能,比如写爬虫的时候,有时候就会出现网络问题导致爬虫失败,然后就需简要重试了from re原创 2017-12-19 17:50:34 · 518 阅读 · 0 评论 -
中文分词系列总结
目前中文分词主要有两种思路:查词典和字标注。首先,查词典的方法有:机械的最大匹配法、最少词数法,以及基于有向无环图的最大概率组合,还有基于语言模型的最大概率组合,等等。查词典的方法简单高效(得益于动态规划的思想),尤其是结合了语言模型的最大概率法,能够很好地解决歧义问题,但对于中文分词一大难度——未登录词(中文分词有两大难度:歧义和未登录词),则无法解决;为此,人们也提出了基于字标注的思路,所谓字标转载 2017-12-19 18:34:35 · 423 阅读 · 0 评论 -
基于双向LSTM的seq2seq字标注
事不宜迟,动手最重要。词向量维度用了128,句子长度截断为32(抛弃了多于32字的样本,这部分样本很少,事实上,用逗号、句号等天然分隔符分开后,句子很少有多于32字的。)。这次我用了5tag,在原来的4tag的基础上,加上了一个x标签,用来表示不够32字的部分,比如句子是20字的,那么第21~32个标签均为x。在数据方面,我用了Bakeoff 2005的语料中微软亚洲研究院(Microsoft Re转载 2017-12-19 19:12:14 · 2302 阅读 · 0 评论 -
pandas--系列之groupby
闲话少说直接上代码和思路import numpy as npimport pandas as pddf = pd.DataFrame({'key1':list('aabba'), 'key2': ['one','two','one','two','one'], 'data1': np.random.randn(5),原创 2017-12-22 13:02:04 · 509 阅读 · 0 评论 -
python--对比两个Excel不同
############################对比两个版本的Excel数据的异同###########################import xlrdimport xlwtimport osl_p = [] #定义两个全局list,分别存储原始和目的需要对比的数据l_t = []def read_excel(): wb_pri = xlrd.open_work转载 2017-12-22 14:22:40 · 19665 阅读 · 5 评论 -
文本情感分类(一)
基于情感词典的文本情感分类 古典文本分类的流程: 根据上图,我们可以通过以下几个步骤实现基于情感词典的文本情感分类: 1:预处理 2:分词 3:训练情感词典 4:判断。 以下主要分几个不追将上述上面的内容 一、文本的预处理 这部分的主要内容来自爬虫获取。 二、分词 选用结巴分词即可 三、载入情感词典 一般来说,词典是文本挖掘的最核心的部分,对于情感分类也不例外。情感词典主要原创 2017-12-19 09:04:04 · 4489 阅读 · 0 评论 -
文本情感分类(二)
该篇文章中,主要探讨关于深度学习解决自然语言问题。 深度学习与自然语言处理 近年来,深度学习算法被应用到了自然语言处理领域,获得了比传统模型更优秀的成果。 在自然语言处理中,最核心的一个问题是,如何把一个句子用数字的形式有效的表达出来?如果能够完成这一步,句子的分类就不成问题了。显然,一个最初的思路是:给每个词语赋予唯一的编号1,2,3,4…,然后把句子看成是编号的集合,比如假设1,2,3,4原创 2017-12-19 11:01:21 · 1881 阅读 · 0 评论 -
python-keras文本分类:pretrain词向量+1D卷积神经网络
基于keras实现 利用之前训练好的词向量,基于keras使用1D卷积神经网络完成文本分类任务准备工作 1:训练好的词向量 2:用于训练的文本(已完成分词,每篇文章且还有对应的label)from __future__ import print_functionimport osimport sysimport numpy as npfrom keras.preprocessing.t转载 2018-01-04 00:12:37 · 2567 阅读 · 0 评论 -
python--数据字典的一些用法
a = {'a':2,'c':4,'b':5}1:dict.copy:返回一个字典的浅复制2:dict.get(key,default=None):返回指定键的值,如果值不在字典中返回default值)a.get('a')3:dict.has_key(key):如果键在字典dict里返回true,否则返回false4:dict.keys()5:dict.items() :以列表的形式返回遍原创 2017-12-29 13:27:31 · 1949 阅读 · 0 评论 -
python__tile函数的用法
tile()函数的格式tile(A,reps)A和reps都是array_like>>> tile(1,2)array([1, 1])>>> tile((1,2,3),3)array([1, 2, 3, 1, 2, 3, 1, 2, 3])>>> tile(a,2)array([[1, 2, 3, 1, 2, 3], [4, 5, 5, 4, 5, 5]])>>> b原创 2017-12-29 13:39:21 · 333 阅读 · 0 评论 -
Python调取hive和sqoop之二
#!/usr/bin/python import time,osUSER="wilson.zhou"PWD="YCt452uz"URL="jdbc:postgresql://10.1.1.230:5432/xmo_dw" day = time.strftime('%Y-%m-%d',time.localtime(time.time() -24*60*60))[2::] sql =...转载 2018-12-28 13:46:41 · 642 阅读 · 1 评论 -
python + sklearn ︱分类效果评估——acc、recall、F1、ROC、回归、距离
之前提到过聚类之后,聚类质量的评价:聚类︱python实现 六大 分群质量评估指标(兰德系数、互信息、轮廓系数)R语言相关分类效果评估:R语言︱分类器的性能表现评价(混淆矩阵,准确率,召回率,F1,mAP、ROC曲线).文章目录一、acc、recall、F1、混淆矩阵、分类综合报告1、准确率**第一种方式:accuracy_score****第二种方式:metrics**其中avera...转载 2019-02-15 10:14:39 · 2190 阅读 · 1 评论 -
Dlib-笑脸识别
Python 3 利用 Dlib 和 sklearn 人脸笑脸检测机器学习建模 0. 引言 利用机器学习的方法训练微笑检测模型,输入一张人脸照片,判断是否微笑; 精度在 95% 左右( 使用的数据集中 69 张没笑脸,65 张有笑脸 ); 图1 测试图像与检测结果 项目实现的笑脸识别,并不是通过 计算嘴...转载 2019-02-15 12:48:37 · 1420 阅读 · 0 评论 -
服务器(CentOS7)配置Jupyter Notebook远程访问
目录服务器CentOS7 配置Jupyter Notebook远程访问目录检查本地是否安装成功并生成配置文件生成远程访问密码修改配置文件测试远程访问在安装好anaconda后检查本地是否安装成功并生成配置文件jupyter notebook –generate-config –allow-root 1生成远程访问密码利用ipython生成密码[root@...转载 2019-02-27 15:28:13 · 1012 阅读 · 0 评论 -
梯度消失问题与如何选择激活函数
什么是梯度消失?梯度消失有什么影响?是什么原因?解决方案有哪些?如何选择激活函数?1. 什么是梯度消失?梯度消失,常常发生在用基于梯度的方法训练神经网络的过程中。当我们在做反向传播,计算损失函数对权重的梯度时,随着越向后传播,梯度变得越来越小,这就意味着在网络的前面一些层的神经元,会比后面的训练的要慢很多,甚至不会变化。2. 有什么影响?网络的前面的一些层是很重要...转载 2019-02-27 15:53:52 · 283 阅读 · 0 评论 -
百度指数数据抓取Python+selenuim+OpenCV(一)
早就想写博客,但是做的东西感觉很low就不好意思发出来,最近由于女票需要百度指数得数据,于是研究起爬虫。以前毕设的题目就是爬虫,不过是特别简单的那种。在爬取百度指数的指数数据时,才感觉到爬虫不是那么简单。自己也是在网上找了许多大神的教程,但是都不能够很好的抓到数据。下面就将我所使用的方法做一个...转载 2019-02-18 10:17:26 · 948 阅读 · 1 评论 -
Opencv调用深度学习模型
OpenCv 从V3.3版本开始支持调用深度学习模型,例如Caffe, Tensorflow, darknet等.详细见下图,具体的使用方法,可以参考官网: https://docs.opencv.org/3.4.1/d6/d0f/group__dnn.html 目前Opencv可以支持的网络有GoogLeNet, ResNet-50,MobileNet-SSD from Caff...转载 2019-02-27 19:46:03 · 1796 阅读 · 0 评论 -
学习yolo之tensorflow-gpu环境配置(win10)
自己到处学习了一些深度学习的皮毛,深切感受到没有GPU,真是不要和人家谈什么效率。人家一天跑好几个代码,如果你没有GPU,训练起来几天才跑一个代码。我之前在笔记本试过跑深度学习的hello world—‘MNIST’,使用的是softmax回归网络实现数字识别,这个速度还好,因为没有涉及复杂的卷积运算。后来自己又用CNN来实现数字识别,那训练速度足以让你怀疑人生,瞬时觉得人生路漫漫,CPU跑了两个...转载 2019-02-18 16:12:29 · 1087 阅读 · 0 评论 -
opencv_deeplearning实战:基于yolov3(CPU)的opencv 目标检测
一、总概昨天写完一篇基于深度学习的oepncv人脸识别和一篇基于颜色阈值的皮肤检测,昨晚回宿舍也没有闲着,听说yolov3嵌入opencv,并且仅用CPU跑,就比Darknet + OpenMP组合快九倍,听着就很令人兴奋。马不停蹄看文章 ,马上配置环境测试一下,效果还行。想看详细的代码解析的朋友,建议直接看上面的文章,歪果仁写的东西,确实是不错。我作为六级刚过425的英语渣渣,也能看懂。二、...转载 2019-02-18 16:44:12 · 775 阅读 · 2 评论 -
人脸性别和年龄识别
本文是对age-gender-estimation项目的详细讲解,它给出了使用keras进行性别和年龄识别的完整流程。数据采用的数据集为imdb-wiki,这是一个包含&nbsp;20,284名人的460,723张以及维基百科上imdb的&nbsp;62,328张共计523,051 张人脸图像的数据...转载 2019-02-18 20:25:25 · 696 阅读 · 2 评论 -
人脸面部情绪识别(一)
人脸面部情绪识别 (一)人脸面部情绪识别(二)人脸面部情绪识别 age&amp;gender(三)根据人脸预测年龄性别和情绪代码实现 (c++ + caffe)(四)这里写代码片#!Anaconda/anaconda/python#coding: utf-8"""从视屏中识别人脸,并实时标出面部特征点""&转载 2019-02-13 15:00:10 · 5441 阅读 · 3 评论 -
人脸面部表情识别 keras实现(二)
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hpyMiss/article/details/80687759 &amp;lt;/div&amp;gt; &amp;lt;div id=&quot;content_views&am转载 2019-02-13 15:03:29 · 1163 阅读 · 2 评论 -
根据人脸预测年龄性别和情绪 (python + keras)(三)
人脸面部情绪识别 (一)人脸面部情绪识别(二)人脸面部情绪识别 age&amp;amp;gender(三)根据人脸预测年龄性别和情绪代码实现 (c++ + caffe)(四)* 背景 *1、 目前人脸识别已经广泛运用,即使在视频流里面也能流畅识别出来,无论是对安防还是其他体验类产品都有很大的影响。研究完人脸识别后,对于年龄的预测,性别的判断以及根据面部动作识别表情也开始实现,以后可能还会...转载 2019-02-13 15:07:08 · 2281 阅读 · 3 评论 -
个人喜欢的关于模式识别、机器学习、推荐系统、图像特征、深度学习、数值计算、目标跟踪等方面个人主页及博客
>转载自http://blog.csdn.net/zhangping1987/article/details/29554621目标检测、识别、分类、特征点的提取David Lowe:Sift算法的发明者,天才。Rob Hess:sift的源码OpenSift的作者,个人主页上有openSift的下载链接,OpenCV中sift的实现,也是参考这个。Koen van de Sand...转载 2019-02-13 15:19:06 · 445 阅读 · 0 评论 -
python简单实战项目:《冰与火之歌1-5》角色关系图谱构建——人物关系可视化
python简单实战项目:《冰与火之歌1-5》角色关系图谱构建 python简单实战项目:《冰与火之歌1-5》角色关系图谱构建——数据库设计 Scrapy+redis+mongodb分布式爬虫抓取小说《冰与火之歌1-5》先来张Gephi绘制酷炫的人物关系图 图中每个节点代表一个角色,节点与节点之间的连线代表共现,而连线的粗细表示共现的频次多少。节点的大小以及颜色深浅表示度的大小,即一个角...转载 2019-02-28 16:17:04 · 1012 阅读 · 1 评论 -
应用一个基于Python的开源人脸识别库,face_recognition
原文章链接:http://blog.csdn.net/hongbin_xu/article/details/74981819 或http://hongbin96.com/125今天看微信时,看到一篇推送文章介绍了一个基于python的开源人脸识别库,且其离线识别率高达99.38%,于是上网搜了搜。 网上相关的中文文章基本都是一样的,且都是从github上的英文版本介绍翻译过来的,所以我就直接看...转载 2019-02-13 17:43:28 · 373 阅读 · 0 评论 -
CSDN如何转载博客
一、Why?为何写这篇文章呢?可能有人会说直接收藏不就可以了吗,何必转载呢。但最近遇到了一个问题:我收藏了一篇不错的文章,然后想再看的时候,突然打不开了。。。这让我情何以堪!作者删除或转为私密状态,人家就是不让你看了,你能咋地!机智的我当时还收藏了同一篇文章作者在两个网站(简书与其个人博客网站)发表的链接,结果。。。 机智如我怎么会被难倒!哈哈哈,google了一下文章标题,万幸,有人转...转载 2019-02-13 18:44:31 · 128 阅读 · 0 评论 -
在Pycharm中使用GitHub
一、配置Pycharm 不管你用哪种方法,进入pycharm的配置菜单。选择上图中的version control。(这里插一句,不管有多难,在程序员的世界,请不要汉化,坚持使用英文原版)按照图中所示,配置好github相关内容。没有github的同学,建议你自己前往官网注册,而不要通过它的快速注册通道。这一步很关键,很多同学配置完github就直接开始使用了,结果却是各种错误。...转载 2019-02-14 15:29:39 · 568 阅读 · 1 评论