论文
文章平均质量分 90
一只tobey
中国,广州,从城中到乡下,再从乡下进城里,保持努力!
展开
-
RNN LSTM GRU
感谢:https://www.jianshu.com/p/9dc9f41f0b29转载 2021-03-01 16:07:23 · 503 阅读 · 0 评论 -
几种常见的离群点检验方法
离群值检验方法简介设有一组正态样本的观测值,按其大小顺序排列为x1,x2,x3,……,xn。其中最小值x1或最大值xn为离群值(xout)。对于离群值的统计检验,大都是建立在被检测的总体服从正态分布。基于此,在给定的检出水平或显著水平α(通常取值为0.05和0.01)和样本容量n条件下,可查表获得临界值,再通过计算统计量后与临界值比较,若统计量大于临界值就判为异常。临界值表通常给出的是置信度P,对双侧检验而言,P= 1 -α/2;对单侧检验而言,P= 1 -α。标准偏差已知情况采用奈尔...转载 2020-07-29 12:09:41 · 13950 阅读 · 0 评论 -
离群点检测和新奇检测之新奇检测
“噪音”的出现有多种原因,例如业务操作的影响(典型案例如网站广告费用增加10倍,导致流量激增)、数据采集问题(典型案例如数据缺失、不全、溢出、格式匹配等问题)、数据同步问题(异构数据库同步过程中的丢失、连接错误等导致的数据异常),而对离群点进行挖掘分析之前,需要从中区分出真正的“离群数据”,而非“垃圾数据”。数据集中的异常数据通常被成为异常点、离群点或孤立点等,典型特征是这些数据的特征或规则与大多数数据不一致,呈现出“异常”的特点,而检测这些数据的方法被称为异常检测。常用的异常检测方法可分为以下几类转载 2020-07-29 12:00:31 · 884 阅读 · 0 评论 -
离群点检测和新奇检测之离群点检测
一、噪音和离群点(异常值)的区别:离群点是一个数据对象,它显著不同于其他数据对象,好像它是被不同的机制产生的一样。有时也称非离群点为“正常数据”,离群点为“异常数据”。离群点不同于噪声数据。噪声是被观测变量的随机误差或方差。一般而言,噪声在数据分析(包括离群点分析)中不是令人感兴趣的。如在信用卡欺诈检测,顾客的购买行为可以用一个随机变量建模。一位顾客可能会产生某些看上去像“随机误差”或“方差”的噪声交易,如买一份较丰盛的午餐,或比通常多要了一杯咖啡。这种交易不应该视为离群点,否则信用卡公司将因验证太转载 2020-07-29 11:44:36 · 4962 阅读 · 0 评论 -
SBDA-GAN
引言:GANs在根据特定的视觉区域生成图像方面的有效性在无监督的区域适应方面显示出潜力。对源标记图像进行了修改,以模拟目标样本,用于在目标域中训练分类器,还评估了从目标到源域的逆映射,而无需生成新的图像。在本文中,我们的目标是通过引入域之间的对称映射来获得两个世界的最佳结果。我们定义了一个新的类别一致性损失来对齐在两个方向上的生成器,强制保留通过域映射的类标志一致。介绍:当有足够的标记...原创 2019-11-04 17:20:31 · 489 阅读 · 0 评论 -
过拟合及常见处理办法整理
过拟合及常见处理办法整理转载 2019-11-04 01:30:31 · 142 阅读 · 0 评论 -
机器学习中正则化项L1和L2的直观理解
机器学习中正则化项L1和L2的直观理解转载 2019-11-03 21:59:49 · 95 阅读 · 0 评论 -
Siamese network的进化:基于2-channel network的图片相似度判别
基于2-channel network的图片相似度判别转载 2019-11-03 01:50:31 · 748 阅读 · 0 评论 -
详解Siamese网络和contrastive loss的讲解
全部参考以下文章:1.详解Siamese网络2.Contrastive Loss (对比损失)3.Siamese network 孪生神经网络的应用,伪孪生网络详细的部分摘抄和记录:# tensorflow伪代码def contrastive_loss(self, y,d,batch_size): tmp= y *tf.square(d) ...转载 2019-11-03 01:12:57 · 2383 阅读 · 1 评论 -
deep learning 调参经验
参考:https://mp.weixin.qq.com/s/83snbei8T8p296mBcEjeoQ转载 2019-10-21 00:15:00 · 188 阅读 · 0 评论 -
常用的激活函数
参考:常用激活函数(激励函数)理解与总结翻译 2019-10-17 20:44:53 · 101 阅读 · 0 评论 -
GAN(generative adversarial net)
定义:是一个无监督模型,对抗训练为主体,直接对复杂的原始分布进行处理,得到最后的判别,是一个一维的,是一个概率。想学习从0均值1方差的标准正态分布到复杂样本分布的映射,GAN是固定标准高斯分布作为网络输入,然后慢慢调整网络,得到复杂的分布。和自动编码器(稀疏编码器,降噪编码器,解耦编码器PM)相比较:1.映射方向相反PM的编码器把复杂分布映射为解耦分布 PM的解码器把解耦分布映射为复...转载 2019-03-03 23:33:41 · 755 阅读 · 0 评论 -
关于Batch Normalization
参考相关文档:关于BN的讲解论文来自于下面的第二个[深度学习中 Batch Normalization为什么效果好?][《Batch Normalization Accelerating Deep Network Training by Reducing Internal Covariate Shift》阅读笔记与实现][从Bayesian角度浅析Batch Normalization...原创 2019-07-03 19:22:31 · 1064 阅读 · 0 评论 -
关于PGGAN
参考对抗网络之PG-GAN,无条件下生成更真实的人脸图像[3]论文链接:https://arxiv.org/pdf/1710.10196.pdfcheckboard 效应:Deconvolution and Checkerboard Artifacts当我们利用网络生成图片的时候,一般是先低分辨率然后高分辨率的构建出来,这能够让网络先描述一个比较粗糙的图片,然后在里面填充细节。为了...转载 2019-07-15 21:02:35 · 1428 阅读 · 0 评论 -
SGAN、RSGAN、RaSGAN、LSGAN、RaLSGAN、HingeGAN、RaHingeGAN等10种的损失函数表示
参考链接:https://blog.csdn.net/qq_32439305/article/details/87025405转载 2019-07-31 11:43:32 · 1630 阅读 · 0 评论 -
SQL中的token含义
Token的引入:在Web领域基于Token的身份验证随处可见。在大多数使用Web API的互联网公司中,tokens 是多用户下处理认证的最佳方式。客户端频繁向服务端请求数据,服务端频繁的去数据库查询用户名和密码并进行对比,判断用户名和密码正确与否,并作出相应提示,在这样的背景下,Token便应运而生。Token的定义:Token是服务端生成的一串字符串,以作客户端进行请求的一个令牌...转载 2019-07-22 16:58:25 · 2588 阅读 · 1 评论 -
机器学习中几种常见优化方法总结
1、梯度下降法2、牛顿法3、拟牛顿法-BFGS算法3. 共轭梯度法(Conjugate Gradient)4. 启发式优化方法5. 解决约束优化问题——拉格朗日乘数法3. 共轭梯度法(Conjugate Gradient)参考:(1)https://blog.csdn.net/shadow_mi/article/details/51890906(2)ht...转载 2019-09-19 21:45:43 · 160 阅读 · 0 评论 -
机器学习笔试面试超详细总结
转载:机器学习笔试面试超详细总结(四)转载 2019-09-21 15:01:23 · 196 阅读 · 0 评论 -
常用激活函数总结
...转载 2019-10-10 19:51:09 · 160 阅读 · 0 评论 -
立体图像的深度估计(3D感知)
硬件方案:结构光与TOF究竟有何区别双目方案有多种结构:比如垂直双目结构、水平双目结构、单摄像机平移结构等。通常情况下,在实验与实际应用中,使用得最为广泛的是水平双目结构平台。双目系统中实现原理是怎么样的?从图片中的一个点p(u,v)怎么得到现实世界中的P(x_w,y_w,z_w)d为视差。如上图,P是现实中的一点,O_R和O_T分别是两个相机的光心,点P在两个...原创 2019-06-28 19:46:21 · 10328 阅读 · 3 评论 -
三维立体测距
1.PSMNet2.双目测距3.PlaneRCNN 单幅图像的三维平面检测与重建4.ARCore SDK for Android5.菜鸟全球科技挑战赛「智能体积测量」6.基于vSLAM的方法7.基于SFM的MVSNet1.PSMNet最新的研究表明,利用一对立体图像来估算深度信息可以格式化为一个有监督的学习任务,进而通过卷积神经网络来解决。然而,当前基于图块...转载 2019-06-10 15:14:12 · 5139 阅读 · 0 评论 -
pytorch 训练数据以及测试 全部代码(8) 对resnet也就是(5),(6),(7) 网络的梳理
输入:6x3x512x512输出:6x21x512x512resnet101是除去最后的全连接层,得到浅层的输出low_level_feature为6x256x128x128,深层的输出X为6x2048x32x32详细的网络图如下图:4个ASPP全部输出X1,X2,X3,X4都是6x256x32x32global_avg_pool:输入是6x2048x32x32...原创 2018-10-21 15:53:18 · 1628 阅读 · 4 评论 -
WGAN-GP
PyTorch 实现论文 “Improved Training of Wasserstein GANs” (WGAN-GP)Wasserstein GAN简明版WGAN-GP是针对WGAN的存在的问题提出来的,WGAN在真实的实验过程中依旧存在着训练困难、收敛速度慢的 问题,相比较传统GAN在实验上提升不是很明显。WGAN-GP在文章中指出了WGAN存在问题的原因,那就是WGAN在处理Li...转载 2019-03-11 22:57:30 · 1343 阅读 · 0 评论 -
几种优化算法的比较(BGD、SGD、MBGD、指数加权平均、momentum、NAG、RMSprop、Adam)
对于神经网络而言,初始化参数不是全0而是随机是非常重要的:假设神经网络的前一层输出的维度是m,经过当前层之后输出维度是n,那么当前层的参数初始化如下:w=np.random.randn(m,n)*0.01 一般权重矩阵初始化比较小,He初始化:np.random.randn(m,n)*np.sqrt(2/n)b=np.zeros((m,1)) 一般偏差初始化为0几种优化算法下面主...原创 2019-03-07 12:38:19 · 2074 阅读 · 0 评论 -
WGAN
相对于传统的GAN,WGAN只做了以下三点简单的改动:1.D最后一层去掉sigmoid2.G和D的loss不取log(sigmoid_cross_entropy_with_logits)3.每次更新D的参数之后,将其绝对值截断到不超过一个固定常数c,即gradient clipping(前作);或使用梯度惩罚,即gradient penalty(后作)4.不要用基于动量的优化算法(...转载 2019-03-09 23:16:02 · 167 阅读 · 0 评论 -
香浓信息量,信息熵,交叉熵,相对熵(KL散度),JS散度,条件熵,信息增益,互信息
香浓信息量:用于刻画消除随机变量X在x处的不确定性所需的信息量的大小计算公式:,但是在深度学习中一般使用的是自然对数其中:如果是连续型随机变量的情况,设p为随机变量X的概率分布,即p(x)为随机变量X在X=x处的概率密度函数值,如果是离散分布,那么p(x)为随机变量X在X=x处的概率值特点:因为p(x)是0-1的值,所以香浓信息量大小总是大于0比特信息熵:用于刻画消除随机变量...原创 2019-03-04 00:19:11 · 1783 阅读 · 0 评论 -
DCGAN(Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks )
指出了许多对于GAN这种不稳定学习方式重要的架构设计和针对CNN这种网络的特定经验。在广泛的模型探索之后,我们确认了一类结构族,即在一些列的数据集上可以稳定的训练,并且允许训练更高的分辨率、更深的生成模型。核心是采用并修改4个最近提出的对GAN架构的改进:1.全卷积网络消除池化层,使用步幅卷积替换,容许网络学习自己的空间下/下采样(spatial downsampling)。2.消...转载 2019-03-04 10:50:59 · 335 阅读 · 0 评论 -
CNN与传统NN的比较
CNN组成:1. Convolutional layer(卷积层--CONV)作用:主要就是通过一个个的filter,不断地提取特征,从局部的特征到总体的特征,从而进行图像识别等等功能。2. Pooling layer (池化层--POOL)作用:是为了提取一定区域的主要特征,并减少参数数量,防止模型过拟合。扩大感受野。减少冗余,做窗口滑动卷积的时候,卷积值就代表了整个窗口的特征。...原创 2019-03-14 01:28:41 · 6093 阅读 · 0 评论 -
数据处理中ToTensor紧接着Normalize
transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize(mean=(0.5, 0.5, 0.5), std=(0.5, 0.5, 0.5)) ])ToTensor的作用:另外一个作用就是将数据全部归一化到了(0,1)Convert a ``PIL Image`` or ``num...原创 2019-03-08 16:18:07 · 3321 阅读 · 0 评论 -
改进算法1
当训练好一个模型之后预测新的数据,当发现预测情况不是很好的时候,怎么改进?1.得到更多的训练数据。但有的时候获取更多的数据并不是很有帮助2.尝试选用更少的特征3.尝试增加更多的特征4.增加多项式特征,就是已有特征之间的组合:等5.增加正则化参数,减小正则化参数怎么样能选择最适合改进的方法呢?或者说排除上面的一些方法评估该算法的性能(机器学习诊断法),从而能知道影响性能的...原创 2019-03-08 10:56:51 · 3680 阅读 · 1 评论 -
调解算法参数2
欠拟合---偏差,过拟合---方差;如果算法的表现没有预期的那么好,那么如何确定是哪方面的问题?如果是高偏差的问题,那么训练集误差和验证集误差都比较大;如果是高方差,那么训练集误差小,验证集误差大。1.得到更多的训练数据(但有的时候获取更多的数据并不是很有帮助):解决高方差问题2.尝试选用更少的特征:解决高方差问题3.尝试增加更多的特征:解决高偏差问题4.增加多项式特征,就是已...原创 2019-03-13 13:54:38 · 236 阅读 · 0 评论 -
知乎上关于GAN的回答汇总
生成式对抗网络GAN有哪些最新的发展,可以实际应用到哪些场景中?转载 2019-06-06 21:27:05 · 636 阅读 · 0 评论 -
在GAN中最近提出的非常适合图像域的指标。
如何评价GAN网络的好坏?IS(inception score)和FID(Fréchet Inception Distance)【GAN全局实用手册】谷歌大脑最新研究,Goodfellow力荐 1.Inception Score (IS) IS提供了一种定量评估生成样本质量的方法。 包含有意义对象的样本的条件标签分布应该具有低熵,并且样本的可变性应该高。IS可以表示为:...转载 2019-06-06 20:56:13 · 902 阅读 · 0 评论 -
GAN最新进展:8大技巧提高稳定性
1.替代损失函数 (Alternative Loss Functions) 针对 GAN 的缺陷,最常用的一种修复方法是Wasserstein GAN。它本质上用Earth Mover distance(Wasserstein-1 distance 或 EM distance) 来替代传统 GAN 的Jensen Shannon 散度。EM 距离的原始形式是难以处理的,因此我们使用它的 ...转载 2019-06-06 20:34:09 · 1328 阅读 · 0 评论 -
CrossEntropyLoss函数,里面还包含了nn.LogSoftmax函数和nn.NLLLoss函数
对于单样本:其中lable是一个数字(最小为0最大为C-1)代表x属于哪一类,y是lable的one hot 编码。举例:x是一个4分类的一个样本: x=[1, 33.1, 77.02, 3.78],label=2,y=[0,0,1,0],这里C=4对于多样本:举例:X=[ [1, 2.22, 3.35, 4], [5, 6, 7.2, 8] ],target=[1,0],Y=[ ...原创 2019-05-24 01:10:01 · 2440 阅读 · 0 评论 -
域适应语义分割
在语义分割中,输出空间在空间和局部上,包含丰富信息,比如源域和目标域在外观上可能非常不同,可是在分割结果上会具有很多相似性,如空间布局和局部上下文。如果在源域上训练得到的语义分割模型直接用在目标域上面,可以得到语义分割图,但是效果很差,发生域偏移,有很多噪点。那么为了消除噪点,解决域偏移问题,可以在输出空间做平滑,也就是让目标域的分割图趋向于源域的分割图,这样空间布局就能得到完善。Learni...原创 2019-04-07 20:50:14 · 1321 阅读 · 0 评论 -
语义分割的Defining a loss function
pixel-wise cross entropy loss:是最常用于语义分割的loss函数。This loss examines each pixel individually, comparing the class predictions (depth-wise pixel vector) to our one-hot encoded target vec...原创 2019-04-07 14:33:44 · 1378 阅读 · 0 评论 -
调节学习率的不同策略
1.根据迭代步数来调节:fixedstepexpinvmultisteppolysigmoid上面的调节参数和图示可以参考:https://blog.csdn.net/cuijyer/article/details/78195178上面的数学公式可以参考:https://www.cnblogs.com/yinheyi/p/7297644.html上面的tor...原创 2019-03-13 14:39:12 · 531 阅读 · 0 评论 -
Wasserstein距离(EM距离) 和 Lipschitz连续
参考文章:https://www.cnblogs.com/flyu6/p/7691118.html转载 2019-01-07 15:26:49 · 2201 阅读 · 0 评论 -
CGAN,条件GAN
参考:https://blog.csdn.net/mou_it/article/details/80719465使用的数据集是mnist手写字符,加入真实标签信息,使用onehot编码,长度为10,每一个位置赋值为1就代表了对应的数字,比如真实图像是x-data:batch x 784的,784reshape成28 x 28就是原图,那么对应的真实标签是y:batch x 10,那么就要结...转载 2019-03-05 14:43:02 · 636 阅读 · 0 评论