张奕泽(C/C++)

原创 Keras 添加一个自定义的loss层（output及compile中，输出及loss的表示方法）

例如：计算两个层之间的距离，作为一个lossdistance=keras.layers.Lambda(lambda x: tf.norm(x, axis=0))(keras.layers.Subtract(Dense1-Dense2))这是添加的一个loss层，这个distance就直接作为lossmodel=Model(input=[,,,], output=[distance]...

原创 神经网络训练，需要注意的关键问题

1、数据是否平衡2、是否归一化3、是否shuffle（注意：虽然fit中有shuffle选项，但是发生在数据集划分之后，所以需要提前shuffle数据）4、label是否转化为one-hot形式5、激活函数和loss_function是否与任务一致接下来调参：学习率、batch_size、epoch、优化器选择...

原创 错误: TypeError: while_loop() got an unexpected keyword argument 'maximum_iterations'

错误:TypeError: while_loop() got an unexpected keyword argument 'maximum_iterations'参照https://blog.csdn.net/qq_27009517/article/details/83275846重新安装keras因为我的CUDA版本为CUDA8.0，所以tensorflow版本有限制，只能用1...

原创 plot_model终于可以用了，分享给大家

系统：Linuxpython版本：python3.6CUDA版本：CUDA 8.0tensorflow版本：tensorflow 1.4.0Keras版本：keras 2.1.2模型可视化plot_model需要安装graphviz以及graphviz的可执行文件和pydot本人是参考别人博客内容，sudo权限安装sudo apt-get install graphvi...

原创 度量学习、分类与检索

以下纯属个人观点，如有错误，请批评指正最近用到距离度量学习了，于是乎思考了一下。距离度量学习，最终学出的是M。监督的距离度量学习，最终根据类别标记，学习出一个好的M，来度量同一类样本之间的相似性。这是一个类与相似性之间的直接对应关系。因为对于分类器来说，有的是以距离作为分类标准的，距离近的就认为属于同一类。但是有的并不是以距离作为分类标准，比如SVM是以支持向量机形成的两个

原创 分类与检索

以下纯属个人见解，如有理解错误，请批评指正分类和检索的区别我感觉图像分类和图像检索都可以分为两部分：图像分类分为特征学习+分类器学习，图像检索分为特征学习+度量学习。最初的图像分类可能是自己设计认为对区分类别有帮助的特征，然后用分类器去分类，通过调整分类器的参数对图像进行分类。后来，也可以学习特征，也就是根据分类器的性能学习好的特征表示，同时也可实现对图像更好的分类。而图像

转载 关于凸优化的一些简单概念

机器学习&数据挖掘笔记_15（关于凸优化的一些简单概念） 　　没有系统学过数学优化，但是机器学习中又常用到这些工具和技巧，机器学习中最常见的优化当属凸优化了，这些可以参考Ng的教学资料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，从中我们可以大致了解到一些凸优化的概念，比如凸集，凸函数，凸优化问题，线性规划，二次规划，二次约束二

转载 如何用VC 6.0 打开Sln的工程文件？

如何用VC 6.0 打开Sln的工程文件？2012-12-27 11:37 18768人阅读 评论(2) 收藏 举报 分类： 版权声明：本文为博主原创文章，未经博主允许不得转载。 如何用VC 6.0 打开Sln的工程文件？在解答这一问题之前，要弄清楚 DSW 文件与 SLN 文件的定义和关系。

转载 流形学习入门篇2

一些知识点的初步理解_2(流形学习,ing...)一. 流形学习的英文名为manifold learning。其主要思想是把一个高维的数据非线性映射到低维，该低维数据能够反映高维数据的本质，当然有一个前提假设就是高维观察数据存在流形结构，其优点是非参数，非线性，求解过程简单。 二. 流形学习的可行性是因为：1.从认知心理学的角度来讲心理学家认为人的认知过程是基于认知流形和拓扑连续性

转载 流形学习入门篇1

流形学习 (2010-01-09 21:26:54)转载▼标签： 杂谈流形学习是个很广泛的概念。这里我主要谈的是自从2000年以后形成的流形学习概念和其主要代表方法。自从2000年以后，流形学习被认为属于非线性降维的一个分支。众所周知，引导这一领域迅速发展的是2000年Science杂志上的两篇文章: Isom

原创 LearningSequences: image caption with region-based attention and scene factorization

这是清华张长水老师实验室的一篇文章，关于image caption小编自己感觉，本文主要的工作就是在于：让视觉转移信息引导单词序列，加入场景信息保证句子的丰富性。具体流程：首先将图像做分割，分成尺度不同的patch，然后从中挑选出好的patch作为备选，然后将每个patch送入CNN中，学习得到patch的特征，将特征送入LSTM。此时再将场景信息加入，共同生成一个句子。接下来，我们将一步

原创 线性子空间

线性代数中子空间的定义设W为数域F上的n维线性空间V的子集合(即W∈V)，若W中的元素满足(1)若任意的α，β∈W，则α+β∈W;(对加法是封闭的)(2)若任意的α∈W，λ∈F，则λα∈W。(对数乘也是封闭的)则容易证明:W也构成数域F上的线性空间。称W是线性空间V的一个线性子空间，简称子空间。

转载 Locally linear embedding (LLE)局部线性嵌入（降维）

Locally linear embedding (LLE)局部线性嵌入（降维） (2014-05-26 11:19:51)转载▼分类： 学术理论 Locally linear embedding (LLE) (Sam T.Roweis and Lawrence K.Saul, 2000)以及Supervised loca

转载 浅谈对主成分分析（PCA）算法的理解

浅谈对主成分分析（PCA）算法的理解分类： 计算机视觉/图像处理2014-04-18 17:45 6417人阅读 评论(0) 收藏 举报以前对PCA算法有过一段时间的研究，但没整理成文章，最近项目又打算用到PCA算法，故趁热打铁整理下PCA算法的知识。本文观点旨在抛砖引玉，不是权威，更不能尽信，只是本人的一点体会。主成分分析（PCA）是多元统计分析中用来分析数据

转载 PCA算法学习_1(OpenCV中PCA实现人脸降维)

PCA算法学习_1(OpenCV中PCA实现人脸降维)　　前言：　　PCA是大家经常用来减少数据集的维数，同时保留数据集中对方差贡献最大的特征来达到简化数据集的目的。本文通过使用PCA来提取人脸中的特征脸这个例子，来熟悉下在oepncv中怎样使用PCA这个类。　　开发环境：ubuntu12.04+Qt4.8.2+QtCreator2.5.1+opencv2.4.2 　　

转载 机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA)

机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(PCA)版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言：    第二篇的文章中谈到，和部门老大一宁出去outing的时候，他给了我相当多

转载 机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用

机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言：    上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去

转载 matlab练习程序（奇异值分解压缩图像)

matlab练习程序（奇异值分解压缩图像)　　介绍一下奇异值分解来压缩图像。今年的上半年中的一篇博客贴了一篇用奇异值分解处理pca问题的程序，当时用的是图像序列，是把图像序列中的不同部分分离开来。这里是用的不是图像序列了，只是单单的一幅图像，所以直接就对图像矩阵进行svd了。　　吴军的《数学之美》里其实已经介绍过用svd进行大数据的压缩了，不过我这里还是针对图像进行介绍一下吧。比如

原创 关于arXive的一点了解

起初因为想要了解某位专家近期的报告，所以经过网上搜索，找到了该专家的一篇论文。不知道论文发表在什么地方，于是就地毯式搜索，终于找到了一个地址，上面是arXive，开始不知道这是神马东西，于是遍搜了一下相关的信息。        arXiv(发音同archive)是一个提供学术文章在线发表的服务器，领域涵盖物理学、数学、非线性科学、计算机科学、定量生命科学、计量金融学和统计学。arXiv

转载 黎曼流形

什么是流形？粗浅地说，2维流形就是3维空间的2维曲面。3维流形就比较难想象，因为在4维空间才能完全“看到”3维流形。流形的特点是在流形上每一点都可以建立局部座标系(实空间)。在座标空间中，座标函数可以确定邻域的拓朴性质。比如，在2维流形上每一点都可以建立座标平面。既然有了空间，就可以在空间中引进度量。所谓度量就是空间中点与点之间的“距离”或“长度”。如果在流形的(局部)空间中可以建立黎曼度量(即存

转载 正则化、归一化含义解析

正则化（Regularization）、归一化（也有称为正规化/标准化，Normalization）是对数据尽心预处理的方式，他们的目的都是为了让数据更便于我们的计算或获得更加泛化的结果，但并不改变问题的本质，下面对他们的作用分别做一下科普，如有不正确之处，求指正！前言需要注意的是，这些名词在不同的领域含义也有点区别，这里仅仅指的是在进行机器学习研究的时候所使用的意义。

原创 机器学习与模式识别、数据挖掘的关系

机器学习是方法，模式识别和数据挖掘是目的

原创 无关