- 博客(22)
- 收藏
- 关注
RSS订阅原创 Deep Image Prior-1
Deep Image Prior-1这是GitHub上的一个项目《Deep image prior》。项目相关的论文是2017年11月29号第一次提交到arxiv并紧接着30号就提交了V2版本的。深度卷积网络已经成为图像生成和重建的常用工具。人们猜想，他们优秀的表现是归功于他们能够从大量图像样本中学习到真实图像先验的能力。而相反，Dmitry Ulyanov等人展示生成网络在经过任何学习之前就...
2019-01-08 16:24:46
1500
转载 （转载）经典的几个卷积神经网络（基本网络）
深度学习笔记7-经典卷积神经网络（LeNet5，AlexNet，VGGNet，Google Inception Net和ResNet）LeNet5，AlexNet，VGGNet，Google Inception Net和ResNet是按照出现的先后顺序排列的，深度和复杂度也依次递进。LeNet5LeNet5 诞生于1994年，是最早的深层卷积神经网络之一，并且推动了深度学习的发展。LeNet...
2019-01-03 22:02:58
259
翻译 深度学习笔记6-数据增强
深度学习笔记6-数据增强一般而言，神经网络有数以万计的参数，这需要大量的数据集来进行训练。但数据是宝贵的，实际情况下数据是有限的。为了增加训练的数据量，提高模型的泛化能力，同时增加噪声数据，提升模型的鲁棒性，这就需要用到数据增强（data augmentation）。数据增强有两种方式：一种是离线增强，它预先进行所有必要的变换，从根本上增加数据集的规模，一般适用于相对较小的数据集，因为无法负担...
2019-01-03 20:45:36
601
翻译 深度学习笔记5-tensorflow实现卷积神经网络
深度学习笔记5-tensorflow实现卷积神经网络在股票等预测模型中，可以从原始数据提取金融因子等特征。而图像则无有效特征，只能借助SIFT、HOG等提取有效特征，再集合SVM等机器学习算法进行图像识别。卷积神经网络（CNN）提取的特征则可以达到更好的效果，同时它不需要将特征提取和分类训练两个过程分开，它在训练时就自动提取了最有效的特征。CNN可以直接使用图像的原始像素作为输入，而不必先使用S...
2019-01-03 11:50:47
281
翻译 深度学习笔记3-优化函数
深度学习笔记3-优化函数深度学习的优化算法有随机梯度下降法（SGD）、标准梯度下降法（BGD）、小批量梯度下降法（MBGD）、Momentum梯度优化（SGDM）、Adagrad、RMSprop、Adam等等算法。SGD、BGD、MBGD很好理解，且在感知机那一节也有简述，不再介绍了。以下重点介绍后四种：Momentum梯度优化（SGDM）Momentum梯度优化的表达式为：v=mμ×...
2018-12-30 16:44:33
274
翻译 深度学习笔记2-激活函数
深度学习笔记2-激活函数目前激活函数有sigmoid、Tanh、ReLU、LeakyReLU、ELU。Sigmoid函数Sigmoid函数表达式f(x)=11+e−xf(x) = \frac{1}{{1 + {e^{ - x}}}}f(x)=1+e−x1Sigmoid函数在远离坐标原点的时候，函数梯度非常小，在梯度反向传播时，会造成梯度消失（梯度弥散），无法更新参数，即无法学习。另外...
2018-12-29 23:43:57
224
翻译 深度学习笔记1-神经网络
深度学习笔记1-神经网络神经元与多层网络神经网络中最基本的成分是神经元模型，目前基本上用的都是“M-P神经元模型”。在这个模型中，神经元接收到来自nnn个其它神经元传递过来的输入信号，这些输入信号通过带权值的链接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。激活函数可以是阶跃函数，它将输入值映射为输出为“0”或“1”。但阶跃函数具...
2018-12-29 15:54:46
726
翻译 机器学习笔记14-特征选择
机器学习笔记14-特征选择为什么要进行特征选择：（1）减轻维数灾难的问题，这与降维的动机相似；（2）去除不相关的特征会降低学习难度。如何构建特征选择子集：（1）前向搜索：逐个添加特征；（2）后向搜索：从所有特征中逐个剔除特征。如何评价特征选择子集：信息增益常见的特征选择方法大致可分为三类：过滤式、包裹式、和嵌入式。过滤式：先对数据集进行特征选择，然后再训练学习器，特征选择过程与后续学习器...
2018-12-28 23:34:37
233
翻译 机器学习笔记13-降维
机器学习笔记13-降维低维嵌入在高维情形下数据样本会出现稀疏、距离计算困难等问题，称为“维数灾难”，缓解维数灾难的一个重要途径是降维，即通过数学变换将原始高维属性空间转变为一个低维子空间，在这个子空间中样本密度大幅提高，距离计算也变得更为容易。若要求原始空间中样本之间的距离在低维空间中得以保持，即得到“多维缩放”（MDS）这一经典的降维方法。MDS算法假定m个样本在原始空间的距离矩阵为...
2018-12-28 22:42:36
338
翻译 机器学习笔记12-聚类
机器学习笔记12-聚类在“无监督学习”中，训练样本的标记信息是未知的，目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律。此类学习任务中研究最多的是聚类。此外，无监督学习还有密度估计、异常检测等。常见的聚类包括原型聚类、密度聚类、层次聚类等。原型聚类此类算法假设聚类结果能通过一组原型刻画。通常情形下，算法先对原型进行初始化，然后对原型进行迭代更新求解。（1）k均值算法给定样本...
2018-12-28 15:33:33
145
翻译 机器学习笔记11-EM算法及其推广
机器学习笔记11-EM算法及其推广EM算法是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两部组成：E步，求期望（expectation）；M步，求极大（maximization）。EM算法的引入我们面对一个含有隐变量的概率模型，目标是极大化观测数据YYY关于参数θ\thetaθ的对数似然函数，即极大化L(θ)=log(P(Y∣θ))...
2018-12-27 23:21:53
204
翻译 机器学习笔记10-梯度提升树（GBDT）
机器学习笔记10-梯度提升树（GBDT）在上一节中讲到了集成学习的Boosting方法，并详细解释了其中的代表性算法AdaBoost算法。除了AdaBoost算法外，Boosting中还有另一个非常常用的算法：提升树和梯度提升树（GBDT）。提升树提升树是以分类树或回归树为基本分类器的提升方法，可以表示为加法模型：fM(x)=∑m=1MT(x;θm){f_M}(x) = \sum\lim...
2018-12-27 00:03:54
275
翻译 机器学习笔记8-支持向量机（3/3）
机器学习笔记8-支持向量机（3/3）scikit-learn中的SVM函数机器学习库scikit-learn中也集成了SVM的函数，可以方便的进行调用，可用来分类、回归和异常点检测。支持向量机的优点有：i)在高维空间效果很好ii)当维度数大于样本点数时，效果仍然不错iii)决策函数只取决于数据集中的支持向量，能够减轻内存压力iv)决策函数中可以选不同的核函数从而实现多种功能。可以使...
2018-12-25 17:22:51
234
翻译 机器学习笔记7-支持向量机（2/3）
机器学习笔记6-支持向量机（2/2）线性支持向量机对于线性不可分数据，线性可分支持向量机不适用，因为其不等式约束并不能都成立。线性不可分意味着某些样本点(xi,yi)(x_i,y_i)(xi,yi)不能满足函数间隔大于等于一的约束条件，这时可对每个样本点(xi,yi)(x_i,y_i)(xi,yi)引入一个松弛变量ξi≥0{\xi _i} \ge 0ξi≥0，使函数间隔加上松弛变...
2018-12-25 10:50:02
190
翻译 机器学习笔记5-决策树
机器学习笔记5-决策树决策树是一种基本的分类与回归方法。决策树学习通常包括三个步骤：特征选择、决策树的生成和决策树的剪枝。一般一个决策树包含一个根结点，若干个内部结点和若干个叶结点。叶结点对应于决策结果，其它的每个结点则对应于一个属性测试。每个结点包含的样本集合根据属性测试的结果被分到子结点中。根结点包含样本全集。特征选择。特征选择会选取对训练数据具有分类能力的特征，这样可以提高决策树学习...
2018-12-21 17:16:14
246
翻译 机器学习笔记4-朴素贝叶斯
机器学习笔记4-朴素贝叶斯朴素贝叶斯是基于贝叶斯定理和特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定输入x，利用贝叶斯定理求出后验概率最大的输出y。它经常被应用在文本分类中，包括互联网新闻的分类，垃圾邮件的筛选。假定P(X,Y)P(X,Y)P(X,Y)是X,YX,YX,Y的联合概率分布。训练数据集T={(x1,y1...
2018-12-20 16:17:01
168
1
翻译 机器学习笔记3-k近邻法
机器学习笔记3-k近邻法k近邻法输入为实例的特征向量，对应于特征空间中的点；输出为实例的类别。分类时，会根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k近邻法不具有显示的学习过程。它包括三个基本要素：k值的选择、距离度量以及分类决策规则。k值的选择会对算法结果产生重要影响。当选择较小的k值时，只有与实例点较近的训练实例会对预测结果起作用，近似误差会减小。但预测结果会对近...
2018-12-20 10:41:11
277
翻译 机器学习笔记2-感知机
机器学习笔记2-感知机感知机是二分类的线性分类模型，输入为实例的特征向量，输出为实例的类别，取+1和-1两个值。感知机学习旨在求出将训练数据进行线性划分的分离超平面，损失函数基于误分类，利用梯度下降法对损失函数进行极小化。（感知机模型是神经网络和支持向量机的基础）感知机具有形式f(x)=sign(wx+b)f{\rm{(}}x{\rm{)}} = {\rm{sign(}}wx + b{\rm{...
2018-12-19 16:03:04
260
翻译 机器学习笔记1-基本概念
机器学习笔记1-基本概念机器学习主要包括监督学习、非监督学习、半监督学习和强化学习等。实现方法包括模型、策略、算法三个要素。模型。在监督学习中，模型就是所要学习的条件概率分布或决策函数。策略。策略考虑的是按照什么样的准则学习或选择最优的模型，即选择损失函数。为了防止过拟合，一般会选择正则化的损失函数。正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。比如，正则化项可以是模...
2018-12-18 23:27:09
123
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人