- 博客(13)
- 资源 (18)
- 问答 (1)
- 收藏
- 关注
原创 神经网络与深度学习笔记——第5章 深度神经网络为何很难训练
第5章 深度神经网络为何很难训练在前面的章节中,我们使用这样的网络可以进行准确率高达 98% 的手写数字的识别!而且,凭直觉地看,我们期望拥有更多隐藏层的神经网络能够变的更加强大。 这样的网络可以使用中间层构建出多层的抽象,正如我们在布尔线路中做的那样。例如,如果我们在进行视觉模式识别,那么在第一层的神经元可能学会识别边,在第二层的神经元可以在边的基础上学会识别出更加复杂的形状,例如三⻆形或
2017-07-30 00:13:05 742
原创 神经网络与深度学习笔记——第4章 神经网络可以计算任何函数的可视化证明
第4章 神经网络可以计算任何函数的可视化证明神经网络拥有一种普遍性。不论我们想要计算什么样的函数,我们都确信存在一个神经网络可以计算它。
2017-07-29 16:37:45 1436
原创 神经网络与深度学习笔记——第3章 改进神经网络的学习方法
第3章 改进神经网络的学习方法改进激活函数我们的神经元是通过改变权重和偏置,并以一个代价函数的偏导数来决定的学习速度。如果学习缓慢,实际上就是说这些偏导数很小。 当神经元的输出接近1的时候,S型曲线变得相当平,所以偏导数就会很小。引入交叉熵代价函数二次代价函数: C=12(y−a)2C=\frac{1}{2}(y-a)^2 二次代价函数计算偏导数: ∂C∂w=(a−y)σ′(z)x\f
2017-07-27 01:14:06 2881
原创 神经网络与深度学习笔记——第2章 反向传播算法
反向传播算法反向传播算法的核心是一个对代价函数关于任何权重(或者偏置)的偏导数的表达式。这个表达式告诉我们,在改变权重和偏置时,代价函数变化的快慢。 反向传播不仅仅是一种学习的快速算法。实际上它让我们细致领悟如何通过改变权重和偏置来改变整个网络的行为。因此,这也是学习反向传播细节的重要价值所在。热身:神经网络中使用矩阵快速计算输出的方法alj=σ(∑kwljkal−1k+blj)a_j^l=\si
2017-07-27 01:12:10 1106
原创 神经网络与深度学习笔记——第1章 使用神经网络识别手写数字
第1章 使用神经网络识别手写数字神经网络使用样本来自动推断出识别手写数字的规则。 通过增加训练样本的数量,网络可以学到更多关于手写数字的知识,这样就能够提升自身的准确性。感知器第一层感知器通过权衡输入依据做出三个非常简单的决定。第二层感知器的每一个都在权衡第一层的决策结果并做出决定,所以,第二层中的感知器可以比第一层的做出更加复杂和抽象的决策。第三层的感知器甚至能够进行更加复杂的决策。以这种
2017-07-25 22:01:35 984 1
原创 线性判别分析
概述需要注意一下,LDA有两种缩写:一种是线性判别分析(Linear Discriminant Analysis)一种是概率主题模型——隐含狄利克雷分布(Latent Dirichlet Allocation)本文讲的是前者。线性判别分析(Linear Discriminant Analysis,LDA)的思想是: 训练时:设法将训练样本投影到一条直线上,使得同类样本的投影点尽可能地接近,异
2017-07-12 00:24:54 1630
原创 支持向量机
优缺点优点:泛化错误率低,计算开销不大,结果易解释。 缺点:对参数调节和核函数的选择敏感,原始分类器不加修改仅适用于处理二类问题。我们希望找到一条分界线,使得它距离 那些离它最近的点 尽可能远。 支持向量(support vector)就是离分隔超平面最近的那些点。类别标签为什么采用-1和+1,而不是0和1呢? 这是由于-1和+1仅仅相差一个符号,方便数学上的处理。我们可以通过
2017-07-11 01:06:25 1117 1
原创 数据中的缺失值处理
使用可用特征的均值来填补缺失值;使用特殊值来填补缺失值,如-1;忽略有缺失值的样本;使用相似样本的均值添补缺失值;使用另外的机器学习算法预测缺失值。如果在测试数据集中发现了一条数据的类别标签已经缺失,那么我们的简单做法是将该条数据丢弃。 这是因为类别标签与特征不同,很难确定采用某个合适的值来替换。
2017-07-11 00:13:08 888
原创 朴素贝叶斯
优缺点优点:在数据较少的情况下仍然有效,可以处理多类别问题。 缺点:对于输入数据的准备方式较为敏感。贝叶斯决策理论的核心思想,即选择具有最高概率的决策。条件概率p(A|B)=p(A,B)p(B)=p(B|A)p(A)p(B)p(A|B)=\frac{p(A,B)}{p(B)}=\frac{p(B|A)p(A)}{p(B)}朴素贝叶斯是贝叶斯分类器的一个扩展,是用于文档分类的常用算法。 朴素贝叶斯
2017-07-10 23:55:17 357
原创 决策树
概述决策树的一个重要任务是为了数据中所蕴含的知识信息,因此决策树可以使用不熟悉的数据集合,并从中提取出一系列规则,在这些机器根据数据集创建规则时,就是机器学习的过程。专家系统中经常使用决策树,而且决策树给出结果往往可以匹敌在当前领域具有几十年工作经验的人类专家。优缺点优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特征数据。 缺点:可能会产生过度匹配问题。信息增益划分数
2017-07-10 23:26:36 325
原创 k-近邻
概述简单地说,k-近邻算法采用计算不同特征值之间距离的方法来进行分类。 k-近邻算法是分类数据最简单最有效的算法。原理k近邻的原理是:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后,将新数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们
2017-07-10 23:05:30 314
原创 自然语言处理
自然语言理解分句使用标点符号分成一句句话。分词结巴分词词性标注命名实体识别句法分析语法树分析句子的结构。省略补全根据对话上下文补全句子。指代消解句子类型分析疑问句,陈述句,祈使句,感叹句。 问句类型分析分类为 Who, What, Why, When, Where句子中词的权重分析句子语义相似度计算句子意图(Intention)和实体识别纠错情感分析
2017-07-10 22:12:33 752
AE的MapControl直接加载Oracle数据(C#)
2016-09-01
shp导入导出Oracle(C#)
2016-09-01
C#连接Oracle10g,11g所需的DLL(无需安装Oracle客户端,版本二)
2015-09-19
C#连接Oracle10g,11g所需的DLL(无需安装Oracle客户端,版本一)
2015-09-19
C#入门经典2010全部源码
2013-10-13
C# 2005 入门经典 全部源码
2013-10-11
C# 入门经典 2012 源码
2013-10-11
C#对XML的操作.rar
2013-10-06
C#对Xml的操作
2013-10-06
C#窗体进度条
2013-10-04
3sdnMap.rar
2013-10-03
ASP.NET上传FTP真的进度条,文件流形式上传
2013-09-12
我的第一个学生信息管理系统
2013-03-15
C#调用EXE程序,欢迎界面显示的问题,Winform
2013-11-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人