![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI相关概念原理
zh3389
无穷无尽的人工智能路上.
展开
-
如何让电脑学会自己玩游戏
如何让电脑学会自己玩游戏所用技术: 强化学习 -> Q_learning可以解决问题的示例:在计算机只知道它的动作只有上下左右和复制粘贴这六个动作的情况下 学会如何将上一行的文字复制到输出框走一维, 二维或三维迷宫, 或者在有陷阱,有奖励的情况下. 获得最大收益或减少成本.让计算机玩赌博游戏. 比如猜轮盘转出来的数字,猜对有奖励, 或者选择离开赌桌. 最长期的收益则是计算机选择离开赌桌.该技术可玩游戏类型的限制:可玩: 状态有限, 动作有限. (其中一个 精确的解.)不可玩:原创 2020-06-11 09:46:22 · 1143 阅读 · 0 评论 -
NLP(文本分类思路)
github博客传送门博客园传送门加载词嵌入矩阵(一般情况为字典形式 {词0:300维的向量, 词1:300维的向量, 词2:300维的向量…})加载任务数据(一般情况为字符串形式 “我喜欢编程” 或者 “I love play computer”)对加载的所有任务数据求一个最大字符串长度 以便后面将所有数据填充至一样的长度将每条数据以每个样本的形式存入列表 [“我在家”, “他在打...原创 2019-03-19 20:06:57 · 1156 阅读 · 0 评论 -
R-CNN , Fast R-CNN , Faster R-CNN原理及区别
github博客传送门博客园传送门RCNN1、生成候选区域使用Selective Search(选择性搜索)方法对一张图像生成约2000-3000个候选区域,基本思路如下:(1)使用一种过分割手段,将图像分割成小区域(2)查看现有小区域,合并可能性最高的两个区域,重复直到整张图像合并成一个区域位置。优先合并以下区域:颜色(颜色直方图)相近的纹理(梯度直方图)相近的合并后总面积小...原创 2019-01-06 13:29:40 · 1455 阅读 · 0 评论 -
经典网络结构(LeNet , AlexNet , VGG , GoogLeNet)剖析
github博客传送门csdn博客传送门博客园传送门参考: https://my.oschina.net/u/876354/blog/1797489LeNetC1层(卷积层):6@28×28(1)特征图大小 ->(32-5+1)×(32-5+1)= 28×28(2)参数个数 -> 5×5+1)×6= 156 其中5×5为卷积核参数,1为偏置参数(3)连接数 -&gt...原创 2019-01-06 13:23:55 · 1569 阅读 · 0 评论 -
如何确定梯度爆炸和解决梯度爆炸
github博客传送门博客园传送门如何确定是否出现梯度爆炸?训练过程中出现梯度爆炸会伴随一些细微的信号,如:模型无法从训练数据中获得更新(如低损失)。模型不稳定,导致更新过程中的损失出现显著变化。训练过程中,模型损失变成 NaN。如果你发现这些问题,那么你需要仔细查看是否出现梯度爆炸问题。以下是一些稍微明显一点的信号,有助于确认是否出现梯度爆炸问题。训练过程中模型梯度快速变...原创 2018-12-23 14:56:38 · 2860 阅读 · 0 评论 -
神经网络的调参效果不理想时->(解决思路)
github博客传送门博客园传送门非过拟合情况是否找到合适的损失函数?(不同问题适合不同的损失函数)(理解不同损失函数的适用场景)batch size是否合适?batch size太大 -> loss很快平稳,batch size太小 -> loss会震荡(理解mini-batch)是否选择了合适的激活函数?(各个激活函数的来源和差异)学习率,学习率小收敛慢,学习率大lo...原创 2018-12-23 14:30:33 · 2176 阅读 · 0 评论 -
深度学习(偏差/方差 - 欠拟合/适度拟合/过拟合)网络分析技巧
github博客传送门博客园传送门我们称左边的为图一,中间的为图二,右边的为图三从图上我们可以看到有两个数据分布 , 我们需要将他们进行分类开.图一:处于欠拟合(训练时间不够或者网络结构较小的时候产生的) 我们也称之为高偏差 .检测方法: 计算出训练集的误差和理想误差的差距 , 并估计是否存在高偏差 .解决办法: 增加训练时间 , 使用较大的网络结构 , 尝试更先进的优化算法(如A...原创 2018-12-22 11:56:06 · 502 阅读 · 0 评论 -
深度学习(训练/开发/测试集)的划分技巧
github博客传送门博客园传送门小数据量时代(100 - 1000 - 10000条左右):一. ==70%==训练集 , ==30%==测试集二. ==60%==训练集 , ==20%==交叉验证集 , ==20%==测试集大数据量时代(1000000条左右或更多):一. ==98%==训练集 , ==1%==交叉验证集 , ==1%==测试集二. ==99.5%==训练集 , ...原创 2018-12-22 11:25:05 · 2236 阅读 · 0 评论 -
激活函数必要的属性
github博客传送门博客园传送门神经网络中激活函数的真正意义?一个激活函数需要具有哪些必要的属性?还有哪些属性是好的属性但不必要的?1. 非线性:即导数不是常数。这个条件是多层神经网络的基础,保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。2. 几乎处处可微:可微性保证了在优化中梯度的可计算性。传统的激活函数如sigmoid等满足处处可微。对于分段线性函数比如ReLU,只...原创 2018-12-26 19:30:06 · 2888 阅读 · 2 评论 -
什么样的数据集不适合用深度学习?
github博客传送门博客园传送门什么样的数据集不适合用深度学习?数据集太小,数据样本不足时,深度学习相对其它机器学习算法,没有明显优势。数据集没有局部相关特性,目前深度学习表现比较好的领域主要是图像/语音/自然语言处理等领域,这些领域的一个共性是局部相关性。图像中像素组成物体,语音信号中音位组合成单词,文本数据中单词组合成句子,这些特征元素的组合一旦被打乱,表示的含义同时也被改变。对于...原创 2018-12-26 19:23:19 · 3708 阅读 · 2 评论 -
迁移学习的使用注意事项
github博客传送门博客园传送门什么是fine-tuning?在实践中,由于数据集不够大,很少有人从头开始训练网络。常见的做法是使用预训练的网络(例如在ImageNet上训练的分类1000类的网络)来重新fine-tuning(也叫微调),或者当做特征提取器。以下是常见的两类迁移学习场景:卷积网络当做特征提取器。使用在ImageNet上预训练的网络,去掉最后的全连接层,剩余部分当做...原创 2018-12-26 19:19:13 · 1049 阅读 · 0 评论 -
BP 算法手动实现
github博客传送门博客园传送门本章所需知识:numpymatplotlib资料下载链接:深度学习基础网络模型(mnist手写体识别数据集)梯度下降 BP 算法手动实现import numpy as npimport matplotlib.pyplot as pltx = np.linspace(1, 100, 100) # 造出一些100个伪数据 范围在 1,1...原创 2018-11-02 22:27:48 · 623 阅读 · 0 评论 -
损失函数的选择
github博客传送门博客园传送门损失函数的迭取取决于输入标签数据的类型:如果输入的是实数,无界的值,损失函数使用平方差;如果输入的标签是位矢量(分类标志)使用交叉熵会更合适均值平方差(Mean Squared Error, MSE)也称均方误差神经网络中:表达预测值与真实值之间的差异数理统计中:指参数估计值与参数真值之差平方的期望值均方误差的值越小,表明模型越好MSE: Mean...原创 2018-11-04 15:13:29 · 1091 阅读 · 0 评论 -
反向传播常用优化器
github博客传送门博客园传送门计算出损失值后,这个损失值越小越好,梯度下降的算法就用在这里,帮助寻找最小的那个损失值,从而反推出 w 和 b 达到优化模型的效果常用的梯度下降法可以分为:批量梯度下降:遍历全部数据集算一次损失,计算量大,计算速度慢,不支持在线学习随机梯度下降:每看一个数据,就算一下损失,速度快,收敛性能不太好,较低点震荡比较剧烈小批量梯度下降法:将数据分为多批,按...原创 2018-11-04 14:29:05 · 1691 阅读 · 0 评论 -
梯度下降
摘自https://www.cnblogs.com/pinard/p/5970503.html在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。梯度在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y...转载 2018-09-18 18:05:29 · 369 阅读 · 0 评论