![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
骓不逝兮
如果不努力,你还能干嘛
展开
-
Attention Is All You Need
一、序言 自从Attention机制在提出之后,加入Attention的Seq2Seq模型在各个任务中都有了提升,所以现在的seq2seq模型指的都是结合RNN和Attention的模型。传统的基于RNN的Seq2Seq模型难以处理长序列的句子,无法实现并行,并且面临对齐的问题。所以,之后这类模型的发展多数从三个方面入手:①input的方向性:单向-->双向②深度:单层-->多层③类型:RNN-->LSTM GRU 但是依旧能受到一些潜在问题的制约...转载 2020-05-13 23:40:14 · 176 阅读 · 0 评论 -
RNN——循环神经网络(tensorflow)
1、RNN结构展开RNN(Recurrent Neural Network)是一类用于处理序列数据的神经网络。举例: (当上一个时间输入的数据不同时,会影响后续的数据输出)2、LSTM(Long Short-Term Memory)LSTM是一种时间循环神经网络,是为了解决一般的RNN存在的长期依赖问题而专门设计出来的,3、RNN小例...原创 2020-02-23 18:09:13 · 748 阅读 · 0 评论 -
CNN——卷积神经网络(tensorflow)
1、CNN通过感受野和权值共享减少了神经网络需要训练的参数个数。2、卷积(每次卷积操作有多个卷积核)#卷积层def conv2d(x,W): #x:input tensor of shape [batch,in_height,in_width,in_channels] #W:filter/knerl tensor of shape [filter_heigh...原创 2020-02-23 15:54:34 · 207 阅读 · 0 评论 -
特征提取
原创 2020-06-01 17:44:41 · 1179 阅读 · 0 评论 -
感知器算法
原创 2020-06-01 16:41:07 · 224 阅读 · 0 评论 -
支持向量机
1、线性模型针对于线性可分的情况:最好的划分线为使得 距离 d 最大的直线,其中被该直线插到的向量叫 支持向量。定义:①训练数据及标签其中,, 标签为 1或 -1。②线性模型:(超平面),其中,, b为常数③一个训练集线性可分是指:, 使:对于, 有:若= 1. 则; 若= -1,则综合起来就是, (公式1)事实1:事实2:支持向量机优化问题(凸优化问题,二次规划问题)2、非线性模型3、优化理论...原创 2020-06-01 12:13:49 · 125 阅读 · 0 评论 -
条件随机场——CRF
1、Conditional Random Fields (CRF)CRF 条件随机场,是一种判别模型,可以用于预测序列数据,通过使用过去的上下文信息,使模型达到更好的预测效果。CRF是一个无向图模型,它的节点可以分为两个不相交的集合:观测集X,输出集Y,然后可以对 P(Y|X) 进行建模。2、判别模型 VS 生成模型:判别模型:由数据直接学习决策函数 Y=f(x) 或者条件概率分布 P(Y | X),作为预测值。例如,k邻近,感知机,决策树,支持向量机等。生成模型:先由数据学习联合概率密转载 2020-05-16 10:46:15 · 383 阅读 · 0 评论 -
隐马尔可夫模型-HMM
隐马尔可夫模型(HMM)早期在语音识别、分词等序列标注问题中有着广泛的应用。1、马尔科夫随机过程设随机变量 X(t) 随时间 t(t = t1, t2, t3, ... , tn) 而变化, E为其状态空间,若随机变量 x 满足马尔科夫性,如下:即 X 在 tn 时刻的装填只与其前一时刻状态的值有关,则称该随机变量的变化过程是马尔科夫随机过程,随机变量满足马尔科夫性。2、隐马尔科夫模型(HMM)如图所示是马尔科夫模型的图结构:基于此图结构可知,HMM模型满足如下的性质:(转载 2020-05-14 21:51:37 · 712 阅读 · 0 评论