- 博客(12)
- 收藏
- 关注
RSS订阅原创 深度学习三：SeqtoSeq
根据输出和输入序列不同数量rnn可以有多种不同的结构，不同结构自然就有不同的引用场合。如下图，one to one 结构，仅仅只是简单的给一个输入得到一个输出，此处并未体现序列的特征，例如图像分类场景。 one to many 结构，给一个输入得到一系列输出，这种结构可用于生产图片描述的场景。 many to one 结构，给一系列输入得到一个输出，这种结构可用于文本情感分析，对一些列的文本输入进行分类，看是消极还是积极情感。 many to many 结构，给一些列输入得到一系列输出，这种结构可
2021-08-18 20:49:33
3776
原创 机器学习算法七：常见的聚类算法
聚类算法（无监督学习）K-means(k-均值聚类)：基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。（欧氏距离）基本思想：基于给定的目标函数，算法采用迭代更新的方法，每次迭代向目标函数减少的方向更新，最终目标函数取极小值； 原理： 随机选择一个点，后在剩余的n-1个点中的尽可能选择距离最远的一个作为簇初始结点； 将K类别中的分别聚类到当前质心最近的簇中； 分配完所有结点，更新K簇质心位置； 将所有结点重新分配于最近的结点（在簇间移动）； 重
2021-08-05 10:31:40
780
原创 处理回归问题常见的算法
7.处理回归问题常见的算法：回归属于有监督学习的一种，其从连续的统计数据中的到数学模型，然后使用生成的模型用于预测和分类。 线性回归：给定数据集，其中线性回归模型通过对数据集的学习生成一个线性模型，以预测实际输出的标记。模型推导：线性回归，根据大数定律和中心极限定律假定样本无穷大的时候，其真实值和预测值的误差ε 的累加和服从u=0,方差=δ²的高斯分布且独立同分布，然后把ε=y-Øx 代入公式，就可以化简得到线性回归的损失函数。3.普通最小二乘回归（OSL回归）：本质：主要用于线性回归的
2021-08-03 17:37:51
1781
原创 深度学习算法二：RNN
循环神经网络（RNN）：包括输入层、隐含层、输出层；包含自循环结构，一般处理序列数据；网络结构如下： 其初始化状态a<0>=0，计算其状态及输出，如下：其中a为隐层结点的状态，激活函数也可以为ReLu；则t时刻隐藏层和输出结果计算公式为：为了提高并行计算能力，将参数转化为矩阵，拼接到一起计算；即：；输出层计算不变。RNN的反向传播：（随时间反向传播BPTT）按照时间t进行反向传播；即将输出端的误差值反向传播，运用梯度下降的方法进行参数更新。1）计.
2021-08-03 11:42:53
1894
原创 深度学习算法一：CNN
神经网络核心组件：层：神经网络的基本结构，将输入张量转变为输出张量； 模型：层构成的网络； 损失函数：参数学习的目标函数，通过最小化损失函数来学习参数； 优化器：确定如何使损失函数最小；卷积神经网络：包括卷积层、池化层、全连接层和输出层；一般处理网状数据；卷积层： 局部感知，对于图片中的每一个特征首先局部感知，然后更高层次对局部进行综合操作，从而得到全局信息。卷积运算：用卷积分别乘以输入张量中的每个元素，然后输出一个代表每个输入信 息的张量。如下图（图片来源于：https://blog
2021-08-02 11:01:16
987
原创 机器学习算法六：多层感知机（MLP）
感知机模型：将线性可分的数据，利用一个线性超平面将其分类；（感知机只有输出层神经元进行激活函数处理，即只有一层功能神经元）其模型公式为：其中 感知机模型损失定义：其中M表示误分类结点的集合；多层感知机就是含有至少一个隐藏层的由全连接层组成的神经网络，且每个隐藏层的输出通过激活函数进行变换。（最简单的MLP只有一个隐含层如下图。） 隐藏层与输入层是全连接的，假设输入层用向量X表示，则隐藏层的输出就是 f (W1X+b1)，W1是权重（也叫连接系数），b1是偏置，函数f可以是常用的
2021-07-30 10:51:20
16348
原创 机器学习算法五：随机森林（Random Forest）
参考集成学习：通过构建并结合多个学习器来完成学习任务；集成学习中主要包括boosting算法和bagging算法；★boosting算法：（线性集成）关注于降低偏差；从初始训练集训练一个基学习器 根据①训练效果，对于训练集中的每个样本建立权值wi，表示对每个样本的关注度。当某个样本被误分类的概率很高时，需要加大对该样本的权值。 调整样本分布后，训练下一次的基学习器； 进行迭代后，直至基学习器数量达到指定值T，后采用某种策略将其组合，作为最终模型。（每一步迭代都是一个弱分类器）代表算法
2021-07-27 17:25:55
1131
原创 机器学习算法四：贝叶斯分类器
贝叶斯分类器:基于概率和误判损失来选择最优类别标记；计算在样本上能使条件分险R（c|x）最小的类别标记，h*为最优分类器；概率：贝叶斯分类器是基于联合分布概率计算的一种生成式模型，其计算公式；其中c为标签类别，x为特征；p(c)为类的先验概率；p(x|c)为样本x相对于类标记c的类条件概率，即“似然”；p(x)是用于归一化的证据因子，与类别标记无关；☆先验概率：是指根据以往经验和分析得到的概率。☆后验概率：事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小。误判损..
2021-07-26 15:47:31
529
原创 机器学习算法三：逻辑回归
逻辑回归：logistic回归是一种广义的线性回归，通过构造回归函数，利用机器学习来实现分类或者预测。线性模型：通过特征的线性组合预测的函数。其一般向量格式为： 线性模型具有较好的可解释性，w表示不同特征对标签预测的重要性。（2）原理：本质上是线性回归，只是在特征到结果的映射中加入了一层函数映射，即先把特征线性求和，然后使用函数g(z)将最为假设函数来预测在特征x的线性组合下，标签y发生的概率值，同时通过最大似然估计对模型W,b进行最优参数估计，以更新线性模型参数，以更好地拟...
2021-07-23 16:31:46
378
原创 机器学习算法二：支持向量机（SVM）
简介：支持向量机（support vector machines, SVM）是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器， 原理：基于训练集在样本空间中寻找一个划分超平面，将不同类别的样本分开。寻找间隔最大的超平面，即：● 距离计算：点x到超平面（w，b）的距离：● 间隔计算:两个异类支持向量的差在 w 上的投影，即：● 由于和表示两个正负支持向量，则两点均满足（其中y表示样本的类比当X为正例的时候Y=+1，当X为负例的时候Y=-1）：...
2021-07-20 22:15:18
2705
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人