AlphaDropout

最新推荐文章于 2024-08-08 09:26:35 发布
最新推荐文章于 2024-08-08 09:26:35 发布
阅读量1.7k 收藏 5
点赞数 1
文章标签： 深度学习 机器学习 概率论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouying_12345/article/details/108981776
版权
AlphaDropout 是一种用于神经网络的正则化技术，特别是在线性层和卷积层之后使用，以防止过拟合。它与 SELU 激活函数结合使用，确保输出具有0均值和单位标准差，保持数据的自规范性。在训练期间，AlphaDropout 会按伯努利分布随机丢弃一部分输入元素，并在评估时关闭以保持模型的稳定性。此方法有助于提高模型泛化能力。
摘要由CSDN通过智能技术生成

目的：防止过拟合，般用在线性层和卷积层后面

基础知识：伯努利分布(Bernoulli distribution)又名两点分布或0-1分布

  • AlphaDropout
    • AlphaDropout是一种保持 self-normalizing 属性的Dropout。对于一个0均值和单位标准差的输入，AphaDropout的输出保持输入的均值和标准差不变。
    • AlphaDropout和SELU激活函数一起使用，保证了输出是0均值和单位标准差。
    • 训练过程中，AlphaDropout会以从伯努利分布中采样到的概率p使一些元素置零。每次前向调用过程中，保留的元素都是随机且会进行缩放和移位以保持0均值和单位标准差。
    • 在评估过程中该模块都是仅仅计算一个恒等函数（评估过程中不进行Dropout）。
    • 更多细节可在论文Self-Normalization Neural Networks（https://arxiv.org/abs/1706.02515）中找到。
    • 参数
      • p - 元素被置零的概率，默认为0.5
      • inplace - 如果设置为True，将会就地执行该操作
    • 形状
      • 输入：输入可以是任意形状
      • 输出：输出和输入的形状相同

对输入施加Alpha Dropout, 是一种保持输入均值和方差不变的Dropout，该层的作用是即使在dropout时也保持数据的自规范性。 通过随机对负的饱和值进行激活。

 

苗老大
关注
Pytorch v0.4.1发布：添加频谱范数，自适应Softmax，优化CPU处理速度，添加异常检测NaN等
jacke121的专栏
10-03 3583
Pytorch v0.4.1发布：添加频谱范数，自适应Softmax，优化CPU处理速度，添加异常检测（NaN等）以及支持Python 3.7和CUDA 9.2支持   一、目录 突破性的变化 新功能 神经网络 自适应Softmax，频谱范数等 Operators torch.bincount，torch.as_tensor，... torch.distrib...
从零基础入门Tensorflow2.0 ----一、3.4 实战深度神经网络（dropout）
胡侃有料的博客
03-11 303
every blog every motto: Happiness is a way station between too much and too little. 0. 前言 实战深度神经网络，dropout 1. 代码部分 1. 导入模块 import matplotlib as mpl import matplotlib.pyplot as plt %matplotlib inline i...
【Python】torch.nn模块中函数详解和示例（一）
不定时分享，互相学习，共同进步
08-06 889
本文对nn.AdaptiveAvgPool1、2、3d，nn.AdaptiveLogSoftmaxWithLoss，nn.AdaptiveMaxPool1、2、3d，nn.AlphaDropout、nn.AvgPool1、2、3d，nn.BCELoss、nn.BCEWithLogitsLoss、nn.BatchNorm1、2、3d、nn.Bilinear 17个nn模块的函数进行详解，包括函数原理、详解和示例。
AlphaDropout和selu的使用
qq_46244851的博客
11-01 2344
AlphaDropout（防止过拟合，一般放在最后几层）和selu（自带批归一化的激活函数,relu的进化版,批归一化，Batch Normalization，就是BN，一般用在线性层和卷积层后面) # tf.keras.models.Sequential() model = keras.models.Sequential() model.add(keras.layers.Flatten(input_shape=[28, 28])) for _ in range(20): model.add(ke
PyTorch简单易懂的解析 Dropout Layers应用，代码示例
CDBmax的博客
01-07 1946
本篇博客全面详细地解析了 PyTorch 框架中的 Dropout Layers 系列，包括nn.Dropout和。这些模块是深度学习中重要的工具，用于提高模型的泛化能力并防止过拟合。文章不仅讲解了每种 Dropout 的用途和应用场景，还提供了相关的使用技巧、注意事项和代码示例。
Pytorch各种Dropout层应用于详解
CDBmax的博客
01-17 2764
本文解析了 PyTorch 框架中的几种关键的 dropout 函数，包括dropoutdropout1ddropout2d和dropout3d。每种方法都针对不同的数据维度和网络特点，提供了有效的过拟合防止和模型正则化策略。
对Dropout的理解精简版
fu6543210的博客
11-20 1370
今天第一次在别人的代码里面看到了dropout 这个功能，找了一下相关的资料大概理解了一些。论文地址 概念 dropout其实挺简单的，一句话说就是每次train的时候（test不会参与dropout），按照一定几率P随机丢弃一些feature或者Input（因为dropout所处的层不同，叫法不同）， 具体做法是把这一项feature设置成0，也不更新权重（不参与bp传播），其他过程不变。但...
alphadropout
07-16
Alpha Dropout是一种变种的Dropout正则化技术，它在神经网络的训练过程中加入随机性，以减少过拟合。 传统的Dropout是通过在训练过程中随机将神经元的输出置为零来实现。而Alpha Dropout则引入了一个参数α（alpha...
【Pytorch实用教程】nn.Dropout、nn.Dropout1d、nn.Dropout2d、nn.Dropout3d、nn.AlphaDropout等的用法、特点、适用场景
最新发布
惊鸿若梦一书生
08-08 239
1. `nn.Dropout`：适用于`全连接层`，随机将输入的单个元素置零。 2. `nn.Dropout1d`：适用于处理`一维特征图`（如`时间序列数据`），随机将整个通道置零。 3. `nn.Dropout2d`：适用于处理`二维特征图`（如图像数据），随机将整个通道置零。 4. `nn.Dropout3d`：适用于处理`三维特征图`（如视频数据或 3D 图像数据），随机将整个通道置零。 5. `nn.AlphaDropout`：适用于使用` SELU 激活函数`的网络，随机将输入的单个元素置零，
PyTorch 中的 dropout Dropout2d Dropout3d
轮子去哪儿了
04-27 9926
文章目录PyTorch 中的 dropout1. [Pytoch 说明文档官网 PyTorch documentation 链接](https://pytorch.org/docs/stable/index.html)1.1. `torch.nn` 中的 `dropout`1.1. `torch.nn` 和 `torch.nn.functional` 中的 `dropout` 功能相同。2. [知乎：PyTorch 中，nn 与 nn.functional 有什么区别？](https://www.zhi
【Python深度学习】零基础掌握Dropout Layers 6种方法
Mr数据杨
12-09 905
通过对PyTorch中各种Dropout Layers的探索，可以看到这些方法如何在模型训练中扮演着重要角色。它们通过随机“遗忘”一部分信息，帮助模型更加健壮，避免过度拟合现象，这就像是在复杂的决策过程中学会放弃某些细节，从而获得更广泛的视野和适应性。这种技术不仅在技术层面上有其独到之处，而且在实际应用中也展现出了极大的潜力，无论是在医疗诊断、金融预测，还是在其他需要深度学习的领域。
Tensorflow2.0学习（4）：深度神经网络的构建以及批归一化、dropout的使用
一枚小白的博客
02-25 1698
深度神经网络 合理地增加神经网络的深度和广度，可以提升模型的表达能力，得到性能更加优秀的模型。 批归一化 是深度神经网络训练的一个技巧 # tf.keras.models.Sequential() 构建模型 # 构建深度神经网络 model = keras.models.Sequential() model.add(keras.layers.Flatten(input_shape=[2...
TensorFlow2.0(四)--Keras构建深度神经网络(DNN)
魔法师の屋子★↓☆
04-03 7770
Keras构建深度神经网络(DNN）1. 深度神经网络简介2. Kerase搭建DNN模型2.1 导入相应的库2.2 数据加载与归一化2.3 网络模型的构建2.4 批归一化，dropout以及selu激活函数2.5 模型编译与训练2.6 模型验证 1. 深度神经网络简介 深度神经网络（Deep Neural Networks，DNN）可以理解为有很多隐藏层的神经网络，又被称为深度前馈网络（DFN）...
18- TensorFlow模型中Keras进阶 (TensorFlow系列) (深度学习)
March_A的博客
02-27 1241
AphaDropout的输出保持输入的均值和标准差不变。二分类是sigmoid, 多分类的话是softmax。BN层可以在激活函数之前, 也可以在激活函数之后。AlphaDropout和SELU激活函数一起使用。# 通常为先激活, 再进行BN。
深度学习入门-框架keras-11keras噪声层与层封装器
chise_
01-10 1476
目录GaussianNoiseGaussianDropoutAlphaDropout GaussianNoise keras.layers.GaussianNoise(stddev) 应用以 0 为中心的加性高斯噪声。 这对缓解过拟合很有用 （你可以将其视为随机数据增强的一种形式）。 高斯噪声（GS）是对真实输入的腐蚀过程的自然选择。 由于它是一个正则化层，因此它只在训练时才被激活。 参数 st...
深层神经网络和批归一化操作、selu激活函数、dropout
weixin_46299363的博客
10-31 1359
深层神经网络其实对比之前的分类模型，他的网络层数更深，层数更多，但是，有时候也会造成过拟合的风险因为参数过多，导致全部拟合完容易记住样本。 model = keras.models.Sequential() model.add(keras.layers.Flatten(input_shape=[28,28])) for _ in range(20): model.add(keras.layers.Dense(100,activation="relu")) model.add(keras.layers
SELU︱在keras、tensorflow中使用SELU激活函数
热门推荐
素质云笔记
08-02 1万+
arXiv 上公开的一篇 NIPS 投稿论文《Self-Normalizing Neural Networks》引起了圈内极大的关注，它提出了缩放指数型线性单元（SELU）而引进了自归一化属性，该单元主要使用一个函数 g 映射前后两层神经网络的均值和方差以达到归一化的效果。 Shao-Hua Sun 在 Github 上放出了 SELU 与 Relu、Leaky Relu 的对比，机器之心对...
keras实战_5.实现批归一化、激活函数、dropout
hm成长之路
12-08 3643
批归一化 model = keras.models.Sequential() model.add(keras.layers.Flatten(input_shape=[28, 28])) for _ in range(20): model.add(keras.layers.Dense(100, activation="relu")) #标准化的好处可以使椭圆分布的数据（梯度下降时难以...
PyTorch教程（5）激活函数(后记）
weixin_43229348的博客
08-17 922
之前的文章已经讲了很多，下面我们来深入讲解激活函数： 放大看一下： 相关激活函数的导数： 激活函数案例 假设你想尝试各种激活函数，来找出哪个激活函数是最好的。会怎么做呢?通常我们执行超参数优化——这可以使用scikit-learn的GridSearchCV函数来完成。但是我们想要比较，所以我们选择一些超参数并保持它们不变，同时改变激活函数。 让我给你们简单介绍一下，我在这里要做的： 使用不同上网激活函数训练相同的神经网络神经模型 利用每个激活函数的结果，绘制一个损失和准确性图。 我们从导入我们所需
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值