关于重参数(Reparameterization)

最新推荐文章于 2024-10-05 20:29:46 发布
最新推荐文章于 2024-10-05 20:29:46 发布
阅读量5k 收藏 3
点赞数
文章标签： 深度学习
原文链接：https://spaces.ac.cn/archives/6705
版权
博客提供了一个链接https://spaces.ac.cn/archives/6705 ，称其内容很详细，与深度学习相关。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

zouxiaolv
关注
【人工智能的数学基础】概率分布的重参数化(Reparameterization)技巧
AI天才研究院
06-26 5268
*重参数化(reparameterization)**是指把从有参数的分布。方法实现了从离散的类别分布中采样的过程，且采样的随机性转移到无参数的均匀分布。然而直接采样的过程无法计算梯度，因此引入重参数化技巧。直接计算上述积分比较困难，因此通过采样实现重参数化：先从一个无参数的分布。上式表示为有限项的求和形式，理论上是可以求得解析解的。方法是一种依概率采样类别的方法，假设每个类别出现的概率是。形式，对应类别分布越尖锐，然而梯度消失情况也越严重。中采样，从而实现目标函数及其梯度的计算。
重参数化技术（RepVGG, RepOptimizer）
专注人工智能，主攻CV
04-16 5950
一方面，大量研究表明，多分支网络架构的性能普遍优于单分支架构；另一方面，相比多分支架构，单分支架构更有利于部署。那么有没有可能训练时采用多分支架构，而推理时使用单分支呢？私以为，Re-parameterization is All You Need！！！
重参数 (Reparameterization)
连理o的博客
07-09 5641
重参数、Gumbel softmax、REINFORCE
【DL】关于重参数(Reparameterization)
wjn922的博客
10-21 9068
最近在看关于生成模型的内容，在VAE中对KL Divergence的计算，以及RelGAN中的Gumbel-Softmax，都涉及到了**重参数(Reparameterization trick)**这一概念。 这里有一篇写得非常好： 重参数详解 另外两个关于Gumbel-Softmax的链接： 1 2 ...
Reparameterization 重参数/Gumbel-Max/Gumbel-Softmax
jinghui_7的博客
03-22 1385
1、三者之间的关系 重参数是一种处理期望形式目标函数的方法，处理这种目标函数意味着要从分布中采样。该分布中带有参数，如果直接采样的话，就会失去参数的梯度。而重参数提供这样一种变换，是我们可以直接从分布中采样，并且保留参数的梯度。 如果从离散分布中采样，需要定义一种可微分的与离散分布近似的取样方法，这就需要用到Gumbel-Softmax。 Gumbel-Max是Gumbel-Softmax的基础，提供了一种从类别分布中采样的方法。但Gumbel-Max因为存在取最大值的操作，故其不可导。而...
结构重参数化（Structural Re-Parameters）
Yezy
11-27 1301
本文首先总结了六种不同的结构重参数化的转换方法，然后借鉴Inception的多分支结构提出了一种新的building block：Diverse Branch Block（DBB），在训练阶段，对模型中的任意一个K×K 卷积，都可以用DBB替换，由于DBB引入了不同感受野、不同复杂度的多分支结构，可以显著提升原有模型的精度。ACB作为一种即插即用的结构，对于任意现有的模型，在训练阶段用ACB替换其中的方形卷积核，几乎都可以带来精度的提升，并且没有引入新的超参，无需额外的微调。维度便是特征图所包含的通道数。
机器学习笔记之变分推断(五)重参数化技巧
静静的学习就好
09-19 3339
上一节介绍了随机梯度变分推断(Stochastic Gradient Variational Inference,SGVI)。本节将介绍SGVI求解过程中遇到的问题，并针对为题介绍一种处理方法——重参数化技巧。
【有啥问啥】结构重参数化(Structural Re-parameterization)：一种提高深度学习模型推理效率的技术介绍
Chauvin的博客
08-02 2490
深度学习模型通常在训练阶段需要复杂的网络结构来达到高性能，但在推理阶段（即实际使用阶段）我们希望模型尽可能简单，以提高速度和减少资源消耗。结构重参数化（Structural Re-parameterization）技术就是为了解决这个问题而诞生的。今天我们将通过通俗易懂的解释和详细的代码示例，帮助你理解这种神奇的技术。结构重参数化技术通过在训练和推理阶段使用不同的网络结构，有效地平衡了模型性能和推理效率。在深度学习模型的实际应用中，尤其是在资源受限的环境中，这种技术可以大大提高模型的实用性和效率。
在线卷积重参数化：降低训练成本，提升性能
为了解决这个问题，"在线卷积重参数化"（Online Convolutional Reparameterization，简称OREPA）是一种新的技术，旨在在不牺牲推理时间效率的情况下提升模型性能。 传统的结构重参数化方法在推理过程中表现出色，但...
深度学习中的不可导操作(次梯度和重参数化).
weixin_45519842的博客
01-30 1708
深度学习中的不可导操作(次梯度和重参数化). 主要包括两大类 次梯度 重参数技巧 VAE中对高斯分布的重参数 离散分布的采样Gumbel-softmax Gumbel-Softmax Trick 证明 为什么需要gumbel-softmax Ref 知乎专栏对公式支持较好, 见 https://zhuanlan.zhihu.com/p/97465608 个人公众号 图与推荐 次...
Reparameterization trick（重参数化技巧）
sinat_34156619的博客
10-05 681
在VAE中常使用重参数化技巧实际上是希望从均值为mu，方差为logvar中进行采样，然后将采样结果进行处理，得到损失函数。但是这里采样是一个随机性的操作，他并有没一个公式来用于反向传播求微分。那么重参数化的技巧就是把采样的这个步骤变成一条公式，如上面代码所示。只要是一条确定的公式，就可以进行微分，去优化mu和logvar。原始的采样过程由于其随机性，来描述如何直接从分布中采样。因此，它是的，因为我们不能通过梯度计算来优化这个过程。通过，我们确实为这个随机采样过程找到了一个。
结构重参数化
qq_37174487的博客
03-23 1487
结构重参数理解
重参数化（Reparameterization）的原理
yangweipeng708的博客
04-23 7279
因为隐含变量是从某个分布中采样的，这直接导致了当我们尝试使用梯度下降方法优化VAE的参数时，由于采样操作的随机性，无法直接对其求导。在VAE中，我们的目标是最大化观测数据的边缘对数似然，这涉及到一个隐含变量。这样，原本依赖于随机采样的模型输出现在变成了依赖于确定性函数的输出，使得整个模型关于其参数可微，从而可以通过标准的反向传播算法进行优化。重参数化技巧通过将随机采样过程转换为确定性的操作来解决这一问题。具体来说，它将随机变量。函数接收从编码器生成的均值和对数方差，然后生成一个随机样本。
深度学习算法中的变分自编码器中的重参数化技巧（Reparameterization Trick in Variational Autoencoders）
牛肉胡辣汤
09-27 662
在深度学习中，变分自编码器（Variational Autoencoder，VAE）是一种有效的无监督学习算法，主要用于学习输入数据的潜在表示。在VAE中，我们通过引入隐变量来增强模型灵活性，同时使用重参数化技巧来构建一个概率模型，该模型可以将输入数据编码为隐变量，并解码为输出数据。重参数化技巧的主要优势在于，它允许我们使用梯度下降方法来优化似然函数，从而解决了传统自编码器中优化困难的问题。在训练过程中，我们使用重参数化技巧来构建似然函数，并使用梯度下降方法来优化该函数。
模型压缩——重参数化
热门推荐
填坑
06-24 1万+
模型压缩重参数化
重参数化技巧
Drug discovery
12-20 8254
训练时： 训练资源一般是相对丰富的，我们更在意推理时的开销和性能，因此我们想要训练时的结构较大，具备好的某种性质(更高的精度或其他有用的性质，如稀疏性【节省空间】)， 推理时：转换得到的推理时结构较小且保留这种性质(相同的精度或其他有用的性质)。这样一来，训练时的结构对应一组参数，推理时我们想要的结构对应另一组参数；只要能把前者的参数等价转换为后者，就可以将前者的结构等价转换为后者。 结构A对应一组参数X，结构B对应一组参数Y，如果我们能将X等价转换为Y，就能将结构A等价转换为B。 结构重参数的意
论文速读：Online Convolutional Re-parameterization
u014546828的博客
05-21 1551
Paper: https://arxiv.org/pdf/2204.00826v1.pdf Codes are available at https: //github.com/JUGGHM/OREPA_CVPR2022.
扩散模型的采样 重参数
最新发布
01-08
### 扩散模型中的重参数化技巧 在扩散模型中，为了使反向传播能够通过随机变量传递梯度，在采样过程中通常采用重参数化技巧。具体来说，对于给定的时间步 t 和对应的噪声水平 $\sigma_t$，可以通过引入独立的标准正态分布变量 $\epsilon \sim N(0, I)$ 来表示当前时间步下的样本 $x_t$： \[ x_t = \sqrt{\alpha_t} x_0 + \sigma_t \epsilon \] 其中，$\alpha_t$ 是与特定时间步关联的比例因子[^1]。 这种方法允许直接计算损失函数相对于输入图像 $x_0$ 的梯度，而不需要对随机噪声本身求导数。因此，可以有效地利用自动微分工具优化模型参数。 #### 实现代码示例 下面是一个基于PyTorch框架实现上述公式的简单例子: ```python import torch from torch.distributions import Normal def reparameterization_trick(x_0, alpha_t, sigma_t): """ 应用重参数化技巧生成带有时序t的样本xt 参数: x_0 (Tensor): 初始数据点 alpha_t (float or Tensor): 时间步t处的比例系数 sigma_t (float or Tensor): 噪声标准差 返回: xt (Tensor): 经过重参数化的样本 """ normal_dist = Normal(loc=0., scale=1.) epsilon = normal_dist.sample(sample_shape=x_0.shape).to(device=x_0.device) sqrt_alpha_t = torch.sqrt(alpha_t) xt = sqrt_alpha_t * x_0 + sigma_t * epsilon return xt ``` 此函数接收初始状态 `x_0` 及两个超参 `alpha_t`, `sigma_t` 并返回经过变换后的张量 `xt`。这里假设所有操作都在GPU上执行；如果是在CPU环境中，则无需指定设备属性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值