pyro plate的介绍，plate也能设置cuda pytorch概率编程 贝叶斯神经网络

最新推荐文章于 2024-08-30 22:25:47 发布
最新推荐文章于 2024-08-30 22:25:47 发布
阅读量274 收藏 6
点赞数 20
文章标签： 神经网络 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangfeng1133/article/details/141719386
版权

class plate(name: str, size: Optional[int] = None, subsample_size: Optional[int] = None, subsample: Optional[torch.Tensor] = None, dim: Optional[int] = None, use_cuda: Optional[bool] = None, device: Optional[str] = None)[source]

基元 plate 

获取参数存储()→ pyro.params.param_store。ParamStoreDict[来源]

返回全局ParamStoreDict.

清除参数存储()→ 没有人[来源]

清除全局ParamStoreDict.

如果你在REPL工作，这尤其有用。我们建议在每个训练循环之前调用它(以避免从过去的模型中泄漏参数)，并且在每个单元测试之前调用它(以避免跨测试泄漏参数)。

参数(名字: 潜艇用热中子反应堆（submarine thermal reactor的缩写）, 初始张量: 可选择的[联盟[火炬。张量, 请求即付的[[], 火炬。张量]]] = 没有人, 限制: 火炬.分布.约束.约束 = 真实(), 事件_尺寸: 可选择的[（同Internationalorganizations）国际组织] = 没有人)→ 火炬。张量[来源]

将变量作为参数保存在param存储中。若要与参数存储或写入磁盘进行交互，请参见因素.

因素

返回

受约束的参数。可以通过以下方式访问基本的无约束参数pyro.param(...).unconstrained()，在哪里.unconstrained是weakref属性。

返回类型

火炬。张量

样品(名字: 潜艇用热中子反应堆（submarine thermal reactor的缩写）, 【数学】函数: pyro . distributions . torch _ distribution。火炬分配混合, *一个参数名, 无线电定向标选择器: 可选择的[火炬。张量] = 没有人, obs_mask: 可选择的[火炬。BoolTensor] = 没有人, 暗示: 可选择的[pyro.poutine.runtime.InferDict] = 没有人, **夸尔斯)→ 火炬。张量[来源]

调用随机函数fn额外的副作用取决于name和封闭上下文(例如推理算法)。看见Pyro简介进行讨论。

因素

  • 名字–样品名称

  • 【数学】函数–分配类别或功能

  • 无线电定向标选择器–观察数据(可选；应仅在推理的上下文中使用)可选地在kwargs中指定

  • obs_mask (弯曲件或者张量)–形状的可选布尔张量掩码，可通过fn.batch_shape。如果提供，mask=True的事件将取决于obs其余的事件将通过抽样来估算。这引入了一个名为name + "_unobserved"导游应该使用它。

  • 暗示 (词典)–kwargs中指定的推理参数的可选字典。有关详细信息，请参见推理文档。

返回

样品

因素(名字: 潜艇用热中子反应堆（submarine thermal reactor的缩写）, 对数因子: 火炬。张量, *, has_rsample: 可选择的[弯曲件] = 没有人)→ 没有人[来源]

Factor语句将任意对数概率因子添加到概率模型中。

警告

在指南中使用因子语句时，您需要指定因子语句是来自完全重新参数化的采样(例如重新参数化变量转换的雅可比行列式)还是来自非参数化的采样(例如离散样本)。对于完全重新参数化的情况，设置has_rsample=True；对于非参数化的情况，设置has_rsample=False。这仅在指南中需要，在模型中不需要。

因素

确定性的(名字: 潜艇用热中子反应堆（submarine thermal reactor的缩写）, 价值: 火炬。张量, 事件_尺寸: 可选择的[（同Internationalorganizations）国际组织] = 没有人)→ 火炬。张量[来源]

确定性语句来添加Delta名为的网站名字和价值价值追踪到。当我们想要记录完全由父母决定的值时，这很有用。例如:

x = pyro.sample("x", dist.Normal(0, 1))
x2 = pyro.deterministic("x2", x ** 2)

注意

场地不影响模型密度。这当前转换为sample()语句，但将来可能会改变。

因素

子样品(数据: 火炬。张量, 事件_尺寸: （同Internationalorganizations）国际组织)→ 火炬。张量[来源]

基于封闭对数据张量进行子采样的子采样语句plate南

这通常在以下参数上调用model()当子采样由自动执行时plates通过传递subsample或者subsample_size克沃格。例如，以下内容是等效的:

# Version 1. using indexing
def model(data):
    with pyro.plate("data", len(data), subsample_size=10, dim=-data.dim()) as ind:
        data = data[ind]
        # ...

# Version 2. using pyro.subsample()
def model(data):
    with pyro.plate("data", len(data), subsample_size=10, dim=-data.dim()):
        data = pyro.subsample(data, event_dim=0)
        # ...

因素

返回

的二次抽样版本data

返回类型

张量

classplate(name: str, size: Optional[int] = None, subsample_size: Optional[int] = None, subsample: Optional[torch.Tensor] = None, dim: Optional[int] = None, use_cuda: Optional[bool] = None, device: Optional[str] = None)[source]

班级盘子(名字: 潜艇用热中子反应堆（submarine thermal reactor的缩写）, 大小: 可选择的[（同Internationalorganizations）国际组织] = 没有人, 子样本_大小: 可选择的[（同Internationalorganizations）国际组织] = 没有人, 子样品: 可选择的[火炬。张量] = 没有人, 暗淡的: 可选择的[（同Internationalorganizations）国际组织] = 没有人, 使用_cuda: 可选择的[弯曲件] = 没有人, 设备: 可选择的[潜艇用热中子反应堆（submarine thermal reactor的缩写）] = 没有人)[来源]

碱基:pyro.poutine.plate_messenger.PlateMessenger

条件独立变量序列的构造。

plate可以作为生成器顺序使用，也可以作为上下文管理器并行使用(以前irange和iarange，分别为)。

连续的plate类似于range()因为它生成一系列值。

矢量化plate类似于torch.arange()因为它产生一个索引数组，通过该数组可以索引其他张量。plate不同于torch.arange()因为它还通知推理算法被索引的变量是有条件独立的。为此，plate是作为上下文管理器而不是函数提供的，用户必须保证中的所有计算plate上下文是有条件独立的:

with pyro.plate("name", size) as ind:
    # ...do conditionally independent stuff with ind...

此外，plate可以通过对索引进行二次采样并通知推理算法来缩放各种计算值，从而利用条件独立性假设。这通常用于对小批量数据进行二次抽样:

with pyro.plate("data", len(data), subsample_size=100) as ind:
    batch = data[ind]
    assert len(batch) == 100

缺席subsample_size=False这简单地产生了一个torch.arange(0, size)。如果0 < subsample_size <= size这产生了单个随机批次的大小索引subsample_size并将所有对数似然项缩放为size/batch_size在这种情况下。

警告

只有在上下文中所有计算都是有条件独立的情况下，这才是正确的。

因素

返回

一个可重用的上下文管理器torch.Tensor指数。

例子

>>> # This version declares sequential independence and subsamples data:
>>> for i in pyro.plate('data', 100, subsample_size=10):
...     if z[i]:  # Control flow in this example prevents vectorization.
...         obs = pyro.sample(f'obs_{i}', dist.Normal(loc, scale),
...                           obs=data[i])

>>> # This version declares vectorized independence:
>>> with pyro.plate('data'):
...     obs = pyro.sample('obs', dist.Normal(loc, scale), obs=data)

>>> # This version subsamples data in vectorized way:
>>> with pyro.plate('data', 100, subsample_size=10) as ind:
...     obs = pyro.sample('obs', dist.Normal(loc, scale), obs=data[ind])

>>> # This wraps a user-defined subsampling method for use in pyro:
>>> ind = torch.randint(0, 100, (10,)).long() # custom subsample
>>> with pyro.plate('data', 100, subsample=ind):
...     obs = pyro.sample('obs', dist.Normal(loc, scale), obs=data[ind])

>>> # This reuses two different independence contexts.
>>> x_axis = pyro.plate('outer', 320, dim=-1)
>>> y_axis = pyro.plate('inner', 200, dim=-2)
>>> with x_axis:
...     x_noise = pyro.sample("x_noise", dist.Normal(loc, scale))
...     assert x_noise.shape == (320,)
>>> with y_axis:
...     y_noise = pyro.sample("y_noise", dist.Normal(loc, scale))
...     assert y_noise.shape == (200, 1)
>>> with x_axis, y_axis:
...     xy_noise = pyro.sample("xy_noise", dist.Normal(loc, scale))
...     assert xy_noise.shape == (200, 320)

看见SVI第二部分进行长时间的讨论。

板材_堆叠(前缀: 潜艇用热中子反应堆（submarine thermal reactor的缩写）, 大小: 顺序[（同Internationalorganizations）国际组织], 最右边_dim: （同Internationalorganizations）国际组织 = - 1)→ 迭代程序[没有人][来源]

创建一个连续的堆栈plate带有尺寸的:

rightmost_dim - len(sizes), ..., rightmost_dim

因素

组件(名字: 潜艇用热中子反应堆（submarine thermal reactor的缩写）, nn _模块: 火炬. nn .模块.模块.模块, 更新模块参数: 弯曲件 = 错误的)→ 火炬. nn .模块.模块.模块[来源]

注册的所有参数torch.nn.Module用Pyro的param_store。结合使用ParamStoreDict save()和load()功能，这允许用户保存和加载模块。

注意

考虑改用PyroModule，是的更新替代产品pyro.module()它更好地支持:jitting，在C++中服务，以及将参数转换为随机变量。有关详细信息，请参见模块教程 .

因素

返回

火炬. nn .模块

随机模块(名字, nn _模块, 在先的；在前的, *一个参数名, **夸尔斯)[来源]

警告

这随机模块原语已被弃用，并将在未来的版本中被删除。使用PyroModule而不是创建贝叶斯模型torch.nn.Module实例。参见贝叶斯回归教程举个例子。

不推荐使用在模块的参数上放置一个priornn _模块。返回一个分布(可调用)nn。组件s，它在调用时返回一个采样的nn。组件.

因素

返回

返回采样模块的可调用函数

屏障(数据: 火炬。张量)→ 火炬。张量[来源]

实验确保中的所有值data是基础，而不是懒惰的爱好者或价值观。这在与结合使用时非常有用pyro.poutine.collapse().

启用_验证(is _验证: 弯曲件 = 真实的)→ 没有人[来源]

在Pyro中启用或禁用验证检查。验证检查提供有用的警告和错误，例如NaN检查、验证分布参数和支持值、检测ELBO和MCMC的不正确使用。由于这些检查中的一些可能是昂贵的，您可能想要禁用成熟模型的验证以加速推断。

默认行为模仿Python的assert语句:默认情况下，验证是打开的，但是如果Python在优化模式下运行(通过python -O).同样，默认行为取决于Python的全局__debug__价值通过pyro.enable_validation(__debug__).

对于所有支持PyTorch jit的推理算法，在jit编译期间会暂时禁用验证。我们建议用非JIT化的推理算法开发模型以简化调试，一旦模型正确，就可以选择转移到JIT化的推理。

因素

is _验证 (弯曲件)–(可选；默认为True)是否启用验证检查。

验证_启用(is _验证: 弯曲件 = 真实的)→ 迭代程序[没有人][来源]

临时启用/禁用验证检查时有用的上下文管理器。

因素

is _验证 (弯曲件)–(可选；默认为真)临时验证检查覆盖。

找到；查出(【数学】函数=没有人, 忽略_警告=错误的, jit _选项=没有人)[来源]

懒惰的替代品torch.jit.trace()与调用的Pyro函数一起工作pyro.param().

实际的编译工件存储在compiled输出的属性。对此属性调用诊断方法。

示例:

def model(x):
    scale = pyro.param("scale", torch.tensor(0.5), constraint=constraints.positive)
    return pyro.sample("y", dist.Normal(x, scale))

@pyro.ops.jit.trace
def model_log_prob_fn(x, y):
    cond_model = pyro.condition(model, data={"y": y})
    tr = pyro.poutine.trace(cond_model).get_trace(x)
    return tr.log_prob_sum()

因素

  • 【数学】函数 (请求即付的)–要跟踪的函数。

  • 忽略_警告 (弯曲件)–是否忽略jit警告。

  • jit _选项 (词典)–要传递给的可选选项字典torch.jit.trace()，例如{"optimize": False}.

zhangfeng1133
关注
  • 20
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用 Pyro 和 PyTorch 的贝叶斯神经网络
gongdiwudu的专栏
10-27 5134
我知道我对分类器的期望是不切实际的。它的行为完全按照编程的方式进行。如果我将最后一层（softmax）输出解释为概率，那么作为输入给出的任何图像总会有一个具有最大值的类别。
pytorch贝叶斯网络_贝叶斯神经网络：2个在TensorFlow和Pytorch中完全连接
weixin_26752765的博客
09-06 4117
pytorch贝叶斯网络 贝叶斯神经网络 (Bayesian Neural Net) This chapter continues the series on Bayesian deep learning. In the chapter we’ll explore alternative solutions to conventional dense neural networks. These ...
PyroSample和cuda GPU 概率编程语言Pyro如何使用cuda,使用显卡，贝叶斯神经网络
08-30 199
当我注释掉这些语句时，模型在CPU和GPU上都运行良好。但是当我包含这些语句时，模型遇到了问题，因为我相信我使用的self.cuda()没有将Pyro参数放在GPU上。所以，我的问题是，在GPU上放置热解样品重量/偏差参数(覆盖线性层的PyTorch参数)的最佳方式是什么？似乎有一个简单的解决方案，但我的self.cuda()似乎不起作用。我正在实验在GPU上训练一个简单的贝叶斯前馈网络。该模型在CPU上训练得很好，但当我尝试在GPU上训练时，它给出了一个关于张量在多个设备上的错误。
使用Pytorch和Pyro实现贝叶斯神经网络(Bayesian Neural Network)
热门推荐
gangshen1993的博客
07-18 1万+
本文翻译自：https://www.noconote.work/entry/2019/01/01/160100 最近概率模型和神经网络相结合的研究变得多了起来，这次使用Uber开源的Pyro来实现一个贝叶斯神经网络。概率编程框架最近出了不少，Uber的Pyro基于Pytorch，Google的Edward基于TensorFlow，还有一些独立的像PyMC3,Stan,Pomegranate等等。 ...
PyTorch-BayesianCNN:PyTorch中基于反向传播的贝叶斯贝叶斯变分推理贝叶斯卷积神经网络
05-23
我们介绍了带变分推理的贝叶斯卷积神经网络，这是卷积神经网络（CNN）的一种变体，其中权重的难处理的后验概率分布是由Backprop的Bayes推断的。 我们证明我们提出的变分推断方法是如何实现的性能相当于频率论推理在...
Pyro:使用Python和PyTorch进行深度通用概率编程-开源
04-25
Pyro是一种基于PyTorch的灵活的通用概率编程语言（PPL）。 它结合了现代深度学习和贝叶斯建模的最佳功能，可以进行富有表现力的深度概率建模。 Pyro围绕四个主要原则：通用，可伸缩，最小和灵活。 Pyro是通用的，...
使用pytorch深度学习框架搭建神经网络
最新发布
qq_57290048的博客
08-30 759
数据集为CIFAR10，CIFAR-10 数据集由 10 个类的 60000 张 32x32 彩色图像组成，每个类有 6000 张图像。有 50000 张训练图像和 10000 张测试图像。图像大小为3x32x32数据集分为 5 个训练批次和 1 个测试批次，每个批次有 10000 张图像。测试批次包含每个类中随机选择的 1000 张图像。训练批次包含按随机顺序排列的剩余图像，但某些训练批次可能包含来自一个类的图像多于另一个类的图像。在它们之间，训练批次正好包含来自每个类的 5000 张图像。
神经网络—卷积层
qq_37441377的博客
08-26 572
新生成的卷积核和原来的卷积核不一定相同。
16.神经网络 - 卷积层
shencanggang的博客
08-29 817
pytorch官网网站卷积层（Convolution Layers）：Convolution Layers。
【ShuQiHere】《机器学习的进化史『下』：从神经网络到深度学习的飞跃》
ShuQIHere的博客
08-30 642
从感知机到Transformer，神经网络和深度学习的演化过程展示了技术的巨大飞跃。随着数据规模的增长和计算能力的提升，深度学习将在更多领域展现出其强大的潜力。然而，深度学习技术也面临着诸如数据隐私、模型透明性等挑战。未来的发展将不仅仅依赖于技术的进步，还需要在伦理和社会影响方面取得平衡。
OpenSNN推文：神经网络相关论文最新推荐（八月份）(四)
opensnn的博客
08-30 150
RBF与BP神经网络对逆流鼓泡板片蒸发式冷凝器传热性能预测对比 论文链接：oalib 简介：  鼓泡板片蒸发式冷凝器是一种较为新型的蒸发式冷凝器，按喷淋水与空气流向不同分为逆流、横流、混流等形式，其热质传递过程较为复杂。依据逆流鼓泡板片性能测试实验，以板间距、喷淋水流量、截面风速、空气进口干湿球温度、板片壁面平均温度为输入变量，以复合传热系数为输出变量，通过RBF和BP两种神经网络模型，对鼓泡板片外空气侧的复合传热系数进行预测。比较这两种神经网络模型预测值和真实值的主要评价指标(决定系数R2、平均相对
深度学习100问23:什么是前馈型神经网络
yyq916的博客
08-30 538
比如说，如果我们要用它来识别动物图片，输入层就先接收图片的各种颜色呀、形状呀这些信息，然后隐藏层就像一群聪明的小工匠，把这些信息进行加工，最后输出层就告诉我们这是猫还是狗啦。- 它就像一个爱学习的小朋友，通过学习大量的数据样本，就能自动找出数据中的特征和模式。3. 自然语言处理：在文本分类和情感分析这些任务中，它就像一个聪明的小读者，能理解文章的意思，给文章分类，还能判断文章是开心还是难过呢。1. 图像识别：它就像一个有超能力的小侦探，能认出各种物体、可爱的小动物还有漂亮的人脸呢。
每天一个数据分析题（五百一十一）- 神经网络
shiguangre的博客
08-30 204
BP(back propagation)神经网络是1986年由Rumelhart和McClelland为首的科学家提出的概念，是一种按照误差逆向传播算法训练的多层前馈神经网络，是应用最广泛的神经网络。BP神经网络的训练顺序为何？C:利用随机的权重产生输出的结果）内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark八个方向的专项练习题库，数据分析从业者刷题必备神器！
14.神经网络的基本骨架 - nn.Module 的使用
shencanggang的博客
08-29 459
Pytorch官网左侧：Python API（相当于package，提供了一些不同的工具）
每天一个数据分析题（五百一十）- 类神经网络
shiguangre的博客
08-30 111
内容涵盖Python，SQL，统计学，数据分析理论，深度学习，可视化，机器学习，Spark八个方向的专项练习题库，数据分析从业者刷题必备神器！类神经网络（ANN），又称人工神经网络，根据计算的连接路径连接信息处理的数学计算模型或者使用。在进行类神经网络之前，数据要如何做准备？B. 将所有类别属性直接用0, 1, 2, 3取代成数值型属性。A. 将所有数值属性转成类别属性。C. 将数据正规化于0到1之间。D. 不需要任何准备。
20.神经网络 - 搭建小实战和 Sequential 的使用
shencanggang的博客
08-29 901
在 PyTorch 中，Sequential 是一个容器（container）类，用于构建神经网络模型。它允许你按顺序（sequential）添加不同的网络层，并将它们串联在一起，形成一个网络模型。这样做可以方便地定义简单的前向传播过程，适用于许多基本的网络结构。Sequential 的优点之一是其简洁性和易读性，特别适用于简单的网络结构。然而，对于更复杂的模型，可能需要使用 PyTorch 的其他模型构建方式，如使用 nn.Module 基类自定义网络结构，以满足更灵活的需求。
python 实现convolution neural network卷积神经网络算法
luthane的博客
08-26 8897
卷积神经网络（Convolutional Neural Networks, CNN）是一种包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。基本原理CNN的核心思想是通过模拟人类视觉系统的工作方式，自动提取图像中的特征，并将其用于分类、检测、分割等任务。它主要受到了生物学上感知机制的启发，模拟了人类视觉系统中的感知细胞和复杂细胞的工作方式。
【python计算机视觉编程——1.基本的图像操作和处理】
m0_53694086的博客
08-26 1万+
参数sigma为标准差（σ），是高斯滤波器的一个重要参数，它控制滤波器的平滑程度。标准差越大，高斯函数的曲线越宽，滤波器的影响范围就越大。标准差较大: 高斯滤波器会在更大范围内进行平滑，使得图像变得更加模糊，细节和边缘特征会被更强地平滑掉。标准差较小: 高斯滤波器会产生较小范围的平滑效果，图像的细节保留更多。还可以给定转换矩阵，将RGB图像转换为CIE XYZ色彩空间。图像像素值被分成128个区间，用于计算每个区间的像素值频率。可以返回目录中所有jpg图像的列表。
使用Pytorch和Pyro实现贝叶斯神经网络具体步骤
03-28
1. 安装Pytorch和Pyro库 首先需要安装Pytorch和Pyro库。可以使用conda或pip来安装。具体的安装方式可以参考官方文档。 2. 定义模型结构 定义一个神经网络模型结构。可以使用Pytorch的nn模块来定义模型，也可以使用Pyro的pyro.nn模块来定义模型。需要注意的是，Pyro中的神经网络模型需要使用Pyro的概率分布来描述，因此需要使用Pyro的分布模块。 3. 定义先验分布和后验分布 定义先验分布和后验分布。先验分布是在没有观测数据的情况下对参数的分布进行建模，通常使用正态分布或者均匀分布等。后验分布是在观测到数据后对参数分布进行修正，通常使用变分推断或者马尔科夫链蒙特卡罗法来进行求解。 4. 定义损失函数 定义损失函数。损失函数需要考虑两部分：一是对模型预测结果的误差进行计算，二是对参数的先验分布进行考虑。通常使用最大后验概率或者最小化KL散度等方法来定义损失函数。 5. 训练模型 使用优化算法对模型进行训练。可以使用Pytorch中的优化器来进行参数更新，也可以使用Pyro中的SVI模块来进行模型训练。 6. 预测和评估 使用训练好的模型进行预测和评估。可以使用Pytorch中的测试函数来进行评估，也可以使用Pyro中的预测模块来进行预测。需要注意的是，在Pyro中，由于模型是随机的，因此需要对预测结果进行多次采样来得到一个可靠的结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值