【PyTorch】教程：torch.nn.PReLU

最新推荐文章于 2024-01-16 09:50:43 发布

黄金旺铺

最新推荐文章于 2024-01-16 09:50:43 发布

阅读量833

点赞数

分类专栏： PyTorch 文章标签： pytorch 深度学习 python

by: JW

本文链接：https://blog.csdn.net/zhoujinwang/article/details/129351981

版权

PyTorch 专栏收录该内容

46 篇文章 10 订阅

订阅专栏

PReLU是PyTorch中的一个激活层，全称为预激活线性单元。它结合了线性项和ReLU的非线性项，其公式为PReLU(x)=max(0,x)+a*min(0,x)。参数a可以学习得到，初始值通常设置为0.25。在处理负值时，PReLU能提供更平滑的梯度，防止梯度消失问题。示例代码展示了如何创建并应用PReLU层。

摘要由CSDN通过智能技术生成

torch.nn.PReLU

原型

CLASS torch.nn.PReLU(num_parameters=1, init=0.25, device=None, dtype=None)

参数

num_parameters ([int]) – 需要学习的 $a$ 的数量，尽管作为输入，只有两个值是合法的，1 或者输入的通道数，默认为 1 。
init ([float]) – $a$ 的初始值，默认为 0.25。

定义

$\text{PReLU}(x)= \max(0, x) + a * \min(0, x)$

$\text{PReLU}(x) = \begin{cases} x, & \text{if} x \geq 0 \\ ax, & \text{otherwise} \end{cases}$

图

在这里插入图片描述

代码

import torch
import torch.nn as nn

m = nn.PReLU()
input = torch.randn(4)
output = m(input)

print("input: ", input)   # input:  tensor([ 0.1061, -2.0532,  1.4081, -0.1516])
print("output: ", output) # output:  tensor([ 0.1061, -0.5133,  1.4081, -0.0379], grad_fn=<PreluBackward>)