【PyTorch】教程:torch.nn.LeakyReLU

torch.nn.LeakyReLU

原型

CLASS torch.nn.LeakyReLU(negative_slope=0.01, inplace=False)

参数

  • negative_slope (float) – 控制负值斜率,默认为 1e-2
  • inplace (bool) – in-place 操作,默认为 False

定义

LeakyReLU ( x ) = max ⁡ ( 0 , x ) + negative_slope ∗ min ⁡ ( 0 , x ) \text{LeakyReLU}(x) = \max(0, x) + \text{negative\_slope} * \min(0, x) LeakyReLU(x)=max(0,x)+negative_slopemin(0,x)

or

LeakyReLU ( x ) = { x ,  if  x ≥ 0 negative_slope × x ,  otherwise  \text{LeakyReLU}(x) = \begin{cases} x, & \text{ if } x \geq 0 \\ \text{negative\_slope} \times x, & \text{ otherwise } \end{cases} LeakyReLU(x)={x,negative_slope×x, if x0 otherwise 

在这里插入图片描述

代码

import torch
import torch.nn as nn

m = nn.LeakyReLU(0.1)
input = torch.randn(2)
output = m(input)

print("input: ", input)    # input:  tensor([-1.5754,  0.6229])
print("output: ", output)  # output:  tensor([-0.1575,  0.6229])

【参考】

LeakyReLU — PyTorch 1.13 documentation

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老周有AI~算法定制

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值