残差函数是网络层之中常见的一种函数，这里只想用通俗易懂的内容去阐述残差函数的公式内容
也就是说，正常的神经网络层x经过weight layer之后为
r
e
l
u
(
w
1
x
+
b
)
relu(w_{1}x+b)
relu(w1x+b)，再经过一次weight layer之后为
r
e
l
u
(
w
2
∗
(
r
e
l
u
(
w
1
x
+
b
)
)
)
relu(w_{2}*(relu(w_{1}x+b)))
relu(w2∗(relu(w1x+b)))
正常情况下
F
(
x
)
=
r
e
l
u
(
w
2
∗
(
r
e
l
u
(
w
1
x
+
b
)
)
)
)
F(x) = relu(w_{2}*(relu(w_{1}x+b))))
F(x)=relu(w2∗(relu(w1x+b))))
然而在此特殊情况下的公式，我们定义它为H(x)，这里的H(x)属于经过特殊定义的残差函数的内容，可以得到
H
(
x
)
=
F
(
x
)
+
x
H(x)=F(x)+x
H(x)=F(x)+x，也就是说现在的前向传播函数H(x)为原来的前向传播函数F(x)加上两层之前的输入x。
这样拟合的残差函数F(x) = H(x)-x更简单。虽然理论上两者都能得到近似拟合，但是后者学习起来更容易。
拟合的残差函数含义，虽然得到的是
H
(
x
)
=
F
(
x
)
+
x
H(x)=F(x)+x
H(x)=F(x)+x的内容，但是需要求出的内容仍然为F(x) = H(x)-x的内容。
扫一扫
09-20
784
784
11-04
6717
6717
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
