mxnet预备知识之ndarray（2）自动求梯度

自动求梯度

参考资料，李牧-深度学习-2.3

from mxnet import autograd, nd

# 创建向量并将其改为（4，1）的形状
x = nd.arange(4).reshape((4,1))
# reshape(-1,1)中的-1代表自动适应形状
x = nd.arange(4).reshape((-1,1))

# 这里记录求x的梯度，申请存储梯度的内存
x.attach_grad()

# 记录用于求梯度的计算
with autograd.record():
    y = 2 * nd.dot(x.T,x) 

# 求梯度
y.backward()

# 用于验证求得的梯度是否正确
assert(x.grad-4*x).norm().asscalar()==0 #assert：如果条件为False，则中断程序
x.grad

# 在调用record后，默认情况下，autograd会将运行模式从预测模式转为训练模式
print(autograd.is_training())
with autograd.record():
    print(autograd.is_training())

# 定义一个函数，包含了python的控制流（条件和循环控制），也有可能对其求梯度
def f(a):
    b = a * 2
    while b.norm().asscalar() < 1000:
        b = b * 2
    if b.sum().asscalar() > 0:
        c = b
    else:
        c = 100 * b
    return c

# 试着使用MXNet求上述f函数的梯度
a = nd.random.normal(shape=4)
a.attach_grad()
with autograd.record():
    c = f(a)
c.backward()

a.grad

# 验证梯度
a.grad == c/a