本文中采用mnist数据集训练自编码器,自编码器结构分为编码器和解码器。
本自编码器的编码器和解码器均采用单个隐含层的神经网络,其中编码器采用了激活函数,而解码器没有采用激活函数,主要因为经过尝试发现这里不采用激活函数时,最终的损失值更低,原因可能在于自编码器层数较少,且训练迭代次数少,没有完全完成训练(不考虑early stopping)。
参数的初始化函数采用上一篇博客中的Xavier-init函数,这里不再重复叙述,注:该函数初始化前提为数据呈高斯分布。
在编码过程中,先对数据进行添加噪声,所以本编码器可以看做为简单的去噪自编码器,不过与普通的自编码器只多了这个步骤。
可视化过程中,有两个函数,一个函数是将原始图像,加噪声后的图像和重建图像显示,另一个则是根据coder,显示重建图像,可以看出,随机生出的coder并不能显示出合适的手写数字,如果想要得到这样的自编码器,需要构建VAE变分自编码器。
import numpy as np
import tensorflow as tf
import sklearn.preprocessing as prep
from tensorflow.examples.tutorials.mnist import input_data
def xavier_init(fan_in, fan_out, constant=1):
tmp = constant * np.sqrt(6.0 / (fan_in + fan_out))
low = -tmp
high = tmp
return tf.random_uniform((fan_in, fan_out), minval=low, maxval=high, dtype=tf.float32)
class AdditiveGaussianNoiseAutoencoder(object):
def __init__(self, n_input, n_hidden, transfer_function=tf.nn.softplus, optimizer=tf.train.AdamOptimizer(),
scale=0.1):
self.n_input = n_input
self.n_hidden = n_hidden
self.transfer = transfer_function
self.scale = tf.placeholder(tf.fl