TensorFlow1.0中有两个损失函数,tf.layers.dropout与tf.nn.dropout,两个函数的丢弃概率恰好相反,如果不仔细,很容易搞错。
- tf.nn.dropout 中参数 keep_prob :每一个元素被保存下的概率。而 tf.layer.dropout 中参数 rate :每一个元素丢弃的概率。所以,keep_prob = 1 - rate。
- 在 tf.layer.dropout 中有一个 training 参数:在training模式中,返回应用dropout后的输出;或者在非training模式下,正常返回输出(没有dropout)。这里说的training模式也即是training参数为True的时候。