分类问题时loss只是收敛到0.693附近的直线

阅读原文（https://blog.woyou.cool/post/74）
这种情况一般是在使用了交叉熵的二分类问题上容易出现，同样的，也可能出现loss收敛到1.0986、1.386等等，其实他们就是log(1/2)、log(1/3)、log(1/4)。。。

问题概述

根本原因：交叉熵

若q=0.5则对于01分布来说，H=log(0.5)=0.69，同理对于n分类问题来说，loss可能会收敛到log(1/n)，这都是因为各个类别拟合概率相近导致的，再看看为什么会导致各类别拟合概率相似

常见原因之一：Sigmoid

使用交叉熵之前通常会使用sigmoid作为激活函数，sigmoid公式及图像为：

由此可知，有两种情况会使得sigmoid的输出都是相近的
1. 自变量x都是相近的，导致函数值也相近
2. 当自变量x大于或小于某个数之后（例如5和-5）&