loss总是收敛到0.69左右
这种情况一般是在使用了交叉熵的二分类问题上容易出现，同样的，也可能出现loss收敛到1.0986、1.386等等，其实他们就是log(1/2)、log(1/3)、log(1/4)。。。 问题概述 根本原因：交叉熵 若 q=0.5 对于 01 分布来说，H=log(0.5)=0.69，同理对于 n 分类问题来说，loss 可能会收敛到 log(1/n)，这都是 …
Archive
Archive
这种情况一般是在使用了交叉熵的二分类问题上容易出现，同样的，也可能出现loss收敛到1.0986、1.386等等，其实他们就是log(1/2)、log(1/3)、log(1/4)。。。 问题概述 根本原因：交叉熵 若 q=0.5 对于 01 分布来说，H=log(0.5)=0.69，同理对于 n 分类问题来说，loss 可能会收敛到 log(1/n)，这都是 …