代价函数

交叉熵代价函数

交叉熵代价函数定义

$$C=-\frac{1}{n}\sum _x[y\ln a+(1-y)\ln (1-a)]$$

有

$$\begin{array}{l}a=\sigma (z),z=\sum W_j^{\star }{X}_j+b\\ {\sigma }^{\prime }(z)=\sigma (z)(1-\sigma (z))\end{array}$$

w 的导数推导

$$\begin{array}{rl}\frac{\partial C}{\partial w_j}& =-\frac{1}{n}\sum _x(\frac{y}{\sigma (z)}-\frac{(1-y)}{1-\sigma (z)})\frac{\partial \sigma }{\partial w_j}\\ & =-\frac{1}{n}\sum _x(\frac{y}{\sigma (z)}-\frac{(1-y)}{1-\sigma (z)}){\sigma }^{\prime }(z)x_j\\ & =\frac{1}{n}\sum _x\frac{{\sigma }^{\prime }(z)x_j}{\sigma (z)(1-\sigma (z))}(\sigma (z)-y)\\ & =\frac{1}{n}\sum _x{x}_j(\sigma (z)-y)\end{array}$$

b 的导数推导

$$\begin{array}{rl}\frac{\partial C}{\partial b_j}& =-\frac{1}{n}\sum _x(\frac{y}{\sigma (z)}-\frac{(1-y)}{1-\sigma (z)})\frac{\partial \sigma }{\partial b_j}\\ & =-\frac{1}{n}\sum _x(\frac{y}{\sigma (z)}-\frac{(1-y)}{1-\sigma (z)}){\sigma }^{\prime }(z)\\ & =\frac{1}{n}\sum _x\frac{{\sigma }^{\prime }(z)}{\sigma (z)(1-\sigma (z))}(\sigma (z)-y)\\ & =\frac{1}{n}\sum _x(\sigma (z)-y)\end{array}$$

结论

$$\frac{\partial C}{\partial w_j}=\frac{1}{n}\sum _x{x}_j(\sigma (z)-y)$$$$\frac{\partial C}{\partial b}=\frac{1}{n}\sum _x(\sigma (z)-y)$$

• 权值和偏置值的调整与 ${\sigma }^{\prime }(z)$ 无关，另外，梯度公式中的 $\sigma (z)-y$ 表示输出值与实际值的误差。所以当误差越大时，梯度就越大，参数 w 和 b 的调整就越快，训练的速度也就越快。
• 如果输出神经元是线性的，那么二次代价函数就是一种合适的选择。如果输出神经元是 S 型函数，
  那么比较适合用交叉熵代价函数。
• 对数似然函数常用来作为 softmax 回归的代价函数，如果输出层神经元是 sigmoid 函数，可以采用
  交叉熵代价函数。而深度学习中更普遍的做法是将 softmax 作为最后一层，此时常用的代价函数是
  对数似然代价函数。
• 对数似然代价函数与 softmax 的组合和交叉嫡与 sigmoid 函数的组合非常相似。对数释然代价函数
  在二分类时可以化简为交叉熵代价函数的形式。

在 Tensorflow 中使用:

tf.nn.softmax_cross_entropy_with_logits()  
tf.nn.sparse_softmax_cross_entropy_with_logits()   
tf.nn.sigmoid_cross_entropy_with_logits()  
tf.nn.weighted_cross_entropy_with_logits()

tf.nn.softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, dim=-1, name=None)

tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None,labels=None,logits=None, name=None)

tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None)

tf.nn.weighted_cross_entropy_with_logits(labels,logits, pos_weight, name=None)