代价函数

交叉熵代价函数

交叉熵代价函数定义

$$C=-\frac{1}{n} \sum_{x}[y \ln a+(1-y) \ln (1-a)]$$

有

$$\begin{array}{l} a=\sigma(z), \quad z=\sum W_{j}^{\star} X_{j}+b \\ \sigma^{\prime}(z)=\sigma(z)(1-\sigma(z)) \end{array}$$

w的导数推导

$$\begin{aligned} \frac{\partial C}{\partial w_{j}} &=-\frac{1}{n} \sum_{x}\left(\frac{y}{\sigma(z)}-\frac{(1-y)}{1-\sigma(z)}\right) \frac{\partial \sigma}{\partial w_{j}} \\ &=-\frac{1}{n} \sum_{x}\left(\frac{y}{\sigma(z)}-\frac{(1-y)}{1-\sigma(z)}\right) \sigma^{\prime}(z) x_{j} \\ &=\frac{1}{n} \sum_{x} \frac{\sigma^{\prime}(z) x_{j}}{\sigma(z)(1-\sigma(z))}(\sigma(z)-y) \\ &=\frac{1}{n} \sum_{x} x_{j}(\sigma(z)-y) \end{aligned}$$

b的导数推导

$$\begin{aligned} \frac{\partial C}{\partial b_{j}} &=-\frac{1}{n} \sum_{x}\left(\frac{y}{\sigma(z)}-\frac{(1-y)}{1-\sigma(z)}\right) \frac{\partial \sigma}{\partial b_{j}} \\ &=-\frac{1}{n} \sum_{x}\left(\frac{y}{\sigma(z)}-\frac{(1-y)}{1-\sigma(z)}\right) \sigma^{\prime}(z) \\ &=\frac{1}{n} \sum_{x} \frac{\sigma^{\prime}(z) }{\sigma(z)(1-\sigma(z))}(\sigma(z)-y) \\ &=\frac{1}{n} \sum_{x} (\sigma(z)-y) \end{aligned}$$

结论

$$\frac{\partial C}{\partial w_{j}}=\frac{1}{n} \sum_{x} x_{j}(\sigma(z)-y)$$ $$\frac{\partial C}{\partial b}=\frac{1}{n} \sum_{x}(\sigma(z)-y)$$

• 权值和偏置值的调整与 $\sigma^{\prime}(z) $ 无关, 另外，梯度公式中的 $\sigma(z)-y$ 表示输出值与实际值的误差。所以当误差越大时，梯度就越大，参数w和b的调整就越快，训练的速度也就越快。
• 如果输出神经元是线性的，那么二次代价函数就是一种合适的选择。如果输出神经元是S型函数，
  那么比较适合用交叉熵代价函数。
• 对数似然函数常用来作为softmax回归的代价函数，如果输出层神经元是sigmoid函数，可以采用
  交叉熵代价函数。而深度学习中更普遍的做法是将softmax作为最后一层，此时常用的代价函数是
  对数似然代价函数。
• 对数似然代价函数与softmax的组合和交叉嫡与sigmoid函数的组合非常相似。对数释然代价函数
  在二分类时可以化简为交叉熵代价函数的形式。

在Tensorflow中使用:

tf.nn.softmax_cross_entropy_with_logits()  
tf.nn.sparse_softmax_cross_entropy_with_logits()   
tf.nn.sigmoid_cross_entropy_with_logits()  
tf.nn.weighted_cross_entropy_with_logits()

tf.nn.softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, dim=-1, name=None)

tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None,labels=None,logits=None, name=None)

tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None,labels=None, logits=None, name=None)

tf.nn.weighted_cross_entropy_with_logits(labels,logits, pos_weight, name=None)