多类分类问题中单层神经网络的梯度推导

发布:2023-04-20 10:31:01
阅读:818
作者:网络整理
分享:复制链接

单层神经网络通常指的是只有一层神经元的感知器模型。在多类分类问题中,我们需要将输入样本映射到输出类别,因此输出层的神经元数量应该等于类别数。

设输入样本为x\in\mathbb{R}^n,输出类别为y\in{1,2,\ldots,K},其中K表示总共的类别数。我们将每个类别表示为一个one-hot向量\mathbf{y}\in{0,1}^K,其中第j个元素为1表示该样本属于第j个类别。我们使用softmax函数将输出层的原始输出转换为概率分布,即

\hat{\mathbf{y}}=\operatorname{softmax}(\mathbf{z})

其中\mathbf{z}=\mathbf{w}^\top\mathbf{x}+\mathbf{b}是输出层的输入,\mathbf{w}\in\mathbb{R}^{n\times K}是权重矩阵,\mathbf{b}\in\mathbb{R}^K是偏置向量,\operatorname{softmax}函数定义为\operatorname{softmax}(\mathbf{z})_j=\frac{e^{z_j}}{\sum_{k=1}^K e^{z_k}}

为了最小化交叉熵损失函数,我们需要计算损失函数对权重矩阵和偏置向量的梯度。假设训练集中共有m个样本,第i个样本的输入为\mathbf{x}^{(i)},输出为\mathbf{y}^{(i)},则交叉熵损失函数定义为

J(\mathbf{w},\mathbf{b})=-\frac{1}{m}\sum_{i=1}^{m}\sum_{j=1}^K y_j^{(i)}\log\hat{y}_j^{(i)}

其中y_j^{(i)}表示第i个样本属于第j个类别的真实标签,\hat{y}_j^{(i)}表示第i个样本属于第j个类别的预测概率。

我们可以使用梯度下降法来最小化损失函数,其更新规则为

\begin{aligned}\mathbf{w}&\leftarrow\mathbf{w}-\alpha\frac{\partial J}{\partial\mathbf{w}}\\mathbf{b}&\leftarrow\mathbf{b}-\alpha\frac{\partial J}{\partial\mathbf{b}}\end{aligned}

其中\alpha是学习率。

下面我们来推导损失函数对权重矩阵和偏置向量的梯度。

首先,我们计算损失函数对输出层输入\mathbf{z}的梯度:

\frac{\partial J}{\partial\mathbf{z}}=\frac{1}{m}(\hat{\mathbf{y}}-\mathbf{y})

其中\mathbf{y}是一个one-hot向量,\hat{\mathbf{y}}是softmax函数的输出。

接下来,我们计算损失函数对权重矩阵和偏置向量的梯度。

对于权重矩阵\mathbf{w},有

\begin{aligned}\frac{\partial J}{\partial\mathbf{w}}&=\frac{\partial J}{\partial\mathbf{z}}\frac{\partial\mathbf{z}}{\partial\mathbf{w}}\&=\frac{1}{m}(\hat{\mathbf{y}}-\mathbf{y})\mathbf{x}^\top\end{aligned}

对于偏置向量\mathbf{b},有

\begin{aligned}\frac{\partial J}{\partial\mathbf{b}}&=\frac{\partial J}{\partial\mathbf{z}}\frac{\partial\mathbf{z}}{\partial\mathbf{b}}\&=\frac{1}{m}(\hat{\mathbf{y}}-\mathbf{y})\end{aligned}

现在我们推导出了损失函数对权重矩阵和偏置向量的梯度,可以使用梯度下降法来更新参数。假设我们已经更新了\mathbf{w}和\mathbf{b},则下一步可以用更新后的参数计算新的预测结果\hat{\mathbf{y}},再计算新的损失函数J(\mathbf{w},\mathbf{b}),然后再使用梯度下降法来更新参数。这个过程可以重复多次,直到损失函数收敛或达到最大迭代次数。

总结一下,多类分类问题中单层神经网络的梯度推导包括以下几个步骤:

1.使用softmax函数将输出层的原始输出转换为概率分布;

2.计算交叉熵损失函数;

3.计算损失函数对输出层输入\mathbf{z}的梯度;

4.计算损失函数对权重矩阵和偏置向量的梯度;

5.使用梯度下降法来更新参数,重复多次直到收敛。

扫码进群
微信群
免费体验AI服务