全卷积神经网络中的权重初始化

发布:2023-02-23 10:50:29
阅读:3649
作者:网络整理
分享:复制链接

在全卷积神经网络(FCN)中,基本上对于每一层,都有一个随机的权重初始化。并且有两点要注意:

1.全卷积神经网络(FCN)不使用0作为权重。请记住,在使用反向传播时,需要在中间层计算dL/dX,最终得到dL/dW。将权重设置为0s将导致dL/dX为0,然后网络不会更新。

2.不会使用单一常量来初始化全卷积神经网络(FCN)的所有权重。如果所有的权重都设置为一个常数,那么所有的神经元在训练过程中的任何时候都会有相同的值。我们需要网络权重具有更复杂的结构,这样才能了解输入数据的复杂分布。

还有损失函数,以tanh为例,使用tanh作为激活函数,切记如果初始化的权重太大,网络中每一层的输出会逐渐趋近于1/-1。但如果把权重初始化得太小,每层的输出将逐渐趋近于0。这两种情况都会导致梯度消失。

为了解决这个问题,于是我们希望有一种方法可以对每一层进行权重初始化,以保持变化。简单地说,就是对于每一层,输入的变化等于输出的变化。

扫码进群
微信群
免费体验AI服务