xavier，kaiming初始化的fan_in,fan_out在卷积神经网络

wx62830f4b679a4

2024-07-02 帮助1人

xavier初始化出自论文Understanding the difficulty of training deep feedforward neural network, 论文讨论的是全连接神经网络，fan_in指第i层神经元个数，fan_out指第i 1层神经元个数，但是我们的卷积神经网路是局部连接的，此时的fan_in，fan_out是什么意思呢。

在pytorch中：

fan_in指 kernel_height x kernel_width x in_channel 。

fan_out指 kernel_height x kernel_width x out_channel 。

从局部连接的过程来看似乎并不十分合理，卷积神经网络的局部连接在感受野内仍然是全连接。fan_in=kh x kw x in_channel没什么疑问，但是fan_out应该等于out_channel更合理啊。待解答。

code，来自pytorch实现

def _calculate_fan_in_and_fan_out(tensor):
    dimensions = tensor.ndimension()
    if dimensions < 2:
        raise ValueError("Fan in and fan out can not be computed for tensor with fewer than 2 dimensions")

    if dimensions == 2:  # Linear
        fan_in = tensor.size(1)
        fan_out = tensor.size(0)
    else:
        num_input_fmaps = tensor.size(1)
        num_output_fmaps = tensor.size(0)
        receptive_field_size = 1
        if tensor.dim() > 2:
            receptive_field_size = tensor[0][0].numel()
        fan_in = num_input_fmaps * receptive_field_size
        fan_out = num_output_fmaps * receptive_field_size

    return fan_in, fan_out

这篇好文章是转载于：学新通技术网

xavier，kaiming初始化的fan_in,fan_out在卷积神经网络

code，来自pytorch实现

photoshop保存的图片太大微信发不了怎么办

word里面弄一个表格后上面的标题会跑到下面怎么办

photoshop扩展功能面板显示灰色怎么办

《学习通》视频自动暂停处理方法

Android 11 保存文件到外部存储，并分享文件

TikTok加速器哪个好免费的TK加速器推荐

微信公众号没有声音提示怎么办

excel下划线不显示怎么办

微信运动停用后别人还能看到步数吗

excel打印预览压线压字怎么办