新闻动态

这里有最新的公司动态,这里有最新的网站设计、移动端设计、网页相关内容与你分享!

用PaddlePaddle和Tensorflow实现GoogLeNet

上一篇文章我们引出了GoogLeNet InceptionV1的网络结构,这篇文章中我们会详细讲到Inception V2/V3/V4的发展历程以及它们的网络结构和亮点。

GoogLeNet Inception V2

GoogLeNet Inception V2在《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》出现,最大亮点是提出了Batch Normalization方法,它起到以下作用:

在机器学习中,我们通常会做一种假设:训练样本独立同分布且训练样本与测试样本分布一致,如果真实数据符合这个假设则模型效果可能会不错,反之亦然,这个在学术上叫Covariate Shift,所以从样本的角度说,对于神经网络也是一样的道理。从结构的角度说,由于神经网络由多层组成,样本在层与层之间边提特征边往前传播,如果每层的输入分布不一致,那么势必造成要么模型效果不好,要么学习速度较慢,学术上这个叫InternalCovariate Shift。

假设:yy为样本标注,X={x1,x2,x3,......}X={x1,x2,x3,......}为样本xx通过神经网络若干层后每层的输入;

理论上:pp的联合概率分布应该与集合XX中任意一层输入的联合概率分布一致,如:p=pp=p;

但是:p=p pp=p p,其中条件概率pp是一致的,即p=p=p=......p=p=p=......,但由于神经网络每一层对输入分布的改变,导致边缘概率是不一致的,即p p p......p p p......,甚至随着网络深度的加深,前面层微小的变化会导致后面层巨大的变化。

BN整个算法过程如下:

用PaddlePaddle和Tensorflow实现GoogLeNet InceptionV2/V3/V用PaddlePaddle和Tensorflow实现GoogLeNet InceptionV2/V3/V

左边是未做白化的原始可行域,右边是做了白化的可行域;

用PaddlePaddle和Tensorflow实现GoogLeNet InceptionV2/V3/V

卷积网络中采用权重共享策略,每个feature map只有一对 和 需要学习。

用PaddlePaddle和Tensorflow实现GoogLeNet InceptionV2/V3/V


Copyright © 2018 辉煌线路检测中心辉煌线路检测中心-辉煌娱乐国际 All Rights Reserved