LeNet模型

参考文章 https://www.cnblogs.com/hd-zg/p/8724694.html

论文地址  Gradient-based learning applied to document recognition

卷积神经网络主要由两部分组成，一部分是特征提取（卷积、**函数、池化），另一部分是分类识别（全连接层） 

C3层的第0个特征图和S2层的第0、1、2个feature map相连接，计算过程为：用三个卷积模板分别于S2层的三个features map卷积，将卷积结果求和+b，取sigmoid得到卷积后对应的feature map。有的是三个卷积模板，有的是四个，有的是6个，最后的参数个数：(5*5*3+1)*6+(5*5*4+1)*9+(5*5*6+1)=1516

output层，共有10个节点，分别代表数字0到9。如果第i个节点的值为0，则表示网络识别的结果是数字i。.该层采用径向基函数（RBF）的网络连接方式，假设x是上一层的输入，y是RBF的输出，则RBF输出的计算方式是：
 

上式中的Wij的值由i的比特图编码确定，i从0到9，j取值从0到7×12-1。RBF输出的值越接近于0，表示当前网络输入的识别结果与字符i越接近。