1. LeNet5：卷积神经网络的起点
1998年Yann LeCun提出的LeNet5，是第一个成功应用于手写数字识别的卷积神经网络。这个看似简单的网络结构，奠定了现代深度学习的基石。我第一次复现这个网络时，发现它的设计处处透露着精妙。比如输入层采用32x32的灰度图像，这个尺寸既保证了足够的信息量，又避免了过大的计算负担。
LeNet5的核心结构可以概括为"卷积-池化-卷积-池化-全连接"的经典模式。第一层使用6个5x5卷积核，这个设计在当时堪称大胆。要知道，90年代的计算机性能与现在天差地别，能在这样的硬件条件下实现有效特征提取，充分体现了设计者的智慧。实测下来，这种中等尺寸的卷积核在保持局部特征提取能力的同时，计算量相对可控。
2. 网络结构深度解析
2.1 卷积层的设计哲学
LeNet5的第一卷积层采用6个5x5的卷积核，输出28x28的特征图。这里有个细节值得注意：输入图像是32x32，经过5x5卷积后变为28x28，这意味着没有使用padding。这种设计在当时是为了减少计算量，但现代网络通常会加入padding来保持特征图尺寸。
参数量计算很有意思：(5×5×1+1)×6=156。这里的"+1"是偏置项，每个卷积核都有一个独立的偏置。计算量则达到122,304次浮点运算，这在当时已经是不小的负担。我在嵌入式设备上测试时发现，即使是这样"轻量"的网络，在90年代的硬件上运行也需要数秒时间。
2.2 池化层的演进
第二层的2x2池化将特征图降采样到14x14。LeNet5使用的是平均池化，这与现代网络普遍采用的最大池化有所不同。平均池化能保留更多背景信息，但对突出特征的提取能力较弱。实测对比发现，在MNIST数据集上，最大池化的准确率能比平均池化高出约0.5%。
池化层的参数量只有12个（6个池化核，每个带一个偏置），计算量5880次。这个设计体现了早期网络对计算效率的极致追求。现代网络往往使用更大的池化窗口或更复杂的降采样方式，但在资源受限的场景下，这种简单的2x2池化仍然有其价值。
3. 参数量与计算量的平衡艺术
3.1 参数量的优化思路
LeNet5的全连接层占据了大部分参数。以第一个全连接层为例，它将5x5x16=400个神经元连接到120个神经元，产生了(400+1)×120=48120个参数。这比前面所有卷积层的参数总和还要多一个数量级。
现代轻量化网络通过多种方式解决这个问题：
- 使用全局平均池化替代全连接层
- 采用瓶颈结构减少中间层通道数
- 引入深度可分离卷积
我在MobileNetV2的实现中就深有体会：通过倒残差结构和线性瓶颈，在保持精度的同时将参数量减少了近80%。
3.2 计算量的优化策略
LeNet5的总计算量约为60万次浮点运算。放在今天看微不足道，但在当时已经需要专门的硬件加速。现代轻量化网络的主要优化手段包括：
- 深度可分离卷积：将标准卷积分解为深度卷积和点卷积
- 分组卷积：将通道分组处理，减少连接数
- 通道混洗：在分组卷积后重新分配通道信息
以ShuffleNet为例，通过分组卷积和通道混洗，在ImageNet上达到了与ResNet相当的精度，但计算量只有后者的1/4。我在部署到移动端时，这种优化带来的速度提升非常明显。
4. 现代轻量化网络的演进
4.1 MobileNet系列的设计哲学
MobileNetV1引入的深度可分离卷积，可以看作是LeNet5设计理念的现代演绎。它将标准卷积分解为两个步骤：
- 深度卷积：每个通道单独处理
- 点卷积：1x1卷积进行通道组合
这种结构的参数量计算公式为：K×K×Cin + Cin×Cout。与标准卷积的K×K×Cin×Cout相比，当K=3时，参数量减少约8-9倍。我在实际项目中测试发现，这种结构在保持90%以上精度的同时，模型大小可以缩小到原来的1/10。
4.2 ShuffleNet的创新之处
ShuffleNet在分组卷积的基础上引入了通道混洗操作，解决了信息流通不畅的问题。它的核心单元包含：
- 分组卷积层
- 通道混洗层
- 瓶颈结构
这种设计使得网络在极低计算预算下（如10-150 MFLOPs）仍能保持较好的性能。我在嵌入式设备上对比测试发现，相同计算量下，ShuffleNet的精度比MobileNet高出2-3个百分点。
5. 从经典到现代的启示
LeNet5虽然简单，但它的设计理念对现代网络仍有重要启示：
- 层次化特征提取：卷积-池化的交替使用，这种模式至今仍是主流
- 计算效率优先：即使在资源受限条件下，也要保证网络可运行
- 端到端训练：从原始输入到最终输出的完整学习框架
在最近的一个工业检测项目中，我借鉴这些理念设计了一个超轻量网络：使用3x3深度可分离卷积，配合1x1卷积进行通道调整，在保持95%精度的同时，模型大小控制在200KB以内，可以在低端ARM芯片上实时运行。
