前几天学习了Deeplearning Toolbox中关于CNN的那部分代码，发现这个Toolbox的关于CNN的实现与经典的LeNet-5的实现有下面几点不同：
- 在下采样层，在计算前一层的神经元之和后没有使用到偏置；
- 在下采样层，在计算前一层的神经元之和后没有使用到系数；
- 在下采样层，没有使用Sigmoid函数进行激活
因此，在学习了CNN的代码后，就要进行修改了。
在Toolbox中，CNN主要有四个部分组成，cnnsetup.m用于设置CNN的结构和初始化参数，cnnff用于计算前向过程，cnnbp用于计算各层的delta和每一个参数的梯度，cnnapplaygrads使用梯度下降算法计算更新每一个参数。
因此，每添加一个参数或者添加激活函数，都需要在相应的修改者四个文件中的部分。主要步骤如下：
- 在cnnsetup.m文件中添加相应的参数初始值；
- 在cnnff.m文件中添加该参数在前向过程中需要加入的计算；
- 在cnnbp.m文件中添加该参数对于delta计算的部分，已经该参数的梯度计算部分；
- 在cnnapplaygrads.m文件中添加更新该参数的部分。
根据《Notes on Convolutional Neural Networks》中，关于CNN的下采样层的偏置和推导，可以知道，单独添加下采样层并不会影响到下一层和前一层的delta的计算，也不会影响其他参数的梯度的计算，比较容易实现，因此，考虑添加下采样层偏置。
一.增加下采样层的偏置
在cnnsetup.m文件中，已经初始化了下采样层的偏置：
在cnnff.m文件中，添加下面的代码：
在cnnbp.m文件中，添加下面的代码
在cnnapplaygrads.m文件中，添加下面的代码：
在进行5次的迭代之后，出现的结果如下：
进行10迭代后的结果如下：
下一步就是增加下采样层的系数。