Convolution Nerture Network

1-dim conv 数列的滑动平均 rolling average
2-dim conv

As for convolution

1. 求导用 (自变量为索引下标)
   1）First-order derivative
   [-1,1]的卷积核在滚动
   检测粗的边缘
   example :
   image pixel: 2 2 1 0 0 5 0
   $\frac {\delta f(x)}{\delta x} = f’(x) = \frac {f(x+1)-f(x)}{1}$
   0 -1 -1 0 5 -5
   x方向一阶求导：
   $\begin{bmatrix}-1 & 0 & 1 \ -1 & 0 & 1\ -1 & 0 & 1\ \end{bmatrix}$
   y方向一阶求导：
   $\begin{bmatrix}-1 & -1 & -1 \ 0 & 0 & 0\ -1 & -1 & -1\ \end{bmatrix}$
   2)Second-order derivative
   [1，-2，1]的卷积核在滚动
   边缘精细
   双边结果
   $\frac {\delta^2 f(x)}{\delta x^2} = f”(x) = [f(x+1)-f(x)]’ = f(x+2) +f(x) - 2f(x+1)$

2. kernel
   1) 种类：高斯Gaussian 均值 中值
   2）

CNN 拟合函数

优点：

1. lacal invariant 平移不变性
2. parameters sharing

Feature detection

1. example：分割线特征提取

More about CNN

padding

1. 保持维度
2. 增强边缘特征提取
3. Same Padding 保持维度一致
4. Valid Padding 没有 Padding，正常卷积
5. 用0的好处，对最后计算的结果不会带来噪声

strides

What is receptive field

feature map

filter number and size is a hyperparameter

Test your understanding

lower-level: 感受野小 局部在特征提取
high-level: 感受野大，局部特征融合，全部特征提取

理论题目：

1. Compared to FNN, what is the biggest advantage of CNN?
2. Suppose your input is a 100 by 100 gray image, and you use a convolutional layer with 50 filters that are each 5x5. How many parameters does this hidden layer have (including the bias parameters)?
3. What are “local invariant” and “parameter sharing”?
4. Why we use batch normalization?
5. What problem does dropout try to slove?
6. 为什么必须在神经网络中引入非线性？
   • 如果我们将获得一个由多个线性函数组成的线性函数，那么就成了线性模型。线性模型的参数数量非常少，因此建模的复杂性也会非常有限。多次线性变换可以一次代替。
7. 相较于使用密集神经网络（Dense Neural Network，DNN），使用卷积神经网络（Convolutional Neural Network，CNN）有哪些优势？
   • CNN 是平移不变的：对于卷积核而言，像素的确切位置是无关的。
   • 更不容易发生过度拟合：一般而言 CNN 中的参数比 DNN 要少很多。
   • 分层性质：通过使用较简单的模式描述复杂的模式来学习模式。
8. 说明在图像分类任务中可视化CNN特征的方法。
   • 输入遮挡：遮挡输入图像的一部分，看看哪部分对分类的影响最大。 例如，针对某个训练好的图像分类模型，将下列图像作为输入。如果我们看到第三幅图像被分类为狗狗的概率为98%，而第二幅图像的准确率仅为65%，则说明眼睛对于对分类的影响更大。
     

滑动平均

用滑动平均估计局部均值
https://www.cnblogs.com/wuliytTaotao/p/9479958.html

https://mp.weixin.qq.com/s?__biz=MzA4MjY4NTk0NQ==&mid=100000908&idx=1&sn=d9b36f03c19c33381a6ce21c1fbe03a1&chksm=1f80be1a28f7370cbe89a12d24d505509c0c162f0391ab719eaddb4b713a3437687f59ca3f38&mpshare=1&scene=23&srcid=&sharer_sharetime=1586443130077&sharer_shareid=7ff50f3bba4b2c6171fdafe06e9b009d#rd

cnn 可视化