神经网络：利用函数的连续次递归计算，将输入映射到输出。
连续次函数的计算，可以让 就算原始函数是一次函数的函数，在最后形成极其复杂函数才有的分类性。
神经网络的实质：仍是求适合的权重参数，组成一个f(x)，让输入能对应地找到输出（即想要的结果）
q-learning所做为建立 状态-结果 的表格，让每个状态找到一个结果，而神经网络换成了f(x)来连接输入输出
深度学习神经网络原理：
设原始评价函数其为简单的一次函数 f(x)=wx+b
因为网络一定是应对多输入的，因此我们不必事先对输入进行转换或压缩，来方便计算。
同时，因为我们要网络能解决拥有不相同特征的问题，所以要有n个w（如分类猫狗时，要给图片打分，有几分像猫，有几分像狗，一个u来乘所有的输入x1,x2,x3…xn，明显只会有一个结果，即：当要判断几个问题，就要有几个u，分别用u1对像猫程度，u2对像狗程度打分）(((((此处存疑！！！)))))
之后我们要损失函数来评判网络打分结果如何。损失函数=数据损失+正则化惩罚项
\[
L=\frac{1}{N}\sum_{i=1}^{n}L_i+\lambda R(W)
\\ \lambda 为惩罚系数，决定模式允许的突跃参数程度
\]
数据损失：
用 Σ(其他类的得分（即错误得分）减去正确得分再+1) 表示错误的得分与正确分类的得分的差距，如果正确得分更高，显然结果为负数，即负损失，否则说明分类有错，与正确结果有偏差。+1是为了让若错误结果得分与正确得分相近时，让其偏差增大，提高模型容错，防止相近结果无法区分（低分飘过不算及格！）。我们再max(0,Σ(如上))，来让负损失时取0，表示没有损失，分类正确，即无需修改模型。
\[
L_j=\sum_{i\neq j}^{n} MAX(0,f(x_i;W)-f(x_j;W)+1)
\\i为类别序号，j为正确类别，x_n为输入，W为权重参数
\\ \frac{1}{N}\sum_{i=1}^{n}L_i
\\加和所有类别并除N即可得到这个权重参数对所有类型的分类情况
\]
最后用Softmax或RELU进行非线性处理
正则化惩罚项：
\[
R(W)=\sum_k \sum_l W^2_{k,l}
\\k,l为w的序号，W为参数，用所有权重参数平方加和，显示模型各个权重参数是否有突跃（指数爆炸的效果），\\若有，加到损失里面后，损失会变得很大，我们希望模型是平缓的，不过拟合的
\]
前向传播：将上一层的输出作为下一层的输入，并计算下一层的输出，一直到运算到输出层为止。
反向传播：
激活层：
全连接：
卷积：
与一般的神经网络不同，卷积神经网络的输入不是一个个的（x1,x2,x3…xn），而是一组组的（矩阵n1,n2,n3…）
提取特征时，也不是W×x，而是用一个卷积核（权重参数矩阵）去对应乘矩阵输入，得到一个特征图（矩阵）。同W，卷积核也是一个向量。整体像一个滑动窗口，然后投影。
池化：
利用类似于图像压缩的算法，压缩特征
最大池化：只取最大。（目前效果最好）
平均池化：对范围内取平均值
边缘填充：
边缘像素，被卷积核滑动过的次数会减少，因此要用0补充外缘，让卷积核滑动过边缘的次数与内部像素次数相同
**感受野：**之后的特征图会包含着前面的特征图的特征，当卷积核足够小时，所需参数数量也会变小，因此用几个小的特征核卷积，比用一个大的特征核更好
构建网络：
W向量的长度因为会全链接，会导致输入数据规模高速膨胀，因此要谨慎设置其长度。
W向量个数，即隐藏层个数。
最后都要 非线性处理
**卷积神经网络：**要不断池化缩小，最后能全连接
**残差网络：**不断堆叠中，因为中间有层数会影响后面的学习，因此就将效果差的层的参数置零