正则化 归一化（神经网络专业术语基本介绍）

本文目录

• 神经网络专业术语基本介绍
• matlab 有没有正则化命令

神经网络专业术语基本介绍

1. 卷积层

    （1）作用：提取图像特征，也称作“特征训练分类器”。

2. 池化层

    （1）作用：采样，减小图像尺寸，减少训练参数，减轻模型过拟合程度。

    （2）Max-Pooling和Mean-Pooling两种

    （3）重叠池化（Overlapping Pooling）：strides 《 ksize

3. 激活函数

    （1）作用：将卷积后得到的值限制在指定范围内。

    （2）函数形式

        （a）sigmoid：f(x)=1/(1+exp(-x))    值域为(0,1)

        （b）tanh:  f(x)=  值域为(-1,1)

          (c)   近似生物神经激活函数 ReLU（Rectified Linear Units）:  f(x)=max(0,x)  值域为[0,∞)

        （d）近似生物神经激活函数Softplus：f(x)=log
    （3）后面两个函数对比Sigmoid函数好在三点： ①单侧抑制 ②相对宽阔的兴奋边界 ③稀疏激活性 （重点，可以看到红框里前端状态完全没有激活）

4.局部响应归一化（LRN:Local Response Normalization）

    （1）作用：激活的神经单元会抑制临近神经元。

5. DropOut

    （1）作用：以一定的概率暂时丢弃神经元，使其不参与前向传播与反向传播，可减轻过拟合，加快计算速度，减少参数。

    （2）工作特点：dropout在训练时会随机将部分节点的输出改为0。

    （3）工作方式：dropout一般只在全连接层而不再卷积或池化层使用。
AlexNet与LeNet除了层数之外设计不同的是，AlexNet还运用ReLU激活函数，局部反应归一化，重叠池化（overlapping Pooling）

6.  知识拓展

    （1）Top-5错误率

        对一个图片，如果分类概率前五中包含正确答案，才认为正确。

    （2）Top-1错误率

        对一个图片，如果分类概率最大的是正确答案，才认为正确。

7. 泛化能力

    深度神经网络往往带有大量的参数，但依然表现出很强的泛化能力（指训练好的模型在未见过的数据上的表现）。

    泛化能力：指训练好的模型在未见过的数据上的表现能力。良好泛化能力的网络在输入数据与训练数据稍有不同时也能得到比较好的结果

8.  正则化

    （1）定义：深度学习中用以减小测试误差，但可能会增加训练误差的策略称为正则化。

    （2）作用：避免过拟合

    （3）方式：正则化项加在了成本函数中，而且只在全连接层的权重需要加入正则化

        （a）L1正则项

                α||w||即为L1正则化项
        （b）L2正则项
        （c）目前许多正规化方法，如神经网络、线性回归、logistic回归通过在目标函数J上加一个参数规范惩罚项 Ω(θ)公式如下:
9.  过拟合

    （1）定义：指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合。 

    （2）具体表现：最终模型在训练集上效果好，但是在测试集上效果差，模型泛化能力弱。

    （3）解决原因：我们无法穷尽所有状态，不可能将所有情况都包含在训练集上

    （4）解决办法：

        （a） 获取更多数据。①数据增强；②采集更多数据；

        （b） 使用合适的模型
            （一）网络结构 Architecture
            （二）训练时间 Early stopping

            （三）限制权值 Weight-decay，也叫正则化（regularization）

            （四）增加噪声 Noise。在输入中加噪声；在权值上加噪声；对网络的响应加噪声

        （c） 结合多种模型
            （一）Bagging
            （二）Boosting

            （三）Dropout

        （d） 贝叶斯方法

10.  Softmax函数

    （1）定义：在 数学 ，尤其是 概率论 和相关领域中， Softmax函数 ，或称 归一化指数函数 ，是 逻辑函数 的一种推广。它能将一个含任意实数的K维的向量 Z  “压缩”到另一个K维实向量 f( Z ） 中，使得每一个元素的范围都在(0,1)之间，并且所有元素的和为1。该函数的形式通常按下面的式子给出:

    （2）通俗的讲解：
参考：

***隐藏网址***

***隐藏网址***

***隐藏网址***

***隐藏网址***

matlab 有没有正则化命令

　　MatLab归一化（正则化）函数
　　mapminmax
　　语法
　　 = mapminmax(YMIN,YMAX)
　　 = mapminmax(X,FP)
　　Y = mapminmax(’apply’,X,PS)
　　X = mapminmax(’reverse’,Y,PS)
　　dx_dy = mapminmax(’dx’,X,Y,PS)
　　dx_dy = mapminmax(’dx’,X,,PS)
　　name = mapminmax(’name’);
　　fp = mapminmax(’pdefaults’);
　　names = mapminmax(’pnames’);
　　remconst(’pcheck’,FP);
　　描述
　　mapminmax将矩阵中每一行规范化到范围内。
　　mapminmax(X,YMIN，YMAX)中参数YMIN，YMAX是可选的。 Matlab中文论坛
　　X为N*Q的矩阵或者每一元素为1*TS细胞元组的N*Q的矩阵。
　　YMIN Y中每个行的最小值(默认为-1)
　　YMAX Y中每个行的最大值(默认为1) book.iLoveMatlab.cn
　　返回值：
　　Y M*Q的矩阵(M=Q)
　　PS 处理过程的设置，实现对数据的一致处理
　　mapminmax(X,FP) 参数为一个结构：FP.ymin, FP.ymax
　　mapminmax(’apply’,X,PS) 对X根据PS中的配置做同样的规范化，返回Y
　　mapminmax(’reverse’,Y,PS) 根据规范化后的Y及PS中的配置反归一化，返回X
　　mapminmax(’dx’,X,Y,PS) returns the M x N x Q derivative of Y with respect to X.
　　mapminmax(’dx’,X,,PS) returns the derivative, less efficiently.
　　mapminmax(’name’) 返回处理方法的名字
　　mapminmax(’pdefaults’) 返回默认的处理参数的结构
　　mapminmax(’pdesc’)返回处理参数的描述
　　mapminmax(’pcheck’,FP) 如果任意一个参数非法返回错误信息
　　举例
　　下面是如何规范化一个矩阵的过程，这个规范化将每一行的最小值与最大值映射到区间
　　x1 =
　　 = mapminmax(x1)
　　下一步，对新的值应用同样的处理方法 book.iLoveMatlab.cn
　　x2 =
　　y2 = mapminmax(’apply’,x2,PS)
　　将y1反归一化回x1
　　x1_again = mapminmax(’reverse’,y1,PS)
　　算法
　　mapminmax假设x的值为实数，并且每一行的元素值不相等
　　y = (ymax - ymin)*(x - xmin)/(xmax - xmin) + ymin;