第三章：速记Day3-灵析社区

对于BN，在训练时，是对每一批的训练数据进行归一化，也即用每一批数据的均值和方差。

而在测试时，比如进行一个样本的预测，就并没有batch的概念，因此，这个时候用的均值和方差是全量训练数据的均值和方差，这个可以通过移动平均法求得。

对于BN，当一个模型训练完成之后，它的所有参数都确定了，包括均值和方差，gamma和bata。

GBDT是梯度提升决策树，是一种基于Boosting的算法，采用以决策树为基学习器的加法模型，通过不断拟合上一个弱学习器的残差，最终实现分类或回归的模型。

关键在于利用损失函数的负梯度在当前模型的值作为残差的近似值，从而拟合一个回归树。

无论损失函数是什么形式，每个决策树拟合的都是负梯度。准确的说，不是用负梯度代替残差，而是当损失函数是均方损失时，负梯度刚好是残差，残差只是特例。

PCA 按有监督和无监督划分应该属于无监督学习，所以数据集有无 y 并不重要，只是改变样本 X 的属性(特征)维度。

（1）图创建

创建和运行计算图可能是两个框架最不同的地方。

在pyTorch中，图结构是动态的，这意味着图在运行时构建。而在TensorFlow中，图结构是静态的，这意味着图先被“编译”然后再运行。

pyTorch中简单的图结构更容易理解，更重要的是，还更容易调试。调试pyTorch代码就像调试Python代码一样。你可以使用pdb并在任何地方设置断点。调试tensorFlow代码可不容易。要么得从会话请求要检查的变量，要么学会使用tensorFlow的调试器。

（2）灵活性

pytorch：动态计算图，数据参数在CPU与GPU之间迁移十分灵活，调试简便；

tensorflow：静态计算图，数据参数在CPU与GPU之间迁移麻烦，调试麻烦。

（3）设备管理

pytorch：需要明确启用的设备

tensorflow：不需要手动调整，简单

对BN的影响：

对于BN，训练时通常采用mini-batch，所以每一批中的mean和std大致是相同的；而测试阶段往往是单个图像的输入，不存在mini-batch的概念。所以将model改为eval模式后，BN的参数固定，并采用之前训练好的全局的mean和std；总结就是使用全局固定的BN。

对dropout的影响：

训练阶段，隐含层神经元先乘概率P，再进行激活；而测试阶段，神经元先激活，每个隐含层神经元的输出再乘概率P，总结来说就是顺序不同！

主成分分析 (PCA, principal component analysis)是一种数学降维方法, 利用正交变换 (orthogonal transformation)把一系列可能线性相关的变量转换为一组线性不相关的新变量，也称为主成分，从而利用新变量在更小的维度下展示数据的特征。

实现过程：

一种是基于特征值分解协方差矩阵实现PCA算法，一种是基于SVD分解协方差矩阵实现PCA算法。

意义：

使得数据集更易使用；降低算法的计算开销；去除噪声；使得结果容易理解。

K-means算法的基本思想是：

以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各聚类中心的值，直至得到最好的聚类结果。

假设要把样本集分为k个类别，算法描述如下：

（1）适当选择k个类的初始中心，最初一般为随机选取；

（2）在每次迭代中，对任意一个样本，分别求其到k个中心的欧式距离，将该样本归到距离最短的中心所在的类；

（3）利用均值方法更新该k个类的中心的值；

（4）对于所有的k个聚类中心，重复（2）（3），类的中心值的移动距离满足一定条件时，则迭代结束，完成分类。 Kmeans聚类算法原理简单，效果也依赖于k值和类中初始点的选择。

图像的边缘是指其周围像素灰度急剧变化的那些像素的集合，它是图像最基本的特征，⽽图像的边缘检测即先检测图像的边缘点，再按照某种策略将边缘点连接成轮廓，从而构成分割区域。

Harris角点：在任意两个相互垂直的方向上，都有较大变化的点。

角点在保留图像图形重要特征的同时，可以有效地减少信息的数据量，使其信息的含量很高，有效地提高了计算的速度，有利于图像的可靠匹配，使得实时处理成为可能。

某⼀层特征图中的⼀个cell，对应到原始输⼊的响应的大小区域。