深入了解机器学习-准备之主要概念

一 数学

1 代数

• 变量、系数和函数

• 线性方程式，例如 y = b +w1x1 +w2x2

• 对数和对数方程式，例如 y = In(1+e^z)

• S 型函数

  前面几个知识点比较好理解，我们看一下 S 型函数
  S型函数（Sigmoid function）是BP神经网络中常用的非线性作用函数，即sigmoid函数，公式是f(x)=1/(1+e^-x)（-x是幂数）。Sigmoid函数又分为Log-Sigmoid函数和Tan-Sigmoid函数。由于BP神经网络的传递函数必须可微，所以感知器的传递函数–二值函数在这里不可用，故BP神经网络一般使用Sigmoid函数或者线性函数作为传递函数。而Sigmoid函数又分为Log-Sigmoid函数（一般所说的S型函数就是这个的简称）和Tan-Sigmoid函数（又称为双曲正切S型函数），前者的值域为（0，1），后者的值域为（-1,1）。

2 线性代数

• 张量和张量等级

• 矩阵乘法

  张量（Tensor）是一个定义在一些向量空间和一些对偶空间的笛卡儿积上的多重线性映射，其坐标是|n|维空间内，有|n|个分量的一种量， 其中每个分量都是坐标的函数， 而在坐标变换时，这些分量也依照某些规则作线性变换。r 称为该张量的秩或阶（与矩阵的秩和阶均无关系）。
  在同构的意义下，第零阶张量 （r = 0） 为标量 （Scalar），第一阶张量 （r = 1） 为向量 （Vector）， 第二阶张量 （r = 2） 则成为矩阵 （Matrix）。例如，对于3维空间，r=1时的张量为此向量：（x,y,z）。由于变换方式的不同，张量分成协变张量 （Covariant Tensor，指标在下者）、逆变张量 （Contravariant Tensor，指标在上者）、 混合张量 （指标在上和指标在下两者都有） 三类。

3 三角学

Tanh（作为激活函数进行讲解，无需提前掌握相关知识）
tanh是双曲函数中的一个，tanh()为双曲正切。在数学中，双曲正切“tanh”是由基本双曲函数双曲正弦和双曲余弦推导而来。
函数：y=tanh x；定义域：R，值域：(-1,1)。y=tanh x是一个奇函数，其函数图像为过原点并且穿越Ⅰ、Ⅲ象限的严格单调递增曲线，其图像被限制在两水平渐近线y=1和y=-1之间

4 统计信息

• 均值、中间值、离群值和标准偏差

  离群值(outlier)，也称逸出值，是指在数据中有一个或几个数值与其他数值相比差异较大。chanwennt准则规定，如果一个数值偏离观测平均值的概率小于等于1/(2n)，则该数据应当舍弃（其中n为观察例数，概率可以很据数据的分布进行估计）。

  标准差也被称为标准偏差，标准差(Standard Deviation)描述各数据偏离平均数的距离（离均差）的平均数，它是离差平方和平均后的方根，用σ表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度，标准偏差越小，这些值偏离平均值就越少，反之亦然。标准偏差的大小可通过标准偏差与平均值的倍率关系来衡量。平均数相同的两个数据集，标准差未必相同。
  总体标准偏差 ，
  
  u代表总体X的均值。

5 微积分

• 导数概念（您不必真正计算导数）

• 梯度或斜率

• 偏导数（与梯度紧密相关）

• 链式法则（带您全面了解用于训练神经网络的反向传播算法）

  导数（Derivative）是微积分中的重要基础概念。当函数y=f（x）的自变量x在一点x0上产生一个增量Δx时，函数输出值的增量Δy与自变量增量Δx的比值在Δx趋于0时的极限a如果存在，a即为在x0处的导数，记作f’（x0）或df（x0）/dx。
  

  梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。
  在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。
  斜率亦称“角系数”，表示平面直角坐标系中表示一条直线对横坐标轴的倾斜程度的量
  偏导数反映的是函数沿坐标轴正方向的变化率。
  链式法则是微积分中的求导法则，用于求一个复合函数的导数，是在微积分的求导运算中一种常用的方法。复合函数的导数将是构成复合这有限个函数在相应点的 导数的乘积，就像锁链一样一环套一环，故称链式法则。