数据分析统计学原理第三章：数值方法 | 我的统计学原理复习日记

样本统计量（sample statistics）：数据来自样本的计算的度量
总体参数（population parameters）：数据来自总体的计算的度量
点估计量（point estimator）：总体参数的样本统计量

平均数（mean）
样本平均数

总体平均数

平均数容易受极端值的影响

加权平均数（weighted mean）

例子：

中位数（median）：对变量中心位置的一种度量
对奇数个观测值，中位数是中间的数值
对偶数个观测值，中位数是中间两个数值的平均值

几何平均数（geometric mean）：一种位置的度量

例子:
用来计算平均年利率

众数（mode）：出现次数最多的数据

百分位数（percentile）：提供了数据如何散步在从最小值与最大值的区间上的信息
对于包含n个观测值的数据集，第p百分位数将数据分割为两个部分：大约有p%的观测值比第p百分位数小；而大约有（100-p）%的观测值比第p百分位数大。

四分位数（quartiles）：人们经常需要将数据划分为四部分，每一部分大约包含14或25%的观测值。

变异程度（离散程度）的度量
极差（range）

四分位数间距（interquartile range, IQR）：第三四分位数与第一四分位数的差值

方差（variance）：用所有数据对离散程度所做的一种度量
总体方差：

样本方差

或

可以证明如果样本平均数的离差平方和除以n-1，而不是n时，所得到的样本方差是总体方差的无偏估计。

标准差（standard deviation）：方差的正平方根

标准差的单位与原始数据的单位相同，更容易与别的统计量进行比较

标准差系数（coefficient of variance）：标准差相对于平均数大小的描述统计量

在比较具有不同标准差和不同平均数的变量的离散程度时，标准差系数时一个很有用的统计量

平均绝对偏差（MAE）：另外一种离散程度的度量

偏度（skewness）

当偏度为正时，通常平均数比中位数要大
当偏度为负时，通常平均数比中位数要小

z-分数（z-score）：对一个特殊数值对平均数的距离的度量

任何观测值的z-分数都被认为是对数据集中观测值相对位置的量度。因此，两个不同数据集的观测值具有相同的z-分数，就可以说它们具有相同的相对位置，因为它们与平均数的距离有相同个数的标准差。

切比雪夫定理（Chebyshev’s theorem）：与平均数的距离在某个特定个数的标准差之内的数据值所占的比例

切比雪夫定理的优点之一就是，它适用于任何数据集而不论其数据分布的形状。但是在实际应用中，人们发现许多数据集具有类似对称的峰形或钟形分布。当数据被认为近似于这种分布时，就可以运用经验法则（ empirical rule）来确定与平均数的距离在某个特定个数的标准差之内的数据值所占的比例。

异常值（outliers）

标准化数值（z-分数）可以用来确认异常值。经验法则告诉我们，对于具有钟形分布的数据，几乎所有的数据值与平均数的距离都在3个标准差之内。因此，在利用x-分数来检测异常值时，我们建议把z-分数小于-3或大于+3的任何数值都视为异常值。然后，对它们的准确性进行检查，以确定它们是否属于数据集。

确定异常值的另一种方法是以第一四分位数和第三四分位数以及四分位数间距（IQR）为依据。

五数概括法（five-number summary）：使用最小值，第一四分位数，中位数，第三四分位数，最大值来对数据进行汇总

箱型图（box plot）：基于五数概括法的数据图形汇总

两个变量间关系的度量

协方差（covariance）：两变量间的一种线性关系度量
样本协方差：

总体协方差

协方差的值依赖于x和y的计量单位，因为计量单位的不同，会导致离差的太大或太小，最终导致协方差的不准确，因此，我们可以使用相关系数对两变量间的相关关系进行度量

相关系数（correlation coefficient）
皮尔逊积矩相关系数（样本）

皮尔逊积矩相关系数（总体）

我们发现如果数据集中所有的点都在一条斜率为正的直线上，则样本相关系数的值为+1。也就是说，样本相关系数的值为+1对应于x和y之间存在一个完全正线性关系。如果数据集中所有的点都在一条斜率为负的直线上，则样本相关系数的值为-1。也就是说，样本相关系数的值为-1对应于x和y之间存在一个完全负线性关系。
现在我们假设，某个数据集表示x和y存在一个正的线性关系，但不是完全线性的。相关系数小于1，表示在散点图上点不全在一条直线上。随着数据集中的点越来越偏离完全正线性关系，相关系数的值就变得越来越小。当等于零时，表明x和y之间不存在线性关系，相关系数的值接近于零则表明弱的线性关系。
最后，我们注意相关系数提供了线性但不是因果关系的一个度量。两个变量之间较高的相关系数，并不意味着一个变量的变化会引起另一个变量的变化。例如，我们看到，饭店的质量等级和代表性餐价是正相关的。但是，简单地增加饭店的餐价并不会提供单调的质量等级。