统计学习中的Kernel Function——【Kernel density estimation】【Kernel Regression】

最新推荐文章于 2024-07-26 08:17:48 发布

Statistic_Code

最新推荐文章于 2024-07-26 08:17:48 发布

阅读量345

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/qq_40268680/article/details/116204149

本文探讨统计学习中的Kernel Function，重点介绍了Kernel density estimation（无监督学习）和Kernel Regression（有监督学习）。在Kernel density estimation中，解释了Kernel的思想和参数h的选择，而在Kernel Regression部分，讲解了Local-Constant和Local-Linear Estimator的概念。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

统计学习中的Kernel Function

0.引入

假设随机变量 $X$ 来自某个未知分布 $F (X)$ , 我们有一组 $X$ 的抽样观测: $x_1,...x_n$ .
我们的问题是: 该如何估计它背后密度函数 $f (x)$ ?

1. Kernel density estimation(无监督学习)

1.1思想

我们已经假设分布函数为 $F (x)$ ，密度函数为 $f (x)$ .
估计 $F (x)$ 的朴素想法就是用样本的经验分布 $F_n(x)$ 去估计 $F (x)$ ,这是因为根据格里文科定理,我们知道当样本容量 $n \to \infty$ 时， $F_n(x)$ 以概率1 一致收敛于 $F (x)$ .

根据定义, $Fn(x)=1n∑i=1nI(xi≤x)F_n(x)=\frac{1}{n}\sum_{i=1}^nI(x_i\le x)$

下面考虑我们的估计目标 $f (x)$ , 我们知道密度函数是分布函数的导数, 自然地我们有: $f(x)=limh→0F(x+h)−F(x−h)2hf(x)=lim_{h\to 0 \frac{F(x+h)-F(x-h)}{2h} }$

将 $F (x)$ 的估计 $F_n(x)$ 带入: $\frac{F_n(x+h)-F_n(x-h)}{2h} =\frac{\frac{1}{n}\sum_{i=1}^nI(x-h\le xi\le x+h)}{2h}=\frac{1}{n}\sum_{i=1}^n\frac{1}{2}\frac{1}{h}I(x-h\le x_i \le x+h)=\frac{1}{n}\sum_{i=1}^n\frac{1}{2}\frac{1}{h}I(-1\le \frac{x_i-x}{h} \le 1)=\frac{1}{n}\sum_{i=1}^n\frac{1}{2}\frac{1}{h}I(|\frac{x_i-x}{h}| \le 1)$