Scalable Kernel Density Classification via Threshold-Based Pruning

Scalable Kernel Density Classification via Threshold-Based Pruning

密度估计是许多分析任务的关键组成部分，包括异常值检测、可视化和统计测试。这些任务通常试图将数据分为概率分布的高密度和低密度区域。核密度估计(KDE)是一种计算这些密度的强大技术，它提供了出色的统计精度，但总运行时间是二次的。在本文中，我们介绍了一种简单的技术来提高使用KDE按密度分类点的性能(密度分类)。所提出的技术，阈值核密度分类(tKDC)，将基于阈值的修剪应用于空间索引遍历，以实现对naïve KDE的渐进加速，同时保持精度保证。tKDC不是精确地计算每个点的精确密度用于分类，而是迭代地计算密度下界和短路密度计算，只要下界高于或低于目标分类阈值。在广泛的数据集大小和维度上，tKDC比其他方法显示了高达1000倍的经验加速。