KNN中的优化算法KD-tree

我们知道KNN是基于距离的一个简单分类算法，熟悉KNN的都知道，我们要不断计算两个样本点之间的距离，但是，试想一下，如果数据量特别大的时候，我们要每个都计算一下，那样计算量是非常大的，所以提出了一种优化KNN的算法-----kd-tree.

实现k近邻法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索。这在特征空间的维数大及训练数据容量大时尤其必要。k近邻法最简单的实现是线性扫描（穷举搜索），即要计算输入实例与每一个训练实例的距离。计算并存储好以后，再查找K近邻。当训练集很大时，计算非常耗时。为了提高kNN搜索的效率，可以考虑使用特殊的结构存储训练数据，以减小计算距离的次数。

kd树(K-dimension tree)是一种对k维空间中的实例点进行存储以便对其进行快速检索的树形数据结构。kd树是是一种二叉树，表示对k维空间的一个划分，构造kd树相当于不断地用垂直于坐标轴的超平面将K维空间切分，构成一系列的K维超矩形区域。kd树的每个结点对应于一个k维超矩形区域。利用kd树可以省去对大部分数据点的搜索，从而减少搜索的计算量。

构造平衡kd树算法： 
输入： k维空间数据集 T={x1,x2,...,xN}，其中