统计学习 第三章

http://blog.leanote.com/post/sikongdashu8964@gmail.com/%E7%BB%9F%E8%AE%A1%E5%AD%A6%E4%B9%A0%E6%96%B9%E6%B3%95%E4%B9%A0%E9%A2%98%E8%AF%95%E8%A7%A3%EF%BC%88%E7%AC%AC%E4%B8%89%E7%AB%A0%EF%BC%89   各章答案

3.1

参照图3.1，在二位空间中给出实例点，画出k为1和2时的k近邻法构成的空间划分，并对其进行比较，体会k值选择与模型复杂度及预测准确率的关系

假设三个点(2,3),(5,4),(4,2)，对应类别分别0,1,1，用绿色和黄色表示0和1。

假设k=1：

在红色的线上，每一点到(2,3)和(5,4)的距离相等，蓝色的线上每一点到(2,3)和(4,2)的距离相等，因此两线交点以左的空间属于0类，剩余部分是1类。

假设k=3（k=2会出现平票），则所有空间都属于1类。

通过比较可以发现，更小的k会使模型更复杂，准确率更高（不发生过拟合的情况下），更大的k则反之。

3.2

利用例题3.2构造的kd树求点x=(3,4.5)T的最近近邻点

 从树根往下搜索到叶节点(4,7)，与x欧式距离为2.69;

退回到节点(5,4)，x点与之距离为2.06，更新最近节点为(5,4);

（5,4）节点x1轴到x点的距离为2，小于2.06，往另一个子节点处搜索;

（5,4）与（2,3）的的距离为1.8，更新最近点为（2,3）;

回退到根节点（4,7），与根节点距离为4.72;

（4,7）节点x2轴与x距离为2.5，大于1.8，不搜索另一边子节点处。

返回最近点（2,3）。

3.3

输入：已构造的kd树，目标点x

输出：x的k近邻

（1）：在kd树中找出包含点x 的叶节点：从根节点出发，递归向下访问kd树。若目标点x当前维度的坐标小于切分点的租表，则移动到左子节点，否则移动到右子节点。直到子节点为叶节点为止。

（2）：将此节点添加到长度为k的列表L中。

（3）：地柜地向上回退，在每个节点进行以下操作：

（a）：计算到该节点距离，当L的长度<k时将其添加到L；当L的长度=k时，如果其距离>MAX(L)，则替换掉MAX(L)。

（b）：检查另一子节点对应区域，当L的长度<k时，递归执行近邻搜索操作。或L的长度=k时，以以目标点为球心，MAX(L)为半径的超球体与区域相交时，递归执行近邻搜索操作。以上两点不满足则向上回退。

（4）：对根节点完成操作（3）后，搜索结束，返回L。