机器学习（聚类分析）

1.归类：
聚类属于非监督学习：无类别标记

2.K-means算法：

2.1Clustering中的经典算法，数据挖据十大经典算法之一

2.2算法接受参数k，然后将事先输入的n个对象划分为k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似度极高，而不同聚类中的对象相似度极小

2.3算法思想：
异空间中k个点为中心进行聚类，对最靠近他们的对象进行归类，通过迭代的方法，逐次更新个聚类中心的值，直至得到最好的聚类结果

2.4算法描述：
（1）适当选择c个类的初始中心；
（2）在第k次迭代中，对任意一个样本，求其到c各中心点的距离，将该样本归到距离最短的中心所在的类；
（3）利用均值等方法更新该类的中心值；
（4）对于所有的c个聚类中心，如果利用（2），（3）的迭代更新后，值保持不变，则迭代结束，否则继续迭代；

2.5算法流程：
输入：k，data[n];
（1）选择k个初始中心点c[0]=data[0],…c[k-1]=data[k-1];
（2）对于data[0]…data[n],分别与c[0]…c[k-1]比较，假定c[i]差值最少，就标记为i；
（3）对于所有标记为i点，重新计算c[i]={所有标记为i的data[i]之和}/标记为i的个数;
（4）重复（2）（3），直到所有c[i]值的变化小于给定的阈值。

优点：速度块，简单
缺点：最终结果跟初始点选择相关，容易陷入局部最优，需直到k值

算法实现：

# -*- coding:utf-8 -*-

import numpy as np




def kmeans(X,k,maxIt):   #传入数据集，以npAarray的格式传入，k为分成的类别数，maxI为迭代次数
    numPoints,numDim = X.shape   #获取X的行（样本数量）和列（样本维度）

    dataSet = np.zeros((numPoints,numDim+1)) #创建新的数据集，多定义的一列用来存储标签值
    dataSet[:,:-1] = X     #将数据集x赋值给dataSet,dataSet除了最后一列,其他值为X

    centroids = dataSet[np.random.randint(numPoints,size =k),:]   #随机选择k个中心点，选出K个样本点
    centroids [:,-1] = range(1,k+1)   #初始化中心点的类别，1-k
    iterations = 0   #声明循环次数
    oldCentroids = None  #存储旧的中心点


    #创建循环，当新的中心点与旧的中心点一致或循环次数达到最大循环次数，则停止循环
    while not shouldStop(oldCentroids,centroids,iterations,maxIt):
        print("iteration:\n",iterations)
        print("dataSet:\n",dataSet)
        print("centroids:\n",centroids)


        #当循环没有停止，执行以下循环语句
        oldCentroids = np.copy(centroids)  #将之前的中心点赋值到旧的中心点集中，用copy复制出副本,两个数据集属于不同的对象，改变值不会影响另外一个
        iterations += 1   #循环次数加1

        updateLabels(dataSet,centroids)   #给样本点重新归类

        centroids = getCentroids(dataSet,k)   #归类结束后重新计算中心点

    return dataSet

#判断循环是否停止
def shouldStop(oldCentroids,centroids,iterations,maxIt):
    if iterations > maxIt:  #如果循环次数达到最大循环次数，则停止循环
        return True
    return np.array_equal(oldCentroids, centroids)   #如果新的中心点值和旧中心点值相等，则停止循环


#更新标签值，计算每一个样本到中心点的距离，归到距离最小的类别
def updateLabels(dataSet,centroids):
    numPoints,numDim = dataSet.shape

    for i in range(0,numPoints):
        #更新数据的最后一列（更新标签）
        dataSet[i,-1] = getLabelFromClosestCentroid(dataSet[i,:-1],centroids)


    #放回样本中距离中心点最小的点的标签 
def getLabelFromClosestCentroid(dataSetRow,centroids):
    label = centroids[0,-1];   #取出中心点的标签值
    minDist = np.linalg.norm(dataSetRow - centroids[0,:-1])  #求样本点到中心点的距离

    #计算每个样本到各个中心点的距离，比较出最小值
    for i in range(1,centroids.shape[0]):
        dist = np.linalg.norm(dataSetRow-centroids[i,:-1])
        if dist < minDist:
            minDist = dist
            label = centroids[i,-1]  #保存样本点距离最小的中心点的标签，并返回
    print("minDist:",minDist)
    return label

#根据重新划分的数据集，更新分类的中心点        
def getCentroids(dataSet,k):
    result = np.zeros((k,dataSet.shape[1]))  #创建并输出化数据集，存放更新结果
    for i in range(1,k+1):
        oneCluster = dataSet[dataSet[:,-1]==i,:-1]   #找出同类别的点，取出样本点的向量值
        #通过均值计算中心点
        result[i-1,:-1] = np.mean(oneCluster,axis=0)  #axis=0，对行求均值，并给中心点中个向量坐标赋值（除了最后一列标签列）
        result[i-1,-1] = i   #给中心点赋标签值
    return result

x1 = np.array([1,1])
x2 = np.array([2,1])
x3 = np.array([4,3])
x4 = np.array([5,4])

testX = np.vstack((x1,x2,x3,x4))  #将四个点组织为矩阵

result = kmeans(testX, 2, 10)
print("final result:")
print(result)

运行结果：

iteration:
 0
dataSet:
 [[ 1.  1.  0.]
 [ 2.  1.  0.]
 [ 4.  3.  0.]
 [ 5.  4.  0.]]
centroids:
 [[ 2.  1.  1.]
 [ 1.  1.  2.]]
minDist: 0.0
minDist: 0.0
minDist: 2.82842712475
minDist: 4.24264068712
iteration:
 1
dataSet:
 [[ 1.  1.  2.]
 [ 2.  1.  1.]
 [ 4.  3.  1.]
 [ 5.  4.  1.]]
centroids:
 [[ 3.66666667  2.66666667  1.        ]
 [ 1.          1.          2.        ]]
minDist: 0.0
minDist: 1.0
minDist: 0.471404520791
minDist: 1.88561808316
iteration:
 2
dataSet:
 [[ 1.  1.  2.]
 [ 2.  1.  2.]
 [ 4.  3.  1.]
 [ 5.  4.  1.]]
centroids:
 [[ 4.5  3.5  1. ]
 [ 1.5  1.   2. ]]
minDist: 0.5
minDist: 0.5
minDist: 0.707106781187
minDist: 0.707106781187
final result:
[[ 1.  1.  2.]
 [ 2.  1.  2.]
 [ 4.  3.  1.]
 [ 5.  4.  1.]]