机器学习之----kmeams++

最新推荐文章于 2024-08-28 16:05:19 发布
最新推荐文章于 2024-08-28 16:05:19 发布
阅读量1.4k 收藏 5
点赞数 1
分类专栏： 机器学习

kmeans++

前一阵子有一个学弟问kmeans算法的初始中心点怎么选，有没有什么算法。我让他看看kmeans++，结果学弟说有地方没看懂。然后，他不懂的地方，我给标注了一下。

下面是网上的资料，我对画线的地方做了标注。

      k-means++算法选择初始seeds的基本思想就是：初始的聚类中心之间的相互距离要尽可能的远。wiki上对该算法的描述如下:

  1. 从输入的数据点集合中随机选择一个点作为第一个聚类中心
  2. 对于数据集中的每一个点x，计算它与最近聚类中心(指已选择的聚类中心)的距离D(x)
  3. 选择一个新的数据点作为新的聚类中心，选择的原则是：D(x)较大的点，被选取作为聚类中心的概率较大
  4. 重复2和3直到k个聚类中心被选出来
  5. 利用这k个初始的聚类中心来运行标准的k-means算法

 从上面的算法描述上可以看到，算法的关键是第3步，如何将D(x)反映到点被选择的概率上，一种算法如下：

  1. 先从我们的数据库随机挑个随机点当“种子点”
  2. 对于每个点，我们都计算其和最近的一个“种子点”的距离D(x)并保存在一个数组里，然后把这些距离加起来得到Sum(D(x))。
  3. 然后，再取一个随机值，用权重的方式来取计算下一个“种子点”。这个算法的实现是，先取一个能落在Sum(D(x))中的随机值Random，然后用Random -= D(x)，直到其<=0，此时的点就是下一个“种子点”。
    • 这个Random 可以这么取： Random = Sum(D(x)) * 乘以0至1之间的一个小数
    • 之所以取一个能落在Sum(D(x))中是值是因为，Random是随机的，那么他有更大的机率落在D(x)值较大的区域里。如下图，Random有更大的机率落在D(x3)中。
    • Random -= D(x) 的意义在于找出 当前Random到底落在了哪个区间。

　　　　　　

　　　　　　从上图可以看出，假设Random落在D(x3)这个区间内，“然后用Random -= D(x),直到其<=0"此时找到的点就是D(x3)，就是这步的中心点。

  1. 重复2和3直到k个聚类中心被选出来
  2. 利用这k个初始的聚类中心来运行标准的k-means算法

其实这种算法还是对照着代码看比较清楚。下面粘个python的kmeans++

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

from math import pi, sin, cos

from collections import namedtuple

from random import random, choice

from copy import copy

 

try:

    import psyco

    psyco.full()

except ImportError:

    pass

 

 

FLOAT_MAX = 1e100

 

 

class Point:

    __slots__ = ["x", "y", "group"]

    def __init__(self, x=0.0, y=0.0, group=0):

        self.x, self.y, self.group = x, y, group

 

 

def generate_points(npoints, radius):

    points = [Point() for _ in xrange(npoints)]

 

    # note: this is not a uniform 2-d distribution

    for p in points:

        r = random() * radius

        ang = random() * 2 * pi

        p.x = r * cos(ang)

        p.y = r * sin(ang)

 

    return points

 

def nearest_cluster_center(point, cluster_centers):

    """Distance and index of the closest cluster center"""

    def sqr_distance_2D(a, b):

        return (a.x - b.x) ** 2  +  (a.y - b.y) ** 2

 

    min_index = point.group

    min_dist = FLOAT_MAX

 

    for i, cc in enumerate(cluster_centers):

        d = sqr_distance_2D(cc, point)

        if min_dist > d:

            min_dist = d

            min_index = i

 

    return (min_index, min_dist)

 

 

def kpp(points, cluster_centers):

    cluster_centers[0] = copy(choice(points))

    d = [0.0 for _ in xrange(len(points))]

 

    for i in xrange(1, len(cluster_centers)):

        sum = 0

        for j, p in enumerate(points):

            d[j] = nearest_cluster_center(p, cluster_centers[:i])[1]

            sum += d[j]

 

        sum *= random()

 

        for j, di in enumerate(d):

            sum -= di

            if sum > 0:

                continue

            cluster_centers[i] = copy(points[j])

            break

 

    for p in points:

        p.group = nearest_cluster_center(p, cluster_centers)[0]

 

 

def lloyd(points, nclusters):

    cluster_centers = [Point() for _ in xrange(nclusters)]

 

    # call k++ init

    kpp(points, cluster_centers)

 

    lenpts10 = len(points) >> 10

 

    changed = 0

    while True:

        # group element for centroids are used as counters

        for cc in cluster_centers:

            cc.x = 0

            cc.y = 0

            cc.group = 0

 

        for p in points:

            cluster_centers[p.group].group += 1

            cluster_centers[p.group].x += p.x

            cluster_centers[p.group].y += p.y

 

        for cc in cluster_centers:

            cc.x /= cc.group

            cc.y /= cc.group

 

        # find closest centroid of each PointPtr

        changed = 0

        for p in points:

            min_i = nearest_cluster_center(p, cluster_centers)[0]

            if min_i != p.group:

                changed += 1

                p.group = min_i

 

        # stop when 99.9% of points are good

        if changed <= lenpts10:

            break

 

    for i, cc in enumerate(cluster_centers):

        cc.group = i

 

    return cluster_centers

 

 

def print_eps(points, cluster_centers, W=400, H=400):

    Color = namedtuple("Color", "r g b");

 

    colors = []

    for i in xrange(len(cluster_centers)):

        colors.append(Color((3 * (i + 1) % 11) / 11.0,

                            (7 * i % 11) / 11.0,

                            (9 * i % 11) / 11.0))

 

    max_x = max_y = -FLOAT_MAX

    min_x = min_y = FLOAT_MAX

 

    for p in points:

        if max_x < p.x: max_x = p.x

        if min_x > p.x: min_x = p.x

        if max_y < p.y: max_y = p.y

        if min_y > p.y: min_y = p.y

 

    scale = min(W / (max_x - min_x),

                H / (max_y - min_y))

    cx = (max_x + min_x) / 2

    cy = (max_y + min_y) / 2

 

    print "%%!PS-Adobe-3.0\n%%%%BoundingBox: -5 -5 %d %d" % (W + 10, H + 10)

 

    print ("/l {rlineto} def /m {rmoveto} def\n" +

           "/c { .25 sub exch .25 sub exch .5 0 360 arc fill } def\n" +

           "/s { moveto -2 0 m 2 2 l 2 -2 l -2 -2 l closepath " +

           "   gsave 1 setgray fill grestore gsave 3 setlinewidth" +

           " 1 setgray stroke grestore 0 setgray stroke }def")

 

    for i, cc in enumerate(cluster_centers):

        print ("%g %g %g setrgbcolor" %

               (colors[i].r, colors[i].g, colors[i].b))

 

        for p in points:

            if p.group != i:

                continue

            print ("%.3f %.3f c" % ((p.x - cx) * scale + W / 2,

                                    (p.y - cy) * scale + H / 2))

 

        print ("\n0 setgray %g %g s" % ((cc.x - cx) * scale + W / 2,

                                        (cc.y - cy) * scale + H / 2))

 

    print "\n%%%%EOF"

 

 

def main():

    npoints = 30000

    k = 7 # # clusters

 

    points = generate_points(npoints, 10)

    cluster_centers = lloyd(points, k)

    print_eps(points, cluster_centers)

 

 

main()

转载：https://www.cnblogs.com/nocml/p/5150756.html

zxyhhjs2017
关注
专栏目录
kmeans++
weixin_57764076的博客
11-07 927
k-means++算法仅仅只是在初始化簇中心的方式上做了改进，其它地方同聚类算法一样。% data是待分类的数据,尺寸为 (dim*N)，dim代表每个样本的维数，N代表样本个数。%计算N个样本与K个聚类之间的距离，行代表聚类，列代表样本。% K 是设定的聚类数量，即把N个样本分成K类，每一类内部的差别小，各类之间的差别大。%所有的K个初始聚类中心已经确定，下面按照传统的kmeans算法执行。%首先，确定K个初始聚类中心，这些聚类中心均来源于原始的N个样本。
机器学习 - Kmeans及其变体
呵呵
07-28 3648
1. K-means 2. 二分K-means
聚类算法-Kmeans聚类
最新发布
2301_77698138的博客
08-28 2117
K-means 聚类广泛应用于市场细分、图像分割、文档聚类等领域。例如，在市场营销中，可以将客户划分为不同的群体，以便进行更针对性的推广策略；在图像处理中，可以将图像分割成多个区域，以便进一步分析或压缩。但同时也拥有自己的优缺点。优点：简单易实现。对大数据集具有较好的可扩展性。当簇的密度大致相同且簇间分离良好时，效果非常好。缺点：需要预先指定 K 值，而 K 的选择通常不直观。结果可能受到初始质心选择的影响，可能导致局部最优解。对异常值（噪声）和簇的形状（非球形）敏感。
Kmeans++
liu_matthew的博客
02-19 1700
Kmeans算法源码标签（空格分隔）： 算法学习（1）算法概述首先要来了解的一个概念就是聚类，简单地说就是把相似的东西分到一组，同 Classification (分类)不同，对于一个 classifier ，通常需要你告诉它“这个东西被分为某某类”这样一些例子，理想情况下，一个 classifier 会从它得到的训练集中进行“学习”，从而具备对未知数据进行分类的能力，这种提供训练数据的过程通常叫做
K-Means ++ 算法
weixin_34161083的博客
04-06 148
Kmeans算法的缺陷： • 聚类中心的个数K 需要事先给定，但在实际中这个 K 值的选定是非常难以估计的，很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适• Kmeans需要人为地确定初始聚类中心，不同的初始聚类中心可能导致完全不同的聚类结果。（可以使用Kmeans++算法来解决） K-Means ++ 算法： k-means++算法...
简单粗暴理解与实现机器学习之聚类算法（三）：聚类算法实现流程、k-means聚类步骤、案例
汪雯琦的博客
03-06 952
聚类算法 文章目录聚类算法学习目标6.3 聚类算法实现流程1 k-means聚类步骤2 案例练习3 小结 学习目标 掌握聚类算法实现过程 知道K-means算法原理 知道聚类算法中的评估模型 说明K-means的优缺点 了解聚类中的算法优化方式 应用Kmeans实现聚类任务 6.3 聚类算法实现流程 k-means其实包含两层内容： K : 初始中心点个数（计划聚类数） means：求中心点...
K-Means聚类算法 【sklearn.cluster】
R
06-22 1393
classsklearn.cluster.KMeans(n_clusters=8,*,init='kmeans++',n_init=10,max_iter=300,tol=0.0001, precompute_distances='deprecated',verbose=0,random_state=None,copy_x=True,n_jobs='deprecated',algorithm='auto') 参数： 1、 n_clusters: 聚类类别数量，也是初始聚类中心的...
K-means分类器 python
weixin_41984456的博客
10-24 601
加载sklearn中的iris数据集使用不同维度的数据，调用sklearn中的KMeans()函数实现鸢尾花分类，然后设置不同的k值，做多次分类，将结果用matplotlib画出来比对结果，再计算inertia指标、轮廓系数、调整兰德系数。inertia指标表示的是每个样本点到其所在质心的距离之和，但在聚类中心过多的情况下之一指标评价结果将会出现问题。工作内容主要包括设计算法实现对鸢尾花数据集的分类，并对分类结果做分析，找出最适合的评价标准。二维情况如图1、图2、图3所示。三维情况如图4、图5、图6所示。
机器学习算法——聚类
chkay399的博客
08-23 1004
聚类属于无监督学习，事先不知道数据会分为几类，通过聚类分析将数据聚合成几个群体。聚类是不需要对数据进行训练和学习的。主要的聚类算法有K-Means和DBSCAN。 K-Means算法的基本原理比较简单：1.指定K值（数据要分成的簇的数目），并指定初始的k个质心；2.遍历每个数据点，计算其到各个质心的距离，将其归类到距离最近的质心点；3分类完毕后，求各个簇的质心，得到新的质心点；4.重复2和3中的...
KMeans++ k均值++
04-19
The k-means method is a widely used clustering technique that seeks to minimize the average squared distance between points in the same cluster. Although it offers no accuracy guarantees, its simplicity and speed are very appealing in practice. By augmenting k-means with a very simple, randomized seeding technique, we obtain an algorithm that is (log k)-competitive with the optimal clustering. Preliminary experiments show that our augmentation improves both the speed and the accuracy of k-means, often quite dramatically.
kmeams及svm算法（含数据及实验报告）
04-27
基于kmeams及svm的python算法（含数据及实验报告） 利用kmeams对股票年报进行了聚类 利用svm对简单验证码进行了识别
数据挖掘kmeams算法实现聚类分析
01-11
数据挖掘kmeams算法实现聚类分析 ，数据源使用sythetic_control_chart.data。 实验报告，包含全部代码
kmeans++算法
yujianhuakaila的博客
10-27 433
http://www.jb51.net/article/49395.htm
Kmeans和kmeans++
楚门的世界
07-20 7986
聚类算法分类划分聚类 Partitioning Methods :K-means 层次聚类 Hierachical Methods: Bottum-Up,Top-Down, BIRCH, CURE, CHAMELEON 基于密度的聚类 Density-based Methods: DBSCAN 基于网格的聚类 Grid-based Methods:CLIQUE 基于模型算法 Model-ba
K-means ++
zengwh
11-23 2505
K-means ++是解决K-means聚类中心初始化的问题，能有效地解决
kmeans与kmeans++
yy2050645的博客
02-18 8383
kmeans： kmeans为一种简单的聚类算法，是一种无监督学习算法，主要作用是将众多无标签样本聚为指定的几个类。接下来简单介绍一下kmeans。首先，我们假设聚类中心为，每个聚类中心有一个簇，每个簇的样本个数依次为。则我们认为k-means的损失函数为，则，令可以得到。因此，最优的聚类中心应当在每个簇的均值点处。从另一个角度来看，我们假设每个簇均服从正太分布，且方差都相等，但均值不等，其均值...
k-means++
qq_43159264的博客
06-10 994
原理 1.0、K-means原理　 1、随机在图中取K个种子点。 　2、然后对所有点求到这K个种子点的距离，假如点Pi离种子点Si最近，那么Pi属于Si点群。 　3、接下来，我们要移动种子点到属于他的“点群”的中心。这里求中心的方法最简单的是直接将中心定为点群各个坐标的平均值 ，也可以参考下面三种求中心的方法。 　4、然后重复第2）和第3）步，直到，种子点没有移动 1.1、k-means 优缺点： K-Means聚类算法的优点主要集中在: 　1.算法快速、简单; 　2.对大数据集有较高的效率并且是可伸缩性的
深入理解TensorFlow与Scikit-Learn机器学习资料
机器学习Scikit-Learn和TensorFlow的资料笔记.zip机器学习Scikit-Learn和TensorFlow的资料笔记.zip机器学习Scikit-Learn和TensorFlow的资料笔记.zip机器学习Scikit-Learn和TensorFlow的资料笔记.zip机器学习Scikit-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值