这篇文章主要介绍几种聚类方法并将其优劣对比,参考《R语言与数据挖掘,最佳实践和经典案例》
本篇文章以让采用鸢尾花数据进行分析.首先要从iris数据集中移除species属性,在下面的代码中,簇的数目设置为3
1、k-means聚类
K-means聚类也称为快速聚类,k-means聚类涉及两个主要方面的问题。:第一,如何测试样本的“亲疏程度”;第二,如何进行聚类。通常,“亲疏程度”的测度有两个角度:第一,数据间的相似程度;第二,数据间的差异程度。衡量相似程度一般可采用简单相关系数或等级相关系数,差异程度一般通过某种距离来测度。k-means聚类方法采用第二个测度角度。k-means聚类的基本思想是先将样本空间分割成随意的若干类,然后计算所有样本点到各类中的距离,由于初始聚类结果是在空间随意分割的基础上产生的,因此无法确保所给出的聚类解满足上述要求,所以要经过多次反复。聚类数目确定本身并不简单,太大或太小都会失去聚类的意义。由于距离是k-means聚类的基础,因此也要注意:1、当聚类变量值有数量级上的差异时,一般通过标准化处理消除变量的数量级差异。2、聚类变量之间不应该有较强的线性相关关系。
iris2 <- irisiris2$Species <- NULLkmeans.result <- kmeans(iris2, 3)
将聚类结果与species进行比较
table(iris$Species,kmeans.result$cluster)
1 2 3 setosa 0 50 0 versicolor 48 0 2 virginica 14 0 36
绘制所有簇以及簇中心,值得注意的是多次运行得到的k-means聚类结果可能不同,因为初始的簇中心是随机选择的
plot(iris2[c("Sepal.Length", "Sepal.Width")], col = kmeans.result$cluster)points(kmeans.result$centers[,c("Sepal.Length", "Sepal.Width")], col = 1:3, pch = 8, cex=2)
2、k-medoids聚类
又被称为K-中心点聚类。函数pam()和pamk()都可以进行k-medoids聚类,k-medoids聚类与k-means聚类类似,主要区别是k-means聚类选择簇中心表示聚类簇,而k-medoids聚类选择靠近簇中心的对象表示聚类簇,在含有离群点的情况下,k-medoids聚类的鲁棒性更好,不像k-means聚类容易受极值影响。
library(fpc)iris2 <- irisiris2$Species <- NULLpamk.result <- pamk(iris2)pamk.result$nc #簇个数
[1] 2
table(pamk.result$pamobject$clustering, iris$Species)
setosa versicolor virginica 1 50 1 0 2 0 49 50
plot(iris2[c("Sepal.Length", "Sepal.Width")], col = pamk.result$pamobject$clustering)points(pamk.result$pamobject$medoids[,c("Sepal.Length", "Sepal.Width")], col = 1:3, pch = 8, cex=2)
图中可以看到聚类分为两簇,这是因为pamk()函数会调用pam()函数或clara()函数根据最优平均阴影官渡估计的聚类簇个数来划分数据。
layout(matrix(c(1,2),1,2)) # 每页两张图plot(pamk.result$pamobject)layout(matrix(1)) #改回每页一张图
```library(cluster)pam.result <- pam(iris2, 3)table(pam.result$clustering, iris$Species)
setosa versicolor virginica 1 50 0 0 2 0 48 14 3 0 2 36
layout(matrix(c(1,2),1,2)) # 每页两张图plot(pam.result)layout(matrix(1)) #改回每页一张图
idx <- sample(1:dim(iris)[1], 40)irisSample <- iris[idx,]irisSample$Species <- NULLhc <- hclust(dist(irisSample), method="ave")plot(hc, hang = -1, labels=iris$Species[idx])
修剪树使之分为3类
rect.hclust(hc, k=3)groups <- cutree(hc, k=3)
library(fpc)iris2 <- iris[-5] # 与之前相同,从数据样本中剔除species属性ds <- dbscan(iris2, eps=0.42, MinPts=5)
table(ds$cluster, iris$Species)
setosa versicolor virginica 0 2 10 17 1 48 0 0 2 0 37 0 3 0 3 33
上面的数据表中1到3为识别出来的3个聚类簇,0表示噪声数据或利群点,即不属于任何簇的对象。
plot(ds, iris2)
plot(ds, iris2[c(1,4)])
plotcluster(iris2, ds$cluster)
> library('mclust')> EM<-Mclust(iris[,-5])> summary(EM,parameters=T)
----------------------------------------------------Gaussian finite mixture model fitted by EM algorithm ----------------------------------------------------Mclust VEV (ellipsoidal, equal shape) model with 2 components: log.likelihood n df BIC ICL -215.726 150 26 -561.7285 -561.7289Clustering table: 1 2 50 100 Mixing probabilities: 1 2 0.333332 0.666668 Means: [,1] [,2]Sepal.Length 5.0060021 6.261996Sepal.Width 3.4280046 2.871999Petal.Length 1.4620006 4.905993Petal.Width 0.2459998 1.675997Variances:[,,1] Sepal.Length Sepal.Width Petal.Length Petal.WidthSepal.Length 0.15065097 0.13080108 0.020844624 0.013091029Sepal.Width 0.13080108 0.17604544 0.016032479 0.012214539Petal.Length 0.02084462 0.01603248 0.028082603 0.006015675Petal.Width 0.01309103 0.01221454 0.006015675 0.010423651[,,2] Sepal.Length Sepal.Width Petal.Length Petal.WidthSepal.Length 0.4000437 0.10865439 0.3994013 0.14368238Sepal.Width 0.1086544 0.10928074 0.1238902 0.07284378Petal.Length 0.3994013 0.12389025 0.6109012 0.25738947Petal.Width 0.1436824 0.07284378 0.2573895 0.16808166
我们可以看到最优类别级数为2,各类分别含有50,100
plot(EM,what='classification')
值得一提的是clustMD()包也是可以实现基于模型的聚类——EM算法的,而且对数据集包含离散变量、连续变量、二进制变量、有序变量甚至是NA值都可以成功聚类。
本文提到的算法只是聚类算法中的一小部分,未来会不断更新。
另外这篇文章中提到一些聚类方法的比较,非常值得学习
写到这,不得不提一下聚类分析和判别分析的区别和联系。判别分析和聚类分析都是研究事物分类(或组)的基本方法,它们有着不同的分类目的,彼此之间既有区别又有联系。各种判别分析方法都要求对组有事先的了解,通常是每一组都有一个样本,据此得出判别函数和规则,进而可对其他新样本的归属做出判断。如果组不是已有的,则对组的事先了解和确定有时也可以通过聚类分析得到。聚类分析的目的是把分类对象按一定规则分成若干类,这些类不是事先给定的,而是根据数据的特征确定的,对类的数目和类的结构不必作任何假定。在同一类里的这些对象在某些意义上倾向于彼此相似,而在不同类里的对象倾向于不相似。聚类分析也能够用来概况数据而不是为了寻找“自然的”或“实在的”分类。
联系客服