干货 | 全面理解无监督学习基础知识(2)

LVQ和K均值算法很像，同样是通过移动簇心来实现聚类，不同的是LVQ假设数据样本有类别标记，通过这些监督信息辅助聚类。算法过程如下

以上算法的过程可以简单概括为，如果随机选择的点与簇心的类别不对应则令簇心远离该样本点，否则靠近该样本点。迭代结束后对于任意样本x，它将被划入与其距离最近的原型向量所代表的簇中。

以上是LVQ在西瓜数据集聚类的过程。

高斯混合聚类

高斯混合聚类才用概率模型来表达聚类原型，我们可以定义高斯混合分布为

其中  为混合系数且   。使用高斯混合聚类其实是假设样本是在高斯混合分布中采样的结果。对于样本我们可以通过计算

得出某样本由第i个高斯分布生成的后验概率，，该样本的类别为使得该概率最大的分布的类别。有关于高斯混合模型的具体介绍，将会与EM算法一起介绍。

密度聚类

顾名思义，密度聚类从样本密度的角度来考察样本之间的关联性，其经典算法为DBSCAN，该算法通过设置的邻域和样本邻域内最少样本点数为标准设置核心对象，倘若核心对象密度相连则将它们合并到同一簇，因此DBSCAN的聚类结果的一个簇为最大的密度相连的样本集合。以下是DBSCAN的一些概念的定义：

上面MinPts = 3，虚线表示核心对象的邻域。X1与X2密度直达，X1与X3密度可达X3与X4密度相连。

DBSCAN能够将足够高密度的区域划分成簇，并能在具有噪声的空间数据库中发现任意形状的簇。

层次聚类

层次聚类开始时把所有的样本归为一类，然后计算出各个类之间的距离，然后合并距离最小的两个类。从上面的描述来看，层次聚类就像是在用克鲁斯卡尔算法建立最小生成树一样，不过当层次聚类当前类别数下降到给定的类别数是就会终止。这里层次聚类所使用的聚类是不同类别之间的平均距离。

因为层次聚类所需要计算的距离很多，因此层次聚类并不适合在大的数据集中的使用。

【编辑推荐】

1. 未来最不可能被人工智能取代的十个职业
2. 在网络安全中应用人工智能的五大障碍
3. 人工智能时代：哪些行业迎来重大变革？
4. 首次应用人工智能——你需要思考五个问题
5. 百度副总裁尹世明：人工智能的隐私问题可以交给技术去解决

（编辑：ASP站长网）