集成聚类之EAC算法(证据积累数据聚类)附:单连接(SL)易理解详谈

2023-11-05 20:41

本文主要是介绍集成聚类之EAC算法(证据积累数据聚类)附:单连接(SL)易理解详谈,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

       最近要写论文涉及到聚类集成,想先从EAC做起,集成方面做得还不是很好。如果有机会的话,希望也在研究集成聚类的大佬们和我联系,一起研究探讨集成聚类这方面的知识。感谢各位!

   

       证据积累的想法是这样的:将每个聚类结果作为数据组织独立的证据,把多个聚类的结果合并到一个分区中。

 

方法为拆分合并:

(1)拆分:把大型的多维数据分成小型的球型簇。

                    使用K-Means算法执行此步骤,因为通过K的随机初始化,可以获得各种聚类结果。

(2)结合:为将不同数目的聚类分区并到一块,使用“投票法”合并聚类的结果。

         那么肯定会有这么一种可能,“自然”产生的集群可能在不同集群下的统一集群(不同的划分,做出一个邻近度矩阵)          

         在同一个集群下模式对的同时出现做一个投票标记给关联上。做一个矩阵co-assocation(i,j)=\frac{votes_{ij}}{N}

         N是聚类的数目,votes_{ij}是ij对,被分配给N个聚类数中相同聚类的次数。

(3)合并:恢复自然簇,根据邻域关系,用MST算法(最小生成树),用t的阙值切断弱连接,这句话说的专业一点就是用阙值t在相似性矩阵上切割单连接(SL)生成的树状图,来合并拆分阶段生成的簇。

补充

          1.MST(最小生成树):学过数据结构的一定都会,包括解决方法两种,克鲁斯卡尔和普利姆算法,很简单,如果有忘记的朋友们可以自行复习一下。

          2.那么什么是单连接(SL)呢?:单连接和全连接都是由(2)的邻近度矩阵所出现的。

                                                                 单连接是作用于阙值图的

(阙值图是N个节点的无向图,每个节点都是一个对象,图中不存在环和多重边。用G(v)表示,v表示不相似的程度。给一个v,如果节点i和j之间的不相似度小于v,就在i和j之间插入一条边edge(i,j)。)

例:邻近度矩阵:D=\begin{Bmatrix} 0\, \, 0\, \, 0\, \, 2\, \,0\\ 0\, \, 0\, \, 1\, \, 5\, \, 3\\ 0\, \, 1\, \, 0\, \, 0\, \, 0\\ 2\, \, 5\, \, 0\, \, 0\, \, 4\\ 0\, \, 3\, \, 0\, \, 4\, \, 0 \end{Bmatrix}设定邻近度为5

(1)G(0):刚开始都是点,没有边,每个点都是一个簇,有n个点就是有n个簇。

(2)G(1):根据邻近度矩阵,找1,发现(2,3)满足条件

(3)G(2):找2,发现

(4)G(3):(2,5)

(5)G(4):设定不超过5,所以4是最后一个(4,5)

我们做聚类,最后把它拉成树状图:

总结

EAC步骤:

n ---维数    k---初始簇数   N---聚类数   t---阙值   邻近度矩阵设为空

(1)做N次:1.随机选择K聚类中心;2.初始化用K-Means,生成分区P;3.更新关联度矩阵,对P中同一集群中每对ij更新

(2)用SL找到一致性簇:1.投票法找到多数关联,对每对(i,j)合并到统一集群;2.没包含集群里剩下的做单个集群。

 

本人尚才疏学浅,如内容中有任何错误的地方,望告知,我会加以修改,之后会继续更新。

这篇关于集成聚类之EAC算法(证据积累数据聚类)附:单连接(SL)易理解详谈的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/352372

相关文章

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

不懂推荐算法也能设计推荐系统

本文以商业化应用推荐为例,告诉我们不懂推荐算法的产品,也能从产品侧出发, 设计出一款不错的推荐系统。 相信很多新手产品,看到算法二字,多是懵圈的。 什么排序算法、最短路径等都是相对传统的算法(注:传统是指科班出身的产品都会接触过)。但对于推荐算法,多数产品对着网上搜到的资源,都会无从下手。特别当某些推荐算法 和 “AI”扯上关系后,更是加大了理解的难度。 但,不了解推荐算法,就无法做推荐系

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

W外链微信推广短连接怎么做?

制作微信推广链接的难点分析 一、内容创作难度 制作微信推广链接时,首先需要创作有吸引力的内容。这不仅要求内容本身有趣、有价值,还要能够激起人们的分享欲望。对于许多企业和个人来说,尤其是那些缺乏创意和写作能力的人来说,这是制作微信推广链接的一大难点。 二、精准定位难度 微信用户群体庞大,不同用户的需求和兴趣各异。因此,制作推广链接时需要精准定位目标受众,以便更有效地吸引他们点击并分享链接

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

康拓展开(hash算法中会用到)

康拓展开是一个全排列到一个自然数的双射(也就是某个全排列与某个自然数一一对应) 公式: X=a[n]*(n-1)!+a[n-1]*(n-2)!+...+a[i]*(i-1)!+...+a[1]*0! 其中,a[i]为整数,并且0<=a[i]<i,1<=i<=n。(a[i]在不同应用中的含义不同); 典型应用: 计算当前排列在所有由小到大全排列中的顺序,也就是说求当前排列是第

认识、理解、分类——acm之搜索

普通搜索方法有两种:1、广度优先搜索;2、深度优先搜索; 更多搜索方法: 3、双向广度优先搜索; 4、启发式搜索(包括A*算法等); 搜索通常会用到的知识点:状态压缩(位压缩,利用hash思想压缩)。