分析文本基于文本信息的聚类办法研究毕业365bet体育在线下载_365bet娱乐场注册_365bet提款多久到帐结论

365bet体育在线下载_365bet娱乐场注册_365bet提款多久到帐导读:
  摘 要:随着信息技术和Web技术的发展,如何从海量的Web文本信息中找到自己所需信息已成为一个重要的研究领域。在众多信息获取方法中,聚类技术是一种被广泛应用的方法。总结了文本聚类算法的研究现状,比较了算法的主要差异和整体思想,并分析了各种方法的优劣,同时指出了文本聚类研究今后的发展趋势,即在粒子群聚类过程中融入其它传统聚类方法的思想,以提高聚类性能。

  关键词关键词:文本聚类;数据挖掘;粒子群算法;信息检索;自然语言处理

  16727800(2013)008004003

  作者简介作者简介:安靖(1980-),女,中国人寿保险股份有限公司研发中心职员,研究方向为智能信息处理、软件设计。

  0 引言

  随着互联网的大规模普及和应用,海量文本信息不断涌现,互联网已成为一个庞大而杂乱无章的信息库。因此,人们迫切需要能够实现自动聚类和分类处理的技术,从而在节省时间的同时,能够更好地检索到自己所需类别的文献。高效的文本检索需要优质的索引和文本概要,文本聚类技术即是解决此问题的一条有效途径。文本聚类过程是指将一个训练文本合分成若干聚类簇(Cluster),每个聚类簇中的文本之间具有较大的共性,而不同聚类簇的文本具有很小的相似性。与之对应的是,文本分类通常是通过数理统计方法或知识工程来实现的。

  文本聚类技术在数据挖掘领域研究中有着重要的地位,通常来说,它和文本分类的功能是相辅相成的。聚类技术主要是依据聚类假设原理:同类的对象相似度大,不同类的对象相似度小。文本聚类技术是自然语言处理(Natural Language Processing, NLP)和信息检索(Information Retrieval, IR)等研究领域涉及的热门课题,它是一种无监督的机器学习技术,因为聚类不需要提前训练,也不需要事先对文本材料进行人工分类。因此,它具有较高的自动化处理能力和灵活性,从而成为文本信息组织、概要提取以及导航的重要手段,被越来越多的研究者所青睐。

  当前,最常用的文本聚类与分析方法包括层次聚类方法、基于模型的聚类方法(如统计学算法和神经网络算法),以及依赖平面划分的聚类方法(如K中心点聚类算法)等,它们已经被广泛地运用于知识管理系统、商业智能系统和CRM系统中。并且,能够能利用这些算法来部分解决智能检索系统存在的所谓“信息过载”的难题,从而过滤掉用户文本信息检索结果中的大量“噪声”,提高检索信息的相关度和准确度。

  如今,由于大规模、多复杂数据集的出现,大数据的分析和处理对聚类技术提出了更高的要求,主要表现在聚类算法需要具有一定的可伸缩性、能够处理各种类型数据、可以发现任意形状的聚类簇以及能够高速分析高维数据等,并要求用户能够对聚类的结果进行判断、充分理解和使用,传统聚类手段显然已经难以应对这一系列的问题与需求。为解决上述难题,各个领域的研究者们开始尝试研究各种新型的智能聚类技术。其中,属于群智能算法的粒子群优化算法(PSO)逐渐引起了业界的注意,并且一系列实验表明,此方法在聚类分析效果上明显优于传统方法。

  1 基于层次分析的聚类方法

  所谓层次分析就是对给定的数据集合进行层次上的分离,即分界。在层次法聚类过程中,用树结构表示聚类过程序列。根据层次分界表示方式的不同,层次分析聚类方法又可以分为层次凝聚法和层次分裂法。

  层次分析聚类方法具有两大优点:一是聚类的数目不需要在聚类前确定;二是它与初始条件之间是相互独立的关系,不会相互影响。此外,由于它是一种静态的聚类方法,即已经结束的合并或分裂操作不能退回,而且簇之间也不可以交换数据,因此某一步若没有选择好合并或分裂点,则可能会出现劣质的聚类效果。而且,进行合并或者分裂操作通常需要检索估算大量的数据对象或簇,从而令层次分析方法的可伸缩性较差,又或者缺乏全局状态以及簇的规模等信息,导致该方法可能无法对有重叠的簇划分。

  层次法的代表是Canopy聚类算法。

  Mcccallum于本世纪初提出了一种技术用来对高维的大数据集进行聚类,即

源于:365bet体育在线下载_365bet娱乐场注册_365bet提款多久到帐的格式要求http://2s4f.com

Canopy方法。Canopy算法主要分两步骤完成:首先用代价小而高效的距离测量方式将数据划分成重叠的子集(即canopy簇),然后使用更为精确的聚类方法计算同一子集内的精确距离。这使得大规模数据的聚类问题变得更易于解决和实现。Canopy可在许多领域与大部分聚类方法同时使用,包括Greedy Agglomerative Clustering、KMeans和EM算法等。

  由于Canopy算法的第一阶段数据量非常大,通常的步骤如下:

  ①首先随机选择一个中心点,并找出这个中心点附近存在的所有数据;

  ②将这些数据和中心点一起构成一个Canopy划分,然后再在剩余的数据点集合中再选一个中心点;

  ③同样地,继续寻找该中心点附近区域的数据点,并构成一个划分。

  重复步骤①~③直到该集合中所有数据点都被找遍或都在某个划分中为止。

  为保证集合中的每个数据点都存在于对应的Canopy中,中心点的距离范围(即半径)应该设置得尽可能大,但若半径过大则会影响聚类的准确度。因此可以设定两个距离阈值,称为R1和R2,其中R1≥R2。那么根据R1和R2的值就可以控制最终聚类结果的数目,从而得到建立Canopy的基本流程:

  ①首先从待划分的数据集合中随机选择一个中心点,设为P;

  ②然后把集合中与P的距离小于或等于R1的点放入中心点P的Canopy中,并从集合中删除与P的距离小于或等于R2的点(当然也包括P);

  ③最后检查集合是否为空,如果是空集则结束操作,否则继续重复执行步骤①~②。

  图1展示了数据集的Canopy划分完成后的情况。   2 基于划分分析的聚类方法

  这种划分法通过评价函数某种簇的原型,将数据集直接分解成若干个没有关系的簇集合。主要方法是优化某种标准目标误差函数,而该函数可能会强调数据的全局结构或者局部结构。现有的划分方法主要包括K均值(KMEANS)和K中心点(KMEDOIDS)两种形式。KMEANS算法在处理大数据集时,有一定的可伸缩性和高效性,

源于:****毕业365bet体育在线下载_365bet娱乐场注册_365bet提款多久到帐理工http://2s4f.com

而KMEDOIDS算法的优点是可以一定程度上消除KMEANS算法对孤立点的敏感特征。与层次法不同,划分方法通常要求事先确定簇的个数,并且这类方法对初始值和噪声数据十分敏感。另外,因为划分方法是基于对象之间的距离进行聚类,因此这种方法只能发现球状聚类簇而不能发现任意形状的聚类簇,因而这类算法极易陷入局部最优。

  图1 Canopy一步划分示例

  这里主要介绍具有代表性的划分型聚类算法KMEANS算法。KMeans算法把K作为参数,同时将N个数
上一篇: 关于的拼写基于iPhone平台拼写检查工具的关键技术研究党校毕业365bet体育在线下载_365bet娱乐场注册_365bet提款多久到帐 下一篇: 浅议在线在线社交网络中好友亲密度判定办法研究毕业设计365bet体育在线下载_365bet娱乐场注册_365bet提款多久到帐总结
穗丰365bet体育在线下载_365bet娱乐场注册_365bet提款多久到帐网———写经典365bet体育在线下载_365bet娱乐场注册_365bet提款多久到帐经典的网站,找毕业365bet体育在线下载_365bet娱乐场注册_365bet提款多久到帐范文,365bet体育在线下载_365bet娱乐场注册_365bet提款多久到帐格式模板,365bet体育在线下载_365bet娱乐场注册_365bet提款多久到帐****就上穗丰365bet体育在线下载_365bet娱乐场注册_365bet提款多久到帐网!