数据流挖掘及其主要解决问题

1、       数据流挖掘及其主要解决问题                     杨展网络动态数据挖掘模式主要是基于分类分析方法、聚类分析方法、关联分析方法、异类检测方法的动态数据挖掘，引入概念漂移问题、自适应改变，设计新的频繁数据挖掘模式。目前，比较成熟的方法包括窗口方法、衰减方法、模式增长方法、近似方法、假阳性与假阴性方法，每种模式都有优劣，有关键问题需要解决。【

2、关键词】网络 动态 数据挖掘 技术网络技术已深入到人类社会生活、生产之中，在健康管理、市场管理、科学研究等领域发挥重要作用。各类信息充分交融、汇集，使数据渗透至每一个行业和职能领域，成为重要的职能要素，人类正进入大数据时代。在大数据背景下，数据产生的量是前所未有的，如何充分的挖掘数据信息值得深入研究。网络动态数据是指基于时间变化网络数据，产生的数据往往是海量的，本次研究尝试简单探讨数据挖掘模式及其关键技术。1 数据挖掘模式目前，可供选择的数据挖掘技术主要包括机器人学习、数据库技术以及统计学，而数据挖掘的模式主要包括分类分析方法、聚类分析方法、关联分析方法、异类检测方法。动态数据是按照时间顺序、

3、快速变化的数据，产生俞网络，如网络日志、交通流量、电力供应、电信数据、金融等，这些专业的网络每时每刻都产生大量的数据，这些数据是高速流动的、海量的、快速变化。如google每日处理约10亿条搜索。针对动态的数据挖掘技术以上传统的模式还存在明显的不足，不同于传统的数据库，除数据挖掘、分类，还需要进行查询等过程中，需要考虑数据时空变化带来的概念漂移问题，设计网络动态数据挖掘算法引入自适应改变。同时在利用传统模式进行挖掘时，还引入频繁模式，进行多项基础挖掘。频繁数据挖掘是当前动态网络数据挖掘热点，目前主要挖掘模式包括频繁序列、高效用、子图、频繁项集，国内外许多学者对频繁数据挖掘模式开展研究，基于传统

4、挖掘模式，进行组合，开发新的挖掘模式。近年来，随着存储技术等信息技术的发展，动态数据分析也越来越快，传统数据挖掘模式也迈入了新的阶段。以分类分析为例，基于集成学习的分类器，有高精度的特性，将概念漂移影响削弱在共同决策中，常用的集成方法包括boostin、bagging、自适应集成方法等。以聚类分析为例，基于聚类的网络动态数据挖掘主要包括clustream算法，将聚类过程中分为在线部分以及离线部分，在线部分周期的存储概要统计信息，该算法设计了椎体时间框架、微聚类方法，这种分布式算法，能够减少维度与通信负担。d-stream算是一种基于密度的数据流计算方法，也分为在线以及离线部分。除以上模式外，动

5、态数据分析还发展出了窗口方法、衰减方法、模式增长方法、近似方法、假阳本文来自于www.zz-new.com性与假阴性方法。2 网络动态数据挖掘主要需要解决问题目前可供选择的网络动态数据挖掘模式基于传统的分类方法，发展出窗口方法、衰减方法、模式增长方法、近似方法、假阳性与假阴性方法等，不同模式方法关键技术主要体现在以下几个方面：（1）窗口方法的关键技术是窗口大小的控制算法，窗口大小的由达到数据的概念改变数量动态决定，设计一种能够可变大小滑动窗口发现数据变动频繁模式。（2）衰减方法，强调新近事务产生模式的重要性。（3）模式增长方法，在处理长模式或支持度低时，处理的效果较差，需要严重一种模式树结构存

6、储有用的模式信息，以解决先验方式的不足。（4）近似方法，在大多数情况下，需要的模式是通用，算法需要适应弹性最小支持度。（5）假阳性与假阴性方法，算法得到的频繁模式需要保证概率。3 以微博社交网络为例互联网信息抓出主要采用爬虫原理，基于微博摘要自动获取，包括文档权重、词条权重、单句权重。在进行数据挖掘时，先进行微博社交特征的分析，以新浪微博为例，回复某条微博则评论数量+1，转发某条微博，则转发数量+1，转发数量与评论数量存在区别，也存在联系。本次研究以新浪微博作为搜索项，以“滑雪”为收索词，不同时间段的数据信息如下：（1）时间1，标签用户977例，粉丝+好友64764个，微博数量162052个，

7、评论数量745923次；（2）时间段2，标签用户972个，粉丝+好友数目95976个，微博数量210975个，评论数量127144次。用户与用户之间存在有向的连接关系，拓扑关系g，前后两个时间段获得了119766个不重复的独立用户，分析显示用户呈三段分布规律，46位好友的用户数量最多，80100的用户呈现幂分布特征，拥有好友数量较大的用户，约3032%的对象为广告用户。进一步分析显示，粉丝数量与评论、转发也存在显著相关性。时间点分布显示，1517点、2022点是转发的密集时间段，16点达到高峰期，此时不同用户不同时间段活跃度存在显著个体差异。尝试分析每个用户最新200条微博，类似分析显示评论数

8、量與转发有较强的相关性，高评论数量有较强的传播性。新浪公司自身统计显示平均每条微博恢复为2.32.4之间，转发数在2.52.6之间，但转发、评论与微博的内容有关。图片等多媒体信息更有助于评论、传播，则进行数据分析还需要考虑到图片信息。此外，老用户影响力也更为显著，用户粉丝特征等成为微博影响力的重要影响因素。故，针对微博网络数据挖掘，便需要解决微博影响力分析，计算用户的活跃度。目前针对用户特征的推荐算法，推荐采用微博话题短文本聚类算法、偏好性分析，考虑采用nbi个性化推荐算法。除进行用户影响力分析外，需要充分考虑社交网络拓扑关系，考虑用户相似度，利用信息学理论蒙特卡罗仿真模型、机器学习进行信息的

9、验算。信息在微博社交网络传播过程中可以视为某一个用户t0时刻发布一条微博，于是用户粉丝，即1阶用户t1时刻选择是否传播，决策过程利用蒙特卡罗随机取样，用户存在对该条微博是否进行传播的先验概率prior（t1），每个用户根据自身特点先验概率不尽相同，进行多阶分析，最终能够初步评估该微博的转发、评论情况。当然需注意的是，每条微博都有其活跃区，先验概率会随着转发阶数的上升而出现显著衰减。故，若想要分析某一个明星影响力，能够通过模型以数学方法描述微博的影响力。4 小结网络本文来自于www.zz-news.com动态数据挖掘具有巨大的发展潜力，在未来将容易到生产、生活的方方面面，我国是网民最多的国家，有巨大的数据资源，信息工作者需要抓住机遇，积极学习多学科特别是数学、数据库、信息技术，信息行业需要做好跨学科合作，掌握更多网络动态数据挖掘模式及其关键技术。参考文献1王靖夫.基于数据挖掘的烟草行业网络安全动态监测j.电子技术与软件工程，2016（