新数据挖掘的国内外应用

数据挖掘的国内外应用概述数据挖掘作为近年来新兴的一门计算机边缘学科，其在国内外引起了越来越多的关注。并且随着数据挖掘技术的不断改进和数据挖掘工具的不断完善，数据挖掘必将在各行各业中得到广泛的应用。数据挖掘从大量的数据中通过算法搜索隐藏于其中信息的过程。这项以数据库技术、统计分析、人工智能等为依托的综合性运用技术的出现有其必然性和可行性。首先，信息社会的到来对数据的筛选和利用提出了更高的要求，而少量数据的出现又使得基于传统数据处理方法的人们面对大量数据无从下手，此时必然要求有更为先进的数据处理技术；其次，计算机性价比的提升和磁盘存储器价格的大幅度降低，使得人们借助计算机来完成数据的分析和处理成为可能。城市是生存繁衍最好的地方、是社会交往的地方、是文化享受的地方，按照城市的职能，我们让它智能化，比如智慧安防、智慧环保、智慧能源、智慧城管、智慧养老、智慧国土规划、智慧交通等都是让人有更好的环境来生存繁衍。在经济发展方面，可以推动智慧制造、工业互联网、物联网。在文化享受方面，可以考虑智慧户外流媒体、智慧教育、智慧旅游等等。李德仁院士将智慧城市定义为“智慧城市=数字城市+物联网+云计算”。其中，数字城市技术把基础地理数据、正射影像、街景影像数据、全景影像数据、三维模型数据结合在一起，这产生了大量的地图数据，而在智慧城市的建设和应用中，将产生从TB到PB级越来越多的数据，从而进入大数据时代。而对于这些大数据来说，传统的数据分析工作已经不适合对现有数据进行合理的分析，导致了一种“数据爆炸但知识贫乏”的现象。目前在智慧城市中的各种应用如智慧交通，智慧国土等应用中的数据库系统主要局限于实现数据的录入、查询、统计等功能，但无法有效地发现数据中存在的关系和规则，很难把握数据背后隐藏的知识，无法根据现有的数据预测未来的趋势。这在一定程度上阻碍了智慧城市的应用与普及。而数据挖掘技术恰恰是解决这一难题的最佳方法。应用数据挖掘技术，可以从GIS数据库中发现更多的地理知识和地理规律、对专题数据进行有效、合理的分析，从而达到城市的智能运行、政府的科学决策、公众的便捷生活及企业的高效运营。二、数据挖掘的国内相关应用1、智慧交通目前各中心城市用地布局已经基本确定，在中心道路不允许大规模扩建和改造的前提下，唯有依靠智能交通系统（ITS），对城市交通进行更有效的控制和管理，提高交通的机动性、安全性，最大限度地发挥现有道路资源的效率。应用数据挖掘在交通领域中的具体应用为：可以用来识别道路通行的能力并可用作未来车流量的预测依据，把抽样的数据进行类比分析得出隐藏在数据中的发展趋势，预测道路车辆流量的发展，并根据预测的结论来管理交通。另一方面可以研究各种与交通存在潜在关系的对象的数据，来识别这些影响道路运营的因素，同时演算测出各个因素的影响度，最终的目的是利用这些挖掘出来的高价值信息，精确地指导交通，为城市服务。智慧交通系统中，应用数据挖掘技术较为突出的为“故障预警系统和紧急事故处理系统”。系统根据车流的排队情况预测事故，提醒闭路电视监控系统进行跟踪。在计算机中建立专家库以提供4500个应急方案，根据事故发生的情况选择应急方案，通知并指导有关部门和人员进行事故处理，快速排除事故恢复交通。计算机系统记录事故情况，并且以事故发生地为圆心在周边相关可变情报板上显示信息，调度交通。在事故解决后会自动调整可变情报板，恢复正常的交通。整个事故的处理无需进行过多的人工干预。国内的智慧城市建设虽然起步较晚，但经过政府的大力支持，也取得了一定的成就。北京、杭州、上海、青岛等城市均建成了较为完善的应用系统，青岛的智慧交通建设中，应用数据挖掘技术的主要为“交通信号控制系统”及“交通执法系统”两大子系统。其中，“交通信号控制系统”不仅实现全市交通信号控制路口的集中控制、配时自动调整、协调联动、将信号灯联网，以保证各路口之间的协调控制，通过对路口的信号进行远程干预和实时、集中控制，以到达提高道路承载力和通行能力，而且通过数据挖掘技术使系统也有“自主”意识，能够自动判断单个路口前方交通拥堵情况，对路口信号灯进行缩短绿灯时间或者停止绿开展环境形势分析与预测，识别经济社会发展中的重大环境问题，开展环境规划政策模拟分析，探索建立各类政策模拟分析模型系统，实现环境税、排污收费、排污权交易、生态补偿、价格补贴等手段对经济社会的影响的预测，开展环境经济政策实施的成本分析；开展环境风险源分类分级评估、环境风险区划等工作，支撑环境风险源分类分级分区管理政策的制定。5、智慧安防对于“安防”行业来讲，在平安城市、智能交通管理、环境保护、危化品运输监控、食品安全监控，包括政府机构、大企业工作场所等的与网络连接的设备系统将最有可能成为最大的数据资源。随着智慧城市等工程的推进，监控摄像头已经遍布大街小巷，安防监控对高清化、智能化、网络化、数字化的要求越来越高，数据量自然也不断地迅速增加。那么，数据挖掘技术在面对“安防”行业所长生的大量非机构化数据所急需解决的核心技术为：视频浓缩检索技术，主要是利用图像处理(包括视频浓缩、摘要、复原等)、模式识别、海量数据分类存储以及搜索等技术，对海量的存储录像等原始信息进行分析和挖掘，对于目标特征、目标行为、目标间关联关系这三大类信息内容，形成各种分类的特征信息库、元数据和索引等，并提供统一接口供外部应用进行搜索，以期通过有限的线索，达到案件快速关联和定位。视频图像信息库建设，目前应用比较广泛的是卡口和电警的应用。由于车牌识别技术的日趋成熟，通过车牌、车牌颜色、车身、车身颜色、车辆类型等特征识别，把车辆图片、车辆信息、车主信息、盗抢车辆库等结合起来，可以有效的进行车辆的查找、布控和案件线索搜索。而其他如视频监控录像、案件等信息如何形成统一接口查询，如何进行有效数据关联，应用不是特别广泛。为此，国内很多科研单位和智能产品公司进行了多方面探索。如清华大学、中国科学院自动化研究所，上海交通大学、浙江大学等。视频图像信息库建设和海量数据的处理、分析、检索，是提高效率的有力手段。通过视频智能分析技术，把海量的视频数据进行浓缩、提取特征摘要、减少了存储空间。如1小时的视频录像，通过特征值方式的视频浓缩，可以把录像压缩到10分钟左右。同时，视频图像信息库有别于传统的关系数据库模型，针对结构化，半结构化和非结构化数据，通过数据的多个副本分布式保存方式，可以有效节约存储空间，关键数据的二次备份，使系统架构更加稳定、易扩展，并且提供安全的负载均衡和容错机制。视频图像信息库的建设，除了减少人力和搜索时间外，还可以通过搜索接口进行联网布控，对有针对性的特征图片进行匹配和模式识别，增强事前预警的功能。同时，这些系统的应用，将推动“安防”产业技术的进步和推广。6、智慧能源智慧能源是近几年兴起的一个比较新的概念。响应国家节能减排号召，我们要实现能源的安全、稳定、清洁和永续利用，助力政府实现低碳目标。利用数据挖掘可以对节能监测系统运行状态数据监测与分析，运用关联规则挖掘能耗异常数据之间的关联辅助能源管理和调度人员进行评估、节电、安全检修。主要对节能监测系统运行状态数据监测与分析，运用关联规则挖掘能耗异常数据之间的关联，辅助能源管理和调度人员进行评估、节电、安全检修。7、智慧养老中国在养老服务业已经和正在累积了庞大的数据，这些数据包括医疗数据、消费数据、通信数据等，挖掘这些数据中蕴含的价值和趋势，让整个社会的养老服务真正地具有智慧，是智慧养老所要解决的。对于智慧养老项目，我国许多企业均提出了合理、有效的解决方案。如天云科技与民政部社会福利中心共建的社会养老服务和管理综合信息共享平台，其核心为天云SkyForm云平台，围绕国家养老服务体系建设和行业标准化规范管理的需要，整合各种IT及养老信息资源，通过云计算技术对养老服务信息资源进行整合管理，建立跨域信息协同和数据共享机制，研究基于云计算的海量资源存储和调度，为养老服务平台提供坚实的数据和IT支撑，为机构、社区、居家等社会养老服务和管理构建以云计算平台为基础架构的综合信息共享平台。有了这个共享平台，全国的社会福利机构可以共享IT资源、数据资源等，使养老资源分配更清晰有效。例如，透过一个地区老人的医疗数据可以提出预见性的老年人整体疾病趋势，帮助福利机构更合理配置医疗资源。未来的居家养老是一个社会趋势，如何让居家养老更具人性化？通过发掘和分析老年人的消费数据等可以识别并聚合具有共同兴趣的社区老年人，丰富老年人的生活。北京汇晨养老机构管理有限公司简历的智能老年公寓管理系统，通过这个系统，每一位老人在入院时相关的个人信息都会被收集并分类管理，通过对信息的有效挖掘，院方可以掌握老人的身体情况、性格爱好等特点。从而在后续的服务中更为贴合老人的个性化需求。2010年3月，武汉侨亚百老汇信息技术有限公司独立创建了国内最早探索和提倡智能居家新型养老模式的专业化养老服务平台—侨亚爱爸妈，自主研发了侨亚智能居家养老平台。通过数字化医疗设备、E脉手表智能终端、移动通信网络、呼叫中心、健康服务管理中心、安全健康服务、亲情关爱服务和生理助理服务，构成了包括“健康服务系统”、“安全管理系统”、“快乐支持系统”和“生活助理系统”在内的中国首个智能化养老体系。其数据挖掘的主要应用为：安全管理服务为老年人提供紧急呼救、走失救助、出行行踪监护、安全活动范围监护、心脑血管异常报警、夜间生理安全监测、运动安全报警、健康风险报警等系列服务。保障老年人居家养老的安全性，发生意外或危险时能够得到及时的帮助和救治。安全管理服务为老年人提供紧急呼救、走失救助、出行行踪监护、安全活动范围监护、心脑血管异常报警、夜间生理安全监测、运动安全报警、健康风险报警等系列服务。保障老年人居家养老的安全性，发生意外或危险时能够得到及时的帮助和救治。三、数据挖掘的国外相关应用近年来，人们对城市发展的关注和探索一直不断向前推进，在探索的进程中，“智慧城市”的概念逐渐被全球越来越多的国家和社会公众所接受。以前由于科技力量不足，城市中的交通、能源、商业、通信、水资源等无法为城市发展提供整合的信息。而现在，信息技术正在给城市发展带来实现巨大变革的条件。“智慧城市”就是主动驾驭这一趋势，借助新一代的物联网、云计算、决策分析优化等信息技术，将人、商业、运输、通信、水和能源等城市运行的各个核心系统整合起来，以一种更智慧的方式运行，进而创造更美好的城市生活。在这样美好的发展愿景驱使下，近十年来，美国、英国、日本等世界各国都在不断加大信息技术在城市管理、服务和运行中的应用，努力打造基于数字技术的“智慧城市”。数据挖掘在国外智慧城市中的应用主要包括智慧经济、智慧治理、智慧医疗、环境等方面。1、智慧经济在智慧经济方面，首先大数据在商业上得到了很好运用，它会分析用户的购物行为，很多公司通过分析找到最佳客户，淘宝数据魔方则是淘宝平台上的大数据应用方案。通过其“数据魔方”平台，商家可以直接获取行业宏观情况、自己品牌的市场状况、消费者行为情况等，并可以据此作出经营决策。美国一家投资公司分析了全球3.4亿微博账户留言，判断民众情绪，依此决定公司股票的买入或卖出，该公司今年第一季度获得7%的收益率。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和诚信的企业，从而无需担保来放贷，目前已放贷300多亿元，坏帐率仅0.3％，大大低于商业银行。企业通过信息收集很好的掌握企业的运营状况，分析居民与财务有关的记录，能够得出消费者的个人信用评分，从而推断客户支付意向与支付能力，发现潜在的欺诈。IBM日本公司建立了一个经济指标预测系统，从互联网新闻中搜索影响制造业的480项经济数据，计算出采购经理人指数PMI预测值。印第安纳大学学者利用Google提供的心情分析工具，对270万用户在2008年3～12月所张贴的970万条留言，挖掘出用户happiness、kindness、alertness、sureness、vitality和calmness等六种心情，进而对道琼斯工业指数的变化进行预测，准确率达到87%。利用大数据分析可实现对合理库存量的管理，华尔街对冲基金依据购物网站顾客评论分析企业产品销售状况，华尔街银行根据求职网站岗位数量推断就业率。2、智慧治理智慧治理方面，美国纽约的警察分析交通拥堵与犯罪发生地点的关系，有效改进治安。美国纽约的交通部门从交通违规和事故的统计数据中发现规律，改进了道路设计。利用短信、微博、微信和搜索引擎可以收集热点事件与舆情挖掘。电信运营商拥有大量的手机数据，通过对手机数据的挖掘，不针对个人而是着眼于群体行为，可从中分析：实时动态的流动人口的来源及分布情况；出行和实时交通客流信息及拥塞情况。利用手机用户身份和位置的检测可了解突发性事件的聚集情况。MIT的RealityMining项目，通过对10万多人手机的通话、短信和空间位置等信息进行处理，提取人们行为的时空规则性和重复性，进行流行病预警和犯罪预测。3、环境监测对城市的河流进行采样，通过卫星发布，收集采样的数据，这个数据非常大，通过这个数据分析能够判别城市中有没有污染。4、智慧医疗无论是药品的研发还是商业模式的开发运用数据分析都能够得到很好的分析，医院里大量的病例，就对应着大量的数据，传统的普通病例很难挖掘数据，现在变成电子化有利于更高数据挖掘，数据的挖掘有利于发现医疗知识。另外，居家监护很