大数据时代的机遇与挑战

大数据时代的机遇与挑战什么是大数据时代？“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”大数据时代是怎样产生的？物联网、云计算、社交网络、社会媒体以及信息获取技术的飞速发展，数据正以前所未有的速度迅速增长和积累，数据是人类社会最重要的财富大数据时代的到来大数据时代的特点?1.数据量大（Volume）第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。2.类型繁多（Variety）第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。3.价值密度低（Value）第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。4.速度快、时效高（Velocity）第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。大数据时代的机遇大数据技术通过对海量数据的快速收集与挖掘、及时研判与共享，成为支持社会治理科学决策和准确预判的有力手段，为社会转型期的社会治理创新带来了机遇。建立大数据中心，及时搜集、实时处理数据信息，为科学决策提供坚实基础。对社会大数据进行历时性和实时性分析，加强社会风险控制，提高政府预测预警能力和应急响应能力。

在大数据概念出来之前，个人制造的数据往往被忽略，企业数据被谈及的更多。企业内部的数据多数都是结构性数据，并被企业在或多或少地利用着，无论是数据挖掘还是商业智能化应用都已经初露端倪。随着互联网的快速发展，在企业数据还没有井喷的时候，我们就发现个人用户以及社会应用产生的数据已经开始爆发了，比如社交、交互式应用带来了大量的网络数据。此时传统的硬件设备开始显得捉襟见肘，无法满足这种庞杂数据带来的应用需求。很多时候，也许我们会认为这些数据里会有价值，但是却不知道如何挖掘这些数据的内在价值，数据成为了堆砌。因此，对于数据精准分析的需求正在呼唤做数据分析的厂商们拿出下一步的举动。比如说，在淘宝庞大的用户群中，淘宝卖家如何精准掌握一个新用户的需求？一家饭馆如何利用细节满足每一个食客对于美味的需求？越来越多的应用需求推动着大数据的发展。更主要的是，未来可能各种传感器会出现在社会的各个地方，数据会更多，比如交通、医疗等等，数据的采集已经不是问题，难点已经转换为处理和分析。如此巨量的数据，处理难度可想而知。大数据给中国市场带来什么？大数据应用需求在中国更加明显。中国人口众多，各行各业都呈现出极快的增长速度，电商、快递、微博、社交等都承载了大量的个人信息；大型超市、卖场、商场、银行等集聚了大量交易信息，日新月异的城市建设中，连接着更多数据采集传感器和嵌入式设备的物联网开始成型……如何应对机遇与挑战大数据时代，人们能做些什么？大数据产生和存在于各行各业，尽管分析和处理困难，但也可以通过相关性的技术手段对大数据进行统计分析，应用其结果。例如：在教育领域使用大数据来分析学生的个性和爱好，真正做到因材施教，提高教学质量；在企业管理领域应用大数据分析，真正将粗放型管理变为精细型管理，提高效率，节省开支，并应对公司在发展进程中带来的管理问题。在企业生产中应用大数据分析，优化各项生产、工作流程提高效率效益。在商业领域应用大数据分析商品销售热点和了解顾客即时需求。今后，在大数据技术领域的竞争将直接关系到国家安全和未来，国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力。美国已率先将大数据应用从商业行为上升到国家意志：2012年3月29日，美国奥巴马政府投资2亿美元启动“大数据研究与开发计划”，提出“通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式”。在我国，与大数据相关的产业刚刚起步，无疑将迎来很好的发展机遇！保障数据及应对人隐私泄露的解决办法有：①通过物理隔离以及与权限控制相结合，实现对数据的隔离，保证数据不被非法访问并保证用户数据的隐私。②通过信息加密的功能，防止用户信息被盗取。用户的关键信息，如登录密码和系统访问等其他鉴权信息，无论是传输时还是在存储时必须加密。③通过对硬盘实施有效的保护：保证即使硬盘被窃取，非法用户也无法从硬盘中获取有效的用户数据。将数据切片存储在不同的云存储节点和硬盘上，数据无法通过单个硬盘恢复。故障硬盘无需进行数据清除即可直接废弃，用户数据不会通过硬盘泄露。④通过立法来保障企业的商业机密及个人隐私不被非法应用。大数据时代的挑战大数据面临的挑战是多方面的：（1）数据的快速增长对存储空间、存储技术、数据压缩技术、能源消耗的挑战：大数据需要占用大量的存储空间，尽管存储性价比在提高，压缩技术也在不断发展，但保存数据所消耗能也在大量增长。解决办法是研制出新一代高密度、低能耗存储设备。（2）数据本身安全及个人隐私泄露面临的挑战：在海量数据洪流中，在线对话与在线交易活动日益增加，其安全威胁更为严峻。大数据环境下通过对用户数据的深度分析，很容易了解用户行为和喜好，严重的将导致企业的商业机密及个人隐私泄露。（3）网络带宽能力与对数据处理能力面临的挑战：网络带宽是瓶劲，尤其表现在各网络接入商之间的互联互通出口上；大数据时代网络必须有足够的带宽支持，才能保证数据实时性。数据计算能力是应对数据洪流时的又一挑战，采用分布式计算可以解决其中的一些问题，但部署相对较复杂。（4）有效数据撷取面临的挑战：从海量数据中提取隐含在其中的、潜在有用信息和知识的过程十分复杂的，需要反复“去伪存真”。通常要经过业务理解、数据理解、数据准备、建立挖掘模型、评估和部署等多个步骤。即在开始数据分析之前，我们必须了解业务需求，根据需求明确业务目标和要求；接下来便是对现有数据进行评估，并对原始数据进行组织、清理、集成、变换等一系列数据收集和预处理工作；在搞好数据清理的基础上，应用相关算法和工具建立分析模型；之后对所建立的模型进行评估，重点具体考虑得出的结果是否符合最初的业务目标；最后，便可将发现的结果以及过程利用各种可视化技术（报表、报告、图形等）呈现出来。大数据给人文社会科学带来哪些挑战？大数据时代的来临,数据逐渐成为重要的生产要素。而传统人文社科普遍数据采集能力不足,只有通过技术创新和方法上的创新,文科与理科、工科相结合,才能带来质的突破。大数据时代为突发公共事件的舆情带来什么机遇和挑战？数据的最终作用是为领导者决策或执行部门的行动提供参考,如何有效整合大数据,首先要做到快速分析、及时反应和动态应用,其次是在技术上实现对海量数据和信息的存储、深度挖掘和实时监测,实现精准地采集和预警。目前人民网已建立了基于全网大数据内容的突发公共事件舆情应对方案,可通过信息化的手段对全网大数据信息进行一小