浅谈大数据时代的机遇与挑战

湖南农业大学课程论文学院：信息科学技术学院 班级：计算机1班姓名：XXX 学号：2015XXXX课程论文题目：浅谈大数据时代的机遇与挑战课程名称：评阅成绩：评阅意见：成绩评定教师签名：日期：年月日课程论文题目——浅谈大数据时代的机遇与挑战学生：XXX(信息科学技术学院计算机1班)

摘要：随着时代的发展，大数据这个词慢慢进入了人们的视野的当中，而大数据也与我们的生活关联越来越紧密，对我们的影响也越来越大。怎么样才能把握住机遇，在大数据时代中脱颖而出，怎么样才能在大数据时代到来的挑战中稳步前行。

关键词：大数据;机遇与挑战；大数据时代分析

Abstract:

with

the

development

of

The

Times,

the

word

big

data

slowly

into

the

people's

horizons,

and

big

data

is

linked

to

our

life

more

and

more

closely,

to

our

influence

is

growing.

How

to

seize

the

opportunity,

in

the

era

of

big

data,

how

can

ability

in

the

era

of

big

data

move

steadily

in

the

coming

challenges.

Key

Words:

Big

data;

Opportunities

and

challenges;

The

era

of

big

data

analysis

国家层面进行战略部署，以迎接大数据技术革命，正在带来的新机遇和新挑战。美国在《大数据研究和发展倡议》中，提出将通过收集庞大而复杂的数字资料，从中获得知识和洞见，以提升能力。并协助加速在科学、工程上发现的步伐，强化美国国土安全，转变教育和学习模式。根据这一计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。英国政府2012年计划在未来两年内，在大数据和节能计算研究上投资1.89亿英镑，以带动企业在该领域的投资。大数据被英国看作是自己的优势所在，且英国认为已在政府层面，为大数据做好了准备。

5.大数据时代科学研究的方法手段将发生重大改变

大数据的应用需求，是大数据新技术开发的源泉。在不久的将来，也许很多原来单纯依靠人类自身判断力的领域应用，最终都将被计算机系统的数据分析和数据挖掘功能，所普遍改变甚至取代。一小片合适的信息，也许会促使创新迈进一大步；一组数据，也可能会得到数据收集人难以想象的应用，甚至可能在另一个看起来毫不相关的领域得到应用。借助这些创新型的大数据应用，数据的能量将会层层被放大。

（二）大数据时代的机遇

1.大数据服务市场崛起

对于很多企业来说分析只是数据工作的一部分，只有把一种数据与其他相关数据结合在一起进行深度挖掘，才更有价值。例如，将天气状况的数据加入到客户数据中，并进一步分析发

现在客户的

采购模式中是否存在与天气相关的因素等，就比单独分析客户数据有用得多。但如何分析这些数据集可能让企业非常头疼，因为千万亿次级别的大数据分析对于大多数企业来说并不是可以自备的功能，而企业一般只需要获得可视化的最终结果，他们需要相应的帮助。

2.大数据时代的到来将为企业的发展和竞争提供新的出路

以阿里巴巴为例。阿里巴巴通过对旗下的淘宝、天猫、阿里云、支付宝、万网等业务平台进行资源整合，形成了强大的电子商务客户群及消费者行为的全产业链信息，造就了独一无二的数据处理能力，这是目前其他电子商务公司无法模仿与跟随的。同时，也将电子商务的竞争从简单的价格战上升了一个层次，形成了差异化竞争。此外，电商企业通过大数据应用积极开拓发展互联网金融业务。目前阿里、京东、苏宁三大主流电商企业已相继试水。除“阿里小贷”模式比较成功之外，京东模式也渐出效果。2012年，京东通过与中国银行合作，推出“供应链金融服务”，供应商凭借其在京东的订单、入库单等向京东提出融资申请，核准后递交银行，再由银行给予放款。据报道，此服务可以帮助京东供应商大幅度缩短账期，资金回报率由原来的60%左右提高到226%。

3.大数据技术为政府社会治理带来新机遇

社会治理是对社会的经济、政治和文化等事务进行的组织、协调、指导、规范、监督的过程。它涉及合理有效配置社会资源，比如提供教育、文化、卫生、体育、社会保障等社会公共服务和公共产品，保障社会公平与公正；涉及通过行政及司法手段保障社会安全和社会稳定。而社会治理目标的实现，是以掌握治理对象的状况及其外部环境的信息为前提的。现阶段，我国正处在社会转型期，急剧发展变化的社会，对于包括人、财、物、事等在内的庞大而复杂的社会管理信息需求，与当前大数据技术的发展不期而遇。创新社会治理，是我国应对社会转型、化解社会矛盾、协调利益关系、维护社会秩序所面临的一项重大战略任务。针对目前社会治理领域普遍存在的服务理念滞后、决策机制不够科学、部门协作亟须加强、工作方式待改进与工作效率求提升等问题，大数据技术从认识、理论、方法、实践和效果评估等方面都能给人以启发。大数据技术通过对海量数据的快速收集与挖掘、及时研判与共享，成为支持社会治理科学决策和准确预判的有力手段，为社会转型期的社会治理创新带来了机遇。

4.大数据引领新发展

大数据成为关键生产要素。随着大数据时代的到来，数据将如能源、材料一样，成为战略性资源。2012年3月，奥巴马政府在白宫网站发布了《大数据研究和发展倡议》，将其视为“未来的新石油”，提出通过大数据加速在科学、工程领域的创新步伐，强化美国国土安全，转变教育和学习模式。如何利用数据资源发掘知识、提升效益、促进创新，使其服务于国家治理、企业决策乃至个人生活服务，是大数据时代的重要战略课题。

(三)大数据时代的挑战

1.大数据时代信息技术面临的挑战

a.信息存储问题

大数据时代信息数据的增长速度快，这对信息技术的存储能力、信息数据的压缩技术、网络传输能力等都是一次巨大的挑战，大数据时代信息技术若想继续发展，就需要大量的存储空间，尽管存储技术在不断的进步，但是在数据存储过程中面临的问题将越来越多。

b.数据信息的安全问题

在大数据时代中，数据的流动量越来越大，数据信息的保密和个人信息的泄露面临着巨大的挑战，尤其是人们在线对话和网上交易日益增长，其面临的安全问题将会更加严峻。在大数据时代通过对个人信息的分析很容易了解其生活习惯和喜好，这样会导致国家和企业的机密以及个人信息的泄露。

c.网络数据传输面临的问题

运用移动网络对数据信息进行传输是大数据时代信息流通的根本保证。然而在网络数据信息传输过程中，网络传输技术已经到了瓶颈时期，在各网络的连接端口上大量数据的传输必须有足够的传输能力的支持，才能保证数据的有效流通。同时对数据的计算是数据传输过程中的又一难题，虽然采用分布式的计算方式能解决其中的一些问题，但是执行起来却比较繁琐。

d.有效数据提取过程中面临的问题

从大量的信息数据中，对潜在的有用的信息和数据进行提取的过程是比较复杂的，要对信息数据反复的分析研究，保证信息的真实性。在对数据信息分析研究之前，要了解业务的需求，根据目标和需求，对需求的数据进行分析研究，并对原有数据进行评估，对原有数据进行组织、清理、集成等一系列的信息数据的收集和处理。在完成好数据的清理工作后，要用相关的计算方法和工具建立分析模型，然后对建立的模型进行评估，考虑得出的结果是否符合设计好的业务目标。最终，将分析的结果运用到业务中去。

2.数据污染，数据质量差

很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因，导致企业的数据的可用性差，数据质量差，数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息，还有对收集到的数据进行很好的预处理处理，才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。

3.大数据人才缺乏

大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来，大数据将会出现约100万的人才缺口，在各个行业大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据，所以拥有大数据的企业应该与学校联合培养人才。

4.商业模式转变的挑战

未来几年，在面对大数据结构复杂多样化的情况下，行业用户对于大数据的商业模式有了新的要求，他们更希望通过用云的模式来实现更灵活、更具扩展性的大数据方案，同时保证数据处理的准确性、及时性等高质量因素。因此需要大数据解决方案提供商的方案能够在公共云、私有云和混合云之间灵活转换，而无需选定特定的云供应商。而目前，对于更多拥有内部部署应用的大数据解决方案提供商而言，他们仍保持传统的商业模式，及用户采购单一的方案进行部署，如果转变为云服务，则需要大数据解决方案提供商大幅度增加对于不同行业应用适应不同类型云架构的投入，这也给解决方案提供商在大数据领域的开拓上带来了一定程度的挑战。

5.大数据管理与决策

大数据的技术挑战显而易见，但其带来的决策挑战更为艰巨。大数据开发的根本目的是以数据分析为基础，帮助人们做出更明智的决策，优化企业和社会运转。哈佛商业评论说，大数据本质上是“一场管理革命”。大数据时代的决策不能仅凭经验，而真正要“拿数据说话”。因此，大数据能够真正发挥作用，深层次看，还要改善我们的管理模式，需要管理方式和架构的与大数据技术工具相适配。这或许是我们最难迈过的一道坎了。大数据应用领域仍窄小，应用费用过高，制约大数据应用。国内能利用大数据背后产业价值的行业主要集中在金融、电信、能源、证券、烟草等超大型、垄断型企业，其他行业谈大数据价值为时尚早。随着企业内部的资料量愈来愈大，日后大数据将成为IT支出中的主要因素，特别是数据储存所耗费的成本，很可能造成企业负担，甚至望而却步。

三、结论

综上所述，可以看出大数据在当今世界的地位越来越重要，而大数据时代的到来也成为了未来的趋势。在大数据时代，在信息爆炸的时代。要把握住大数据时代带来的机遇，抓住机会，同时也要做好准备迎接大数据带来的挑战，才能在未来的道路上走的更远。

本次论文，我从阐述大数据概念到大数据的作用和大数据的重要性这几个方面分析了大数据的几个特点，也分析了大数据时代到来的机遇和挑战，提到了在大数据时代中各行业和社会怎么把握住机遇创造机会迎接发展，同时分析了大数据时代遇到的几个问题，怎么规避和解决。四、结束语

大数据的时代已然来临。IDC数据显示，在2006年全世界的电子数据存储量为18万PB，而如今这个数字已经达到180万PB，短短5年间就已经增长了一个数量级。而根据预测，2015年这个数字则会达到如同天文数字般的800万PB。就在此时此刻，海量数据依然源源不断地产生，从不停息。面对这些“大数据”，有些人叹息抱怨，害怕数据量的剧增对于现有IT架构的冲击；有些人积极主动，探寻应对海量数据的应对与解决之道；还有一些人，则是顺势而为，抓住时代发展的商业机会，成为富有活力的创新者。

参考文献

[1]维克托，迈尔，大数据时代[J].浙江：浙江人民出版社，2012。

[2