大数据背景下的科技基础条件平台_第1页
大数据背景下的科技基础条件平台_第2页
大数据背景下的科技基础条件平台_第3页
已阅读5页,还剩3页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、大数据背景下的科技基础条件平台摘要:文章首先描述了科技基础条件平台建设所面临 的大数据时代背景;然后对大数据背景对科技基础条件平台 带来的机遇和挑战进行了分析;最后,针对挑战提出了应对 的解决方案。关键词:大数据背景;科技基础条件平台;数据挖掘; 非结构化数据随着知识经济的发展, 科技创新重要性日益显现。支 撑科技创新活动的科技基础条件资源已成为国家的重要战 略资源, 在国际竞争中具有重要的战略地位。各国普遍把 科技基础条件平台的建设、优化和加强作为强化竞争优势的 一项国策。 在此背景下, 2003 年科技部会同有关部门启动了 国家科技基础条件平台建设。根据国家中长期科学和技术 发展规划纲要(

2、20062020),国家科技基础条件平台就是 充分运用信息、网络等现代技术,由研究试验基地、大型科 学设施和仪器设备、科学数据信息、自然科技资源等组成, 对科技基础条件资源进行的战略重组和系统优化,建立以共 享机制为核心、以资源整合为主要目标,从而促进我国科技 资源高效配置和综合利用, 提高科技创新能力。近年来,大数据(big data)一词逐渐被人们接受,它是海量的结构性与非结构性数据的总和,具有数量大、实时性、多样化的特点。它代表着信息爆炸时代产生的海量数据,以 及相关的技术发展与创新,对人们的工作和生活都产生了巨 大的变化。大量结构性和非结构性数据的存在,使无论是商 业、经济或者其它领域

3、,基于经验和直觉的判断不再流行, 数据和分析将成为决策行为的基础。寻求解决问题的方法, 不再是根据问题寻找数据,而是如何从数据中发现问题,以 何种思路做数据整理和分析。大数据背景也对我国科技基础 条件平台的建设和发展带来了新的机遇与挑战。一、大数据背景下科技基础条件平台建设的机遇(一)科技基础条件平台建设的功能更容易实现 国家建设科技基础条件平台就是为了通过实现科技资 源共享,打破科技资源分散、封闭和垄断的状况,在现有的 基础上对科技研究所需设施、器材、文献和数据等资源进行 重组和优化,构筑科技创新资源服务的共享平台。科技基础 条件平台是一个信息收集、分享的平台,利用信息具有的公 共品属性,更

4、好地实现信息的价值。科技基础条件平台的功 能在大数据时代将更容易实现,大数据时代的一个重要特征 就是数据规模巨大且增长迅猛,伴随着网络时代的快速发 展,各类企业数据增长迅猛,半结构和非结构化数据以几何 倍形式增长;数据来源的渠道也逐渐增多,网络日志、社交 媒体,以及遍布各地的传感器网络等都可以获得大量的数 据。这意味着科技基础条件平台收集数据、获取信息、分享 信息将更加便利,成本也更低。(二)科技基础平台条件建设的必要性上升 大数据时代拥有数据量大、数据类型多和数据价值密度 相对较低等特征,数据类型包括音频、视频、网络日志、图 片和地理位置等信息,这些数据信息量很大,信息感知无处 不在,但利用

5、这些数据需要对它们进行“提纯” 。以上特征 对我们的数据驾驭能力发起了新的挑战,它要求有更强的数 据处理能力和更好的分析方法。随着大数据时代的发展,政 府和企业等组织机构也逐渐意识到数据和数据分析能力的 重要性,前者正成为组织内最重要的资产,后者正成为组织 的核心竞争力。但如何去培养和利用这种核心竞争力是一个 新的问题。要应对这种挑战和解决这个问题,由各个组织、 企业和机构自行解决,那将得不偿失。不仅数据本身具有公 共品的特性,数据的处理、分析也具有相似的特性。通过科 技基础条件平台在数据收集过程中,对数据进行初步整理、 分类、归集、分析和处理,可以使各个组织、企业和机构更 便利搜索和利用数据

6、,从而节省大量的交易成本。这方面, 美国已经采取了类似的措施, 2012 年 3 月,奥巴马政府宣布 投资 2 亿美元拉动大数据相关产业发展,将“大数据战略” 上升为国家意志。奥巴马政府以“未来的新石油”来定义数 据,明确表示未来国家的核心资产除陆权、 海权、 空权以外, 还将包括对数据的占有和控制能力。二、大数据背景对科技基础条件平台建设带来的挑战(一)技术挑战 大数据对科技基础平台条件技术的挑战,可以分为硬件 和软件两方面,硬 件方面主要是大数据背景下,数据规模 巨大且增长迅猛。 从 TB 级别跃升到 PB 乃至 EB 级别, 由此 带来存储设备的要求,但更大的挑战来自于后者。软件的挑 战

7、可以归结为两个方面:首先,分析工具尚未成熟。传统分 析工具主要用于结构化数据,可现在存在大量非结构化数 据,同时数据的实时性需求上升。这些都要求针对大数据开 发新的分析工具,但目前大部分与大数据相关的分析工具, 尤其是非结构化数据分析工具,往往是由致力于研究高效处 理大容量信息的互联网志愿者进行开发。因此,与传统数据 库和数据管理套件相比,大部分技术在成熟度和可访问性等 方面都还不够完善,同时帮助其他数据分析人员熟悉的相关 补充分析工具也很有限。其次,缺乏相关领域的技术人才储 备。大数据分析往往面对的是原始数据,其中包括大量非结 构性数据,分析也主要基于预言建模或未来趋势分析,对于 这种程序模

8、型开发、应用的要求比较高,一般业务用户和传 统数据分析师也很难掌握。(二)检索、分析的挑战 原有科技研究分析逻辑是从关系到数据,现在相反,更多的是从大量数据中去发现问题。 这种测量将令“错误发现” 的风险增长。科技基础条件平台要帮助数据使用者去收集、 分析和共享数据,那么就要面临数据分析的挑战。这种挑战 来自于数据检索和挖掘这两方面。首先,在大数据时代下, 数据和信息呈爆炸性增长,科技基础条件平台中也拥有了相 对应增长的信息。与过去信息贫乏的时代不同,信息泛滥同 样使科技基础条件平台数据的利用产生困难。相较之依靠手 工、卡片检索的过去,如今大数据时代随着信息技术、数据 库和计算机辅助技术的发展

9、,数据管理变得更加快捷方便, 但也面临由于数据和信息数量剧增带来的数据“胀库”的问 题。往往由于需要的数据被埋没在大量不需要的数据中,因 此在数据检索时性能急剧下降甚至无法响应。所以建设科技 基础条件平台首要问题就是如何让使用者在“数据海洋”中 准确而快速地找到所需信息。其次,由于大数据时代,科技 基础条件平台数据量非常大,数据密度相对就会比较低,如 何在海量数据中帮助使用者更加便利地抽取和挖掘有用的 数据和信息也是科技基础条件平台建设面临的重要问题。在 海量数据、半结构、非结构性数据盛行、数据来源多样化的 大数据时代,传统的数据挖掘、分析工具已不能适应需要, 因此,在科技基础条件平台建设中对

10、于适应大数据时代数据 挖掘、分析工具的开发变得非常重要。(三)数据安全挑战在大数据时代,网络攻击、黑客和个体隐私问题都会给 科技基础条件平台建设的数据带来安全问题。首先,科技基 础条件平台聚集了大量的数据,这些数据可能是复杂、敏感 的,它们都可能吸引更多的潜在攻击者。同时,数据的大量 汇集,使得黑客成功攻击一次就能获得更多数据,无形中降 低了黑客的进攻成本,增加其“收益率”。另外,现今黑客的组织能力、作案工具、作案手法及隐蔽程度比以前都更加 厉害,这也使科技基础条件平台安全形势更为严峻。最后, 个体隐私泄露的风险也随之而来。数据的集中存储和部分敏 感数据所有权和使用权尚未界定增加了个体隐私泄露

11、的风 险。三、面对风险,科技基础条件平台建设应如何应对(一)应对技术的挑战首先,科技基础条件平台建设应该不断对获得的数据提 纯,以便简化存储,从而减轻硬件的压力。一方面,大数据 的价值密度低,要通过大量的分析提纯工作才能找到有价值 的数据。而从数据分析角度上看,数据新鲜程度与数据的价 值是成正比的。其次,科技基础条件平台应该重视开发更加 强大且富有表现力的数据分析、处理工具,比如更好的编程 语言支持,通过编写简短的程序就能清晰地表达出对数据的 要求,以及能够提供更好交互性的工具。可视化数据分析工 具的开发、应用代表了这一方向。(二)应对检索、分析的挑战 由科技基础条件平台数据量大、形式多所带来

12、的查询性 能下降、 无法查询甚至无法响应等问题, 可以通过模式识别、 数据挖掘等技术对非结构化数据的开发和利用来解决。数据 挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的 实际应用数据中,提取隐含的、事先未知的但有潜在应用价 值的信息和知识的过程,其包括结构型数据挖掘、 web 数据 挖掘和文本数据挖掘等。针对数据特点,科技基础条件平台 开发、运用相关数据挖掘工具,能帮助使用者在浩瀚的“数 据海洋”中准确而快速的找到有用信息,从而提高科技基础 条件平台数据应用效率,并从海量原始档案数据中发掘出有 价值的信息和知识。(三)利用大数据为科技基础条件平台数据安全提供新 支撑大数据一方面对科技基础条件平台带来信息风险,另一 方面,如果我们能妥善利用大数据,它也能为科技基础条件 平台的信息安全提供新机遇。科技基础条件平台服务商通过 对海量数据的分析,能更好地刻画外部数据异常行为,并从 中找出数据风险点。通过追踪以数据形式隐藏在大数据中网 络、黑客的攻击行为,结合大数据整

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论