创新驱动、内生转型、全面建设现代化档案资源体系(管档案到管数据)_第1页
创新驱动、内生转型、全面建设现代化档案资源体系(管档案到管数据)_第2页
创新驱动、内生转型、全面建设现代化档案资源体系(管档案到管数据)_第3页
创新驱动、内生转型、全面建设现代化档案资源体系(管档案到管数据)_第4页
创新驱动、内生转型、全面建设现代化档案资源体系(管档案到管数据)_第5页
已阅读5页,还剩51页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、 管档案到管数据 中国档案事业现代化研究 提要一、大数据时代背景二、认识数据三、档案、数据、信息三者关系四、大数据时代档案管理面临的挑战和机遇五、管理数据档案事业现代化的关键六、数据管理员档案员的华丽转型七、既管档案又管数据一 、大数据的时代背景半个世纪以来,随着计算机技术全面融入社会生活,信息爆炸已经积累到了一个开始引发变革的程度。这不仅使世界充斥着比以往更多的信息,而且其增长速度也在加快。在2006年,个人用户数据才刚刚迈进 TB 时代,全球一共新产生了约 180EB 的数据;在2011 年,这个数字达到了 1.8ZB。而有市场研究机构预测:到 2020 年,整个世界的数据总量将会增长 4

2、4 倍,达到 35.2ZB (1ZB=10 亿 TB)!因此在这个数据体量剧增的时代,大数据概念应运而生,并且这个概念几乎应用到了所有人类智力与发展的领域中。 正因为如此,有专家把整个世界发展的时代划分为:无数据时代、小数据时代和大数据时代。今天我们正刚刚迈入大数据时代,大数据也被视为人们日常生活基础设施的一部分,如同水、电、煤、公路、桥梁一样。对于大数据,不管你是否承认它,它就存在于那里,只是我们没有发掘而已。大数据也影响到我们对事物看法与思考方式,事物都要数字化,用数字说话。所以,大数据让整个世界正变得越来越透明, 间接地也成为了政府以及企业决策的重要依据。 发展形势 全球范围内,运用大数

3、据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势,有关发达国家相继制定实施大数据战略性文件,大力推动大数据发展和应用。目前,我国互联网、移动互联网用户规模居全球第一,拥有丰富的数据资源和应用市场优势,大数据部分关键技术研发取得突破,涌现出一批互联网创新企业和创新应用,一些地方政府已启动大数据相关工作。坚持创新驱动发展,加快大数据部署,深化大数据应用,已成为稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择。 重要意义 (一)大数据成为推动经济转型发展的新动力。以数据流引领技术流、物质流、资金流、人才流,将深刻影响社会分工协作的组织模式,促进生产组织方式的集

4、约和创新。大数据推动社会生产要素的网络化共享、集约化整合、协作化开发和高效化利用,改变了传统的生产方式和经济运行机制,可显著提升经济运行水平和效率。大数据持续激发商业模式创新,不断催生新业态,已成为互联网等新兴领域促进业务创新增值、提升企业核心价值的重要驱动力。大数据产业正在成为新的经济增长点,将对未来信息产业格局产生重要影响。(二)大数据成为重塑国家竞争优势的新机遇。在全球信息化快速发展的大背景下,大数据已成为国家重要的基础性战略资源,正引领新一轮科技创新。充分利用我国的数据规模优势,实现数据规模、质量和应用水平同步提升,发掘和释放数据资源的潜在价值,有利于更好发挥数据资源的战略作用,增强网

5、络空间数据主权保护能力,维护国家安全,有效提升国家竞争力。(三)大数据成为提升政府治理能力的新途径。大数据应用能够揭示传统技术方式难以展现的关联关系,推动政府数据开放共享,促进社会事业数据融合和资源整合,将极大提升政府整体数据分析能力,为有效处理复杂社会问题提供新的手段。建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制,实现基于数据的科学决策,将推动政府管理理念和社会治理模式进步,加快建设与社会主义市场经济体制和中国特色社会主义事业发展相适应的法治政府、创新政府、廉洁政府和服务型政府,逐步实现政府治理能力现代化。二、认识数据一)数据是电子记录1、概念: 数据是指存储在某种介质上

6、能够识别的物理符号。数据的概念包括两个方面:其一是描述事物特性的数据内容;其二是存储在某一种介质上的数据形式 。 在计算机系统中,各种字母、数字符号的组合、语音、图形、图像等统称为数据,数据经过加工后就成为信息。在计算机科学中,数据是指所有能输入到计算机并被计算机程序处理的符号的介质的总称,是用于输入电子计算机进行处理,具有一定意义的数字、字母、符号和模拟量等的通称。 数据可以是数字、文字、图像,也可以是计算机代码。2、数据量:b、Kb、Mb、Gb、Tb、Pb、Eb、Zb、Yb、Db、Nb、3、数据仓库(Data Warehouse,简写为DW或DWH)。是为社会所有级别的决策制定过程提供支持

7、的所有类型数据的战略集合。它是单个数据存储,出于分析性报告和决策支持的目的而创建。 为企业提供需要业务智能来指导业务流程改进和监视时间、成本、质量和控制。 数据库(Database,简写为DB)是按照数据结构来组织、存储和管理数据的仓库,指的是以一定方式储存在一起、能为多个用户共享、具有尽可能小的冗余度的特点、是与应用程序彼此独立的数据集合。 例如,企业或事业单位的人事部门常常要把本单位职工的基本情况(职工号、姓名、年龄、性别、籍贯、工资、简历等)存放在表中,这张表就可以看成是一个数据库。有了这个数据仓库我们就可以根据需要随时查询某职工的基本情况,也可以查询工资在某个范围内的职工人数等等。这些

8、工作如果都能在计算机上自动进行,那我们的人事管理就可以达到极高的水平。此外,在财务管理、仓库管理、生产管理中也需要建立众多的这种数据库,使其可以利用计算机实现财务、仓库、生产的自动化管理。 二、认识数据二)数据是人类记录的新形态 数据的特征数据的特征是:1,数据有型和值之分;2,数据受数据类型和取值范围的约束;3,数据有定性表示和定量表示之分;4,数据应具有载体和多种表现形式。(布尔型、逻辑型、字节型、字符型、整型、浮点型) byte(字节) 8 -128 - 127 0 shot(短整型) 16 -32768 - 32768 0 int(整型) 32 -2147483648-21474836

9、48 0 long(长整型) 64 -9233372036854477808-9233372036854477808 0 float(浮点型) 32 -3.40292347E+38-3.40292347E+38 0. double(双精度) 64 -1.79769313486231570E+308-1.79769313486231570E+308 0.0d char(字符型) 16 u0000 - uffff u0000 boolean(布尔型) 1 true/false 逻辑型 notandr二、认识数据三)数据是一种资源1、数据资源价值连城 数据是储量最大、增量最大、覆盖最广、效能最长的资

10、源2、数据资源管理空间无限 2015贵阳国际大数据产业博览会暨全球大数据时代贵阳峰会5月26日在贵阳开幕。国务院总理李克强日前向大会发来贺信。李克强表示,当今世界,新一轮科技和产业革命正在蓬勃兴起。数据是基础性资源,也是重要生产力。大数据与云计算、物联网等新技术相结合,正在迅疾并将日益深刻地改变人们生产生活方式,“互联网+”对提升产业乃至国家综合竞争力将发挥关键作用。李克强强调,中国是人口大国和信息应用大国,拥有海量数据资源,发展大数据产业空间无限。中国正在研究制定“互联网+”行动计划,推动各行各业依托大数据创新商业模式,实现融合发展,推动提升政府科学决策和管理水平,用新的思路和工具解决交通、

11、医疗、教育等公共问题,助力大众创业、万众创新,促进中国经济保持中高速增长、迈向中高端水平。李克强表示,互联网缩短了时空距离,大数据产业给不同国家和地区发展带来了机遇,相信大家围绕“互联网+时代的数据安全与发展”这个主题交流互鉴,分享成果,深化合作,会进一步汇聚新动能,推动实现更高效、更绿色、更惠民的发展。 二、认识数据四)数据资源管理正在起步 1、人们的认识尚未到位 2、政府和单位职能空缺 3、法制和管理五花八门 4、技术和装备八仙过海 5、数据资源建设管理必将成为国家意志五)管数据是我们的职责 1、档案到数据距离最近 2、单纯的档案管理价值萎缩 3、管理数据才会有地位 国务院发布促进大数据发

12、展行动纲要纲要指出,立足我国国情和现实需要,推动大数据发展和应用在未来510年要逐步实现五大目标。包括打造精准治理、多方协作的社会治理新模式,2017年底前形成跨部门数据资源共享共用格局;开启大众创业、万众创新的创新驱动新格局。形成公共数据资源合理适度开放共享的法规制度和政策体系,2018年底前建成国家政府数据统一开放平台,率先在信用、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、资源、农业、环境、安监、金融、质量、统计、气象、海洋、企业登记监管等重要领域实现公共数据资源合理适度向社会开放,带动社会公众开展大数据增值性、公益性开发和创新应用,充分释放数据红利,激发大众创业、万众创新活力

13、。 促进大数据发展行动纲要纲要要求,大力推动政府部门数据共享。2017年底前,明确各部门数据共享的范围边界和使用方式,跨部门数据资源共享共用格局基本形成。到2018年,中央政府层面实现数据统一共享交换平台的全覆盖,实现金税、金关、金财、金审、金盾、金宏、金保、金土、金农、金水、金质等信息系统通过统一平台进行数据共享和交换。2018年底前,建成国家政府数据统一开放平台。2020年底前,逐步实现信用、交通、医疗、卫生、就业、社保、地理、文化、教育、科技、资源、农业、环境、安监、金融、质量、统计、气象、海洋、企业登记监管等民生保障服务相关领域的政府数据集向社会开放。 促进大数据发展行动纲要纲要明确,

14、加大财政金融支持。强化中央财政资金引导,集中力量支持大数据核心关键技术攻关、产业链构建、重大应用示范和公共服务平台建设等。利用现有资金渠道,推动建设一批国际领先的重大示范工程。完善政府采购大数据服务的配套政策,加大对政府部门和企业合作开发大数据的支持力度。鼓励金融机构加强和改进金融服务,加大对大数据企业的支持力度。鼓励大数据企业进入资本市场融资,努力为企业重组并购创造更加宽松的金融政策环境。引导创业投资基金投向大数据产业,鼓励设立一批投资于大数据产业领域的创业投资基金 三、档案、数据、信息的关系1、数据是与自然资源、人力资源并称的三大资源之一。2、数据横空出世,正在全面覆盖和颠覆档案,表面上看

15、,是对档案毁灭性打击。纸质档案的生存空间被急剧压缩,其定义、概念、内涵、形态、载体、数量、质量、价值等加剧萎缩,人们正在快速抛弃这个记忆和记录的形态,尤其是超算、云计算、云存储、物联网、电子政务、电子商务、无线互联、移动互联技术的发展,档案危机将继续加重,板块正在整体老化、炭化、变形、瓦解、坍塌。档案事业构架重建、转型发展,迫在眉睫。3、数据的诞生是档案的危机,但更是生机。数据是档案新的生命。数据大大提升档案的品质、价值、地位、生存和发展空间。4、数据、档案、信息三者没有边界。当前,三位一体运行,未来,数据将彻底将档案取代和覆盖。数据资源建设、管理、利用、服务是档案事业转型发展的时代必然。数据

16、和信息是核心、是关键、是根本。我们要淡化档案概念,做小档案;强化数据意识,做大数据。5、要全面系统研究三者的共性和个性特征、内在本质、发展方向、辩证关系、互动机制等等。6、要明白的一些基本概念:数据不是档案,没有“数据档案”、数字数据等的说法,数据不能归档,数据管理和档案管理是完全不同的两个范畴、两个系统。三、档案、数据、信息的三者关系信息:广义的信息指的是客观世界中各种事物的存在方式和它们的运动状态的反映。是客观世界一切事物存在和运动所能发出的各种信号和消息。 狭义的信息指的是能反映事物存在和运动差异的、能为某种目的带来有用的、可以被理解或被接受的消息、情况等。(Information 一词

17、理解为狭义的信息时,常被译为情报。)中国国家标准GB489485关于信息的定义则将两类表述合并为:信息是物质存在的一种方式、形态或运动状态,也是事物的一种普遍属性,一般指数据、消息中所包含的意义,可以使消息中所描述事件的不定性减少。信息无所不在,可以感知,但它不是事件和物质本身,信息是客观事物的存在方式或运动状态,以及关于客观事物存在方式或运动状态的陈述。信息是原料,经过人类的认识活动,成为已知的知识。资讯:它是被人类有目的的加工、消费者因为及时获得并利用它而能够给自己带来价值的信息。资讯有相对的长效性、地域性、稳定性,它必须被消费被利用。资讯消费是在一个时间区段内,有人因为提供资讯而获得价值

18、,并且“提供利用反馈”之间能够形成一个长期稳定的供求关系,具有这些特点才可以称之为资讯。三、档案、数据、信息的关系四、大数据时代一)数据资源新时代2013,大数据元年1、大数据(Big Data):泛指巨量的数据集,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的4个“V” ”Volume,Variety,Value,Velocity。 2000年,数字存储信息只占全球数据量的25%,另外75%的信息都存储在报纸、胶片、磁带等传统媒介上。到2007年,93%的信息是数字数据,存储在报纸、书籍、图片等媒

19、介上的模拟数据减少到7%。到2013年,世界上存储的数据预计能达到1.2ZB,98%以上是数字数据,非数字数据不到2%。淘宝网站每天有超过数千万笔交易,单日数据产生量超过50TB,存储量40PB。百度公司目前数据总量接近1000PB,存储网页数量接近1万亿页,每天大约要处理60亿次搜索请求,几十PB数据。一个8Mbps(兆比特每秒)的摄像头一小时能产生3.6GB数据,一个城市若安装几十万个交通和安防摄像头,每月产生的数据量将达几十PB。医院也是数据产生集中的地方。现在,一个病人的CT影像数据量达几十GB,而全国每年门诊人数以数十亿计,并且他们的信息需要长时间保存。 华尔街日报将大数据时代、智能

20、化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料,大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富,价值堪比石油。发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。 一个大数据时代已经到来。四、大数据时代2、数据来源结构板块: 综合管理系统数据 行业(业务)管理系统数据 生产经营运营系统数据 网络媒体系统数据 平面媒体系统数据 自然(科学)资源系统数据 史料数字化数据 知识数据 个人数据 软硬件程序系统数据四、大数据时代3、谁拥有大数据?大型实体公司大型电子商务公司大型服务公司大型制造企业大型网络公司大型社

21、交网站政府部门科研机构国家机构保密信息四、大数据时代 4、世界动态: 今天,一个大规模生产、分享和应用数据的时代正在开启,大数据时代已经到来,发达国家已将发展大数据提升到战略层面。 美国政府大数据计划:2012 年3 月,奥巴马政府宣布投资2 亿美元启动“大数据研究和发展计划”,并且定义为“未来的新石油”,希望增强政府收集、分析和萃取海量数据的能力。并创建了D网站,为大数据敞开了大门;这个由世界最强国家政府推动的项目,标志着“大数据”时代的到来!以国家战略应对大数据时代。 英国、印度开展“数据公开”运动。 2012年7月,日本发布“新ICT(信息通讯技术)计划”,重点关注大数据研究和应用; 2

22、013年1月,英国政府宣布将在对地观测、医疗卫生等大数据和节能计算技术方面投资1.89亿英镑; 联合国在2012年发布了大数据政务白皮书,指出大数据对于联合国和各国政府来说是一个历史性的机遇。大数据很有可能成为发达国家在下一轮全球化竞争中的利器。四、大数据时代 5、中国政府行动: 2013年9月30日上午,习近平等中共中央政治局成员视察中关村,并进行集体学习,百度李彦宏、联想柳传志和小米雷军等科技界领军人物分别做了讲解。询问增材制造、大数据、纳米材料、生物芯片、量子通信等技术自主研发应用情况,现场上了一堂生动的“创新课”。国家发改委:2012年12月,将数据分析软件开发和服务列入专项指南;20

23、13年5月16日,国家发改委高技术服务业研发与产业化专项“基础研究大数据服务平台应用示范”项目启动,该项目将以大科学装置和基础研究重大研究计划为牵引,突破基础研究大数据融合管理、高效处理、分析挖掘等关键技术,形成基础研究大数据分析公共支撑软件包和一批重点领域应用软件包,构建基础研究大数据服务平台,实现PB级基础研究大数据汇聚融合、开放共享与高效处理,大幅提升基础研究大数据管理、处理与分析能力,为科研工程技术人员和社会公众提供在线基础研究大数据的集成共享与知识发现服务,探索产业化模式;并在天文、材料领域开展应用示范国家科技部:2013年将大数据列入973基础研究计划。国家工信部:2013.09.

24、23消息:根据会商结果,工信部将优先在南京布局云计算和大数据产业重大示范项目工程,中国IDC圈10月28日报道,工信部通信发展司副司长祝军表示,为提升我国互联网间通信质量,工信部决定增设成都、武汉、西安、沈阳等7个国家级互联网骨干直联点,促中西部数据中心产业发展。 工业和信息化部 发展改革委 国土资源部 电监会 能源局:关于数据中心建设布局的指导意见 (2013年01月11日) 2013年10月11日消息 ,大数据国家战略有望提上议程, 两部委启动示范工程 。十多位院士向高层建议,我国应制定大数据国家战略,并在发展目标、发展原则、关键技术等方面作出顶层设计。与此同时,国家发改委与中科院正在启动

25、“基础研究大数据服务平台应用示范项目”。四、大数据时代6、地方动态:2012年12月,广东省启动了广东省实施大数据战略工作方案,广东省政府近日正式印发广东省信息化发展规划纲要(2013-2020年)北京成立“中关村大数据产业联盟”。2013年7月12日,上海市发布推进大数据研究与发展三年行动计划。2013年7月30日,重庆市人民政府印发了重庆市大数据行动计划。2014年3月,广东:数据管理局机构设立2013年12月、2014年12月:北京中国大数据技术大会2015年5月:贵州贵阳国际大数据产业博览会暨国际峰会 四、大数据时代二)大数据产业 A、新一代信息技术产业: 1、下一代通信网络(NGN)

26、:指一个建立在IP技术基础上的新型公共电信网络,它能够容纳各种形式的信息,在统一的管理平台下,实现音频、视频、数据信号的传输和管理,提供各种宽带应用和传统电信业务,是一个真正实现宽带窄带一体化、有线无线一体化、有源无源一体化、传输接入一体化的综合业务网络。下一代通信网络中光网络的建设,软交换以及3G的建设尤为关键,其中我们最为看好光通信行业。 2、物联网:指一个建立在IP技术基础上的新型公共电信网络,它能够容纳各种形式的信息,在统一的管理平台下,实现音频、视频、数据信号的传输和管理,提供各种宽带应用和传统电信业务,是一个真正实现宽带窄带一体化、有线无线一体化、有源无源一体化、传输接入一体化的综

27、合业务网络。下一代通信网络中光网络的建设,软交换以及3G的建设尤为关键,其中我们最为看好光通信行业。 “物联网概念”是在“互联网概念”的基础上,将其用户端延伸和扩展到任何物品与物品之间,进行信息交换和通信的一种网络概念。其定义是:通过射频识别(RFID)、红外感应器、全球定位系统、激光扫描器等信息传感设备,按约定的协议,把任何物品与互联网相连接,进行信息交换和通信,以实现智能化识别、定位、跟踪、监控和管理的一种网络概念。 3、三网融合:三网融合主要指电信网,移动互联网以及广播电视网的融合,此融合并非三网的物联融合,而是应用上的有机融合。 4、新型平板显示 5、高性能集成电路 6、云计算:是指将

28、计算任务分布在由大规模的数据中心或大量的计算机集群构成的资源池上,使各种应用系统能够根据需要获取计算能力、存储空间和各种软件服务,并通过互联网将计算资源免费或按需租用方式提供给使用者。由于云计算的“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费,这种特性经常被称为像水电一样使用IT基础设施。四、大数据时代B、数据产业(Data industry ;Data Industries) 1、数据产业是指从事数据的收集、处理、传播、存储、流通、服务以及相关软、硬件研发制造业的总称。数据产业是一个经济领域的全新概念,由数据内容业、数据服务业和数据软、硬件研发制

29、造业三大产业构成。 数据产业是网络空间数据资源开发利用所形成的产业,涵盖了数字出版与文化业、电子图书馆、情报业、多媒体产业、数字内容业、数据服务业和信息咨询业、领域数据资源开发服务业(政务、商务、科学、社会、金融、经济、地理等)。数据产业是信息产业的升级,表现为:从“国民经济与社会信息化战略”转向“基于网络空间的现代国家管理发展战略”。数据产业是战略型新兴产业,数据科技是智慧城市、云计算、物联网的核心。 2、数据内容产业主要是指从事数据的收集、处理、传播、存储、流通的产业群体,其产品以信息数据产业为主,涉及到社会的各行各业,如数据采集部门(各类数据中心、情报中心、开发中心、档案馆等);数据处理

30、加工部门(各类数据处理加工企业、科学技术研究机构、银行、保险机构、财政部门、税务机构、计算机中心等);数据传播部门(宣传机构、新闻、出版、广播、电视等);数据服务业指以独特的策略和内容帮助用户解决问题的社会经济行为,包括系统集成、增值网络服务、数据库服务、数据传输服务、数据咨询服务等,它是以数据产品为社会提供服务的专门的行业综合体。数据软、硬件研发制造业是指从事数据技术设备和元器件的研发和制造的行业。其中,数据服务业是数据资源开发利用,实现商品化、市场化、社会化和专业化的关键。 数据产业是IT产业的后续发展产业。IT产业发展到一定程度并进入成熟期,为数据产业发展奠定了软、硬件基础,铺就了高速公

31、路。作为新型服务业,数据产业发展潜力巨大。当前,许多优势企业开始在数据产业抢先布局。四、大数据时代类别 产业部门产业内容 数字内容产业新闻出版业广播、电视、电影、电视剧和音像制作业其他内容产业新闻、图书、报纸、期刊出版、音像、电子及软件出版广播、电视、电影节目制作与发行和音像制作等短信、社会调查、广告制作、测绘等数字内容服务业互联网内容服务业;信息处理业咨询业公共信息内容服务业门户网站、远程教育、搜索引擎服务、网络游戏、即时通讯、电子竞技、网络短信服务等、数据处理业等、社会经济咨询等图书馆、档案馆、博物馆、美术馆、纪念馆、文化馆、文化站数字内容传输服务业电信传输服务业互联网信息传输业其他信息传

32、输服务业固定网络和移动网络卫星传输服务、资信调查业、呼叫中心服务、职业中介服务、专业服务等中国数字内容产业分类体系四、大数据时代C、数据中心 1、运行系统 2、管理系统D、数据产业园 1、 数据产业链联盟 云计算数据中心集群:数据存储服务,形成数据资源洼地 建设大数据服务平台:提供大数据分析等集成共享服务,开展大数据挖掘和分析等增值服务 互联网信息服务提供商统筹资源,面向细分领域开发大数据应用服务 垂直整合与水平整合相结合,与信息内容服务相结合,提供软硬件一体化的大数据解决方案。 2、 应用项目(工程)智慧城市 民生服务领域:食品药品安全、医疗卫生、社会保障、教育文化、旅游休闲、就业等 城市综

33、合管理:构建预警监控体系,整合城市规划、交通、治安、城管、环境、气象等 行业应用领域:电子商务、工业制造、交通物流、商贸零售、金融、电信、能源、传媒等数据量大的行业 大数据外包服务:通过对海量数据进行撷取、管理、处理,深入挖掘其价值,形成丰富的大数据服务解决方 案,面向国内外数据市场,承接大数据外包业务。 3、关键技术攻关:大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)四、大数据时代E、数据产业发展构想:一、定位:资源集聚、技术集成、管理集约、产业集群二、方向:社会化、标准化、产业化、国际化三、内容:四、重点

34、:五、主营业务: 1、数据收集、处理、存储、加工、可视化呈现的社会化服务 2、智慧城市等应用项目的开发和实施 3、数据产业发展的经济技术合作六、市场盈利板块(点)(数据内容部分): 1、单位、行业、系统、区域数据中心建设; 2、TISE960数据集成管理系统软件开发、销售、维护、升级、更新、换代; 3、专业数据资源管理系统软件开发、销售、维护、升级、更新、换代; 4、区域性、行业性档案资讯公共服务网络平台的开发、建设; 5、综合性诚信数据和网络平台一体化的开发、建设; 6、内网查询数据和平台一体化建设; 7、网络平台资源经营:注册、浏览查询取证下载、发展报告、出版出品等 8、培训 9、数据礼物

35、 10、项目申报 11、展示展览七、市场化经营构架设计:战略合作、技术开发合作、商务合作,政资产学研联盟四、大数据时代F、中国数据产业园动态2013年是大数据元年,全球迈入大数据时代,数据产业及数据产业园区来势凶猛,纷纷抢夺战略高地。数据产业富含商机和经济能量,是膨胀系数巨大的朝阳产业。根据IDC的调查报告,全球大数据产业未来3年之内还将出现200%的累计增长,其整体增速约为目前火热的信息通信技术市场的7倍。据中国信息产业发展研究院数据,我国云计算市场规模2013年将达到1100亿元,到2015年,中国云计算产业链规模将达到7500亿元至1万亿元。据预测,到2020年,中国数据产业市场将形成2

36、万亿以上规模。数据产业在全国风生水起。现在有泰州数据产业园区、秦皇岛数据产业园区、上海“智慧岛数据产业园”、 重庆两江新区两江国际云计算产业园、武汉天喻信息产业股份有限公司天喻数据安全产业园、润泽国际信息港、沣西新城大数据产业园、贵阳数字内容产业园、厦门建云计算产业园及天津、洛阳的共11个数据产业园,这些产业园区已相对成熟,入驻了国内外著名的IT企业和数据服务企业。同时以润泽国际信息港、沣西新城大数据产业园为代表的新兴数据产业园也正在如火如荼的建设中,它们通过大数据这种创新方式来解决问题,创建新的产业群,实现了从数字产业到数据产业的跨越,力图成为国民经济的增长的有力推手。 四、大数据时代泰州数

37、据产业园区 100亩 20万平方米 2007年 位于泰州医药高新区东部核心区 / 泰州数据产业园区坚持错位竞争、特色发展思路,以完善平台功能为支撑,加快建设和完善物联网公共技术实验室、云计算技术实验室、IDC(互联网数据中心)、SOC(网络安全运营中心)、SaaS(软件即服务中心)、NTC(全国网络与信息技术培训考试泰州中心)等公共技术服务平台,形成了IDC数据服务、系统集成、嵌入式软件、工业软件和医药外包等五大产业集群的“135”产业组合体系 打造数据备份中心、软件及信息服务外包中心和高端呼叫中心三个特色中心,实现中高层次人才就业规模5000到1万人,产业规模达20到30亿的发展目标 “中国

38、云计算基地(中心)联盟成员”、“全国最具发展潜力园区(软件与信息服务外包)”、“江苏省泰州软件园”、“江苏省小企业创业基地”、“江苏省软件和信息服务产业园”和“泰州市级现代服务业集聚区” 日本理想、江苏泛亚、易联电商、用友软件、金蝶软件、爱信诺航天、迅博科技、江苏泰盈、上海三唐、祥龙科技等一批国内外著名软件与信息服务外包企业 已投入使用的数据大厦一期总建筑面积5.8万平方米,建有IDC机房、数据中心、IT应用系统平台、教培中心、商务中心、会议中心、员工餐厅等功能配套区和4万平方米的写字办公 大楼,大厦二期工程将于近期启动建设。润泽国际信息港 2010亩 262万平方米 将建设成为一个围绕信息数

39、据存储产业的综合性、多能产业园区。园区按照功能划分为信息港机房区、信息产业增值服务区、信息产业创新区、行政服务区、项目研发区和功能配套区等六大区域。逐步打造成国际一流、国内顶尖的数据存储中心,国家机构和企事业单位数据灾备中心,增值信息服务和高新技术应用的孵化、研发、生产基地秦皇岛数据产业园区 8.07平方公里 4.6万 2008年 园区主要分为综合服务区、配套服务区、数据中心及数据采集处理区、滨河创意软件园、配套产业区、商务办公区、配套居住区等七大功能分区。光彩服务、中程在线、时代网盟、量子数据、西达科技等10多个项目经落户园中,另有一批项目正在积极洽谈。特别是惠普、IBM、中科院计算所的加盟

40、上海“智慧岛数据产业园” 108亿元 2.1平方公里+10平方公里 园区规划分成四大区域:分别为孵化企业区、成长企业区、上市企业区、智慧企业总部区等 建成后年产值将达400亿元,吸纳就业人员8万人,实现税收32亿元 智慧岛数据产业园”作为上海“十二五”信息服务业规划发展和智慧城市建设的核心载体之一,重点发展以数据产业为核心的软件和信息服务业四、大数据时代重庆两江新区两江国际云计算产业园 200亿元 10平方公里 2011年4月 作为配套服务的云计算服务中心项目总建设面积37万平方米,包括五星级酒店、会展中心、行政楼、专家楼、商业街、商务办公楼等六大功能区,也将于2013年初投入使用。建成后可容

41、纳服务器规模将达到50万台,是目前中国内陆地区最大的数据中心集聚区之一。目前入园数据中心项目已达5家,其中EC重庆数据产业园、太平洋电信重庆数据中心和中国联通西部业务中心项目已经开工建设,将从明年年初开始陆续投入运行,中国移动西部数据中心和中国电信西部数据中心项目也将于年底前开工建设。 贵阳数字内容产业园 5000万元 30余亩 6万3千平方米 贵阳国家高新技术产业开发区 围绕网络游戏、电脑运用软件开发以及动漫创作三大主题发展电子产业 。可容纳20余家数字产业。“青年影视”、“启明动漫”、“熠动漫”3家数字化产业入驻,预计近期内还将有10余家相关产业陆续入驻。现已有朗玛信息、西渡网络、中星电子

42、、黔城天力,以及一批金融机构、创投基金等20余家机构入驻。 此外,中声传媒、中星电子、浪潮集团、林卡教育集团、贵信产业基金等机构将与贵阳市及高新区有关机构签订20个以上的动漫创意产业项目投资合作协议。武汉天喻数据产业园 武汉天喻信息产业股份有限公司 工程金额:13000.00万 总投资 37560万元 其中:企事业自有资金 23560万元 银行贷款 14000万元 151000.00平米 包括: 四幢三层高的厂房 、四幢四层高的宿舍 、一幢两层的活动中心、一幢18层高的研发楼 地址: 湖北武汉东湖新技术开发区佛祖岭二路以东、光谷三路以西 武汉“光谷”将建国家级大数据产业基地 (2013年11月

43、02日) 厦门云计算产业园 厦门信息集团 正大力建设和发展包括医疗云、交通云、中小企业云等在内的各类云计算平台。将依托软件园三期,建设“云计算产业园”,打造能够辐射两岸的海西“云计算”产业示范区,已完成“医疗云”总体规划和建设方案,同时规划建设城市智慧交通云平台。 “云计算产业园”将划出专门区域,与台湾的知名企业合作建设“离岸数据中心”,专门为台湾企业提供云计算资源服务。 沣西新城大数据产业园 规划占地3方平公里 2011年 目标:“数据沣西、智慧西咸、备份中国、物联世界” 包括基础数据产业区、数据应用研发区和数据叠加拓展区3大板块,预计到2020年实现500亿元产值,成为国家政务资源后台处理

44、与备份中心和国家级大数据处理中心。中国联通、中国电信、中国移动和陕西广电网络,以及一个国家部委国家计生委的灾备中心四、大数据时代三)大数据技术1、大数据采集技术 数据是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数据等方式获得的各种类型的结构化、半结构化(或称之为弱结构化)及非结构化的海量数据,是大数据知识服务模型的根本。重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术;突破高速数据解析、转换与装载等大数据整合技术;设计质量评估模型,开发数据质量技术。大数据采集一般分为大数据智能感知层:主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及

45、软硬件资源接入系统,实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技术。基础支撑层:提供大数据服务平台所需的虚拟服务器,结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。重点攻克分布式虚拟存储技术,大数据获取、存储、组织、分析和决策操作的可视化接口技术,大数据的网络传输与压缩技术,大数据隐私保护技术等。四、大数据时代2、大数据预处理技术 主要完成对已接收数据的辨析、抽取、清洗等操作。 1)抽取:因获取的数据可能具有多种结构和类型,数据抽取过程可以帮助

46、我们将这些复杂的数据转化为单一的或者便于处理的构型,以达到快速分析处理的目的。 2)清洗:对于大数据,并不全是有价值的,有些数据并不是我们所关心的内容,而另一些数据则是完全错误的干扰项,因此要对数据通过过滤“去噪”从而提取出有效数据。3、大数据存储及管理技术 大数据存储与管理要用存储器把采集到的数据存储起来,建立相应的数据库,并进行管理和调用。重点解决复杂结构化、半结构化和非结构化大数据管理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。开发可靠的分布式文件系统(DFS)、能效优化的存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术;突破分布式非

47、关系型大数据管理与处理技术,异构数据的数据融合技术,数据组织技术,研究大数据建模技术;突破大数据索引技术;突破大数据移动、备份、复制等技术;开发大数据可视化技术。开发新型数据库技术,数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。其中,非关系型数据库主要指的是NoSQL数据库,分为:键值数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含了传统关系数据库系统以及NewSQL数据库。开发大数据安全技术。改进数据销毁、透明加解密、分布式访问控制、数据审计等技术;突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。四、大数据时代4、大数据分析及挖掘技术 大

48、数据分析技术。改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。数据挖掘涉及的技术方法很多,有多种分类法。根据挖掘任务可分为分类或预测模型发现、数据总结、聚类、关联规则发现、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等;根据挖掘对象可分为关系数据库、面向对象数据库、空间数据库、时态

49、数据库、文本数据源、多媒体数据库、异质数据库、遗产数据库以及环球网Web;根据挖掘方法分,可粗分为:机器学习方法、统计方法、神经网络方法和数据库方法。机器学习中,可细分为:归纳学习方法(决策树、规则归纳等)、基于范例学习、遗传算法等。统计方法中,可细分为:回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等。神经网络方法中,可细分为:前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等。数据库方法主要是多维数据分析或OLAP方法,另外还有面向属性的归纳方法。从挖掘任务和

50、挖掘方法的角度,着重突破: 1.可视化分析。数据可视化无论对于普通用户或是数据分析专家,都是最基本的功能。数据图像化可以让数据自己说话 让用户直观的感受到结果。2.数据挖掘算法。图像化是将机器语言翻译给人看,而数据挖掘就是机器的母语。分割、集群、孤立点分析还有各种各样五花八门的算法让我们精炼数据,挖掘价值。这些算法一定要能够应付大数据的量,同时还具有很高的处理速度。3.预测性分析。预测性分析可以让分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。4.语义引擎。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。语言处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等

51、。5.数据质量和数据管理。数据质量与管理是管理的最佳实践,透过标准化流程和机器对数据进行处理可以确保获得一个预设质量的分析结果。四、大数据时代5、大数据展现与应用技术 大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来,为人类的社会经济活动提供依据,从而提高各个领域的运行效率,大大提高整个社会经济的集约化程度。在我国,大数据将重点应用于以下三大领域:商业智能、政府决策、公共服务。例如:商业智能技术,政府决策技术,电信数据信息处理与挖掘技术,电网数据信息处理与挖掘技术,气象信息分析技术,环境监测技术,警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统),

52、大规模基因序列分析比对技术,Web信息挖掘技术,多媒体数据并行化处理技术,影视制作渲染技术,其他各种行业的云计算和海量数据处理应用技术等。四、大数据时代四)大数据应用智慧城市1、民生服务领域。多渠道采集食品药品安全、医疗卫生、社会保障、教育文化、旅游休闲、就业等方面的数据,推动数据的整合、共享和开放。积极鼓励企业及科研机构利用民生领域大数据开展研究,优化民生服务的解决方案,开发个性化便民服务应用,提升民生服务质量。基于以人为本的服务理念,建立基于大数据应用架构的市民融合信息服务平台,搭载市民个人网页、便民移动应用等,提供全方位的一站式便民信息服务,推进均等化和人性化的民生服务。四、大数据时代2

53、 、城市综合管理。以城市综合管理为对象,构建科学的预警监控体系,整合城市规划、交通、治安、城管、环境、气象等方面的数据资源,建立可视化和智能化的大数据应用分析模型,通过对海量数据的智能分类、整理和分析,使城市管理者能够更准确地预测可能出现的情况,及时调度资源,从而有效疏导、防范和处理城市管理领域的风险和问题,打造智慧、平安、和谐城市的典范。四、大数据时代3 、行业应用领域。面向电子商务、工业制造、交通物流、商贸零售、金融、电信、能源、传媒等数据量大的行业领域,积极引导具有行业影响力的企业,大力开展数据采集和监测,提供数据挖掘和分析、商业智能及横向扩展存储等软硬件一体化行业应用解决方案。积极支持

54、具有较强存储技术和资源的企业提供数据银行服务,寻找全新商业增长点。四、大数据时代4大数据外包服务。积极引导企业面向国内外数据市场,承接大数据外包业务,通过对海量数据资料进行撷取、管理、处理,深入挖掘其价值,形成丰富的大数据服务解决方案。重点面向离岸数据市场,推动外包产业整体向云外包(Cloud Computing Enabled Service)转型。支持企业建立标准化的统一外包服务处理平台,通过标准化、模块化和流程化将服务集成,加快推进数据管理、数据挖掘等技术性业务流程外包。加快推进商业智能、研发服务等知识流程外包,为客户的产品研发设计、智能控制、决策制定、销售运营等提供专业数据服务支撑。四

55、、大数据时代 (五)大数据时代给档案管理带来的挑战和机遇 传统的档案管理是正在萎缩的夕阳事业,档案工作危机四伏1、根本看法:绝对落后 原始运行:手工作业、纸质载体、柜架存储、开柜查阅; 封闭运行: 馆库尘封、管理封闭、思想封闭、少人问津; 低速运行: 因循守旧、墨守成规、缺乏激情、缺乏创新; 低位运行: 处在国民经济和社会发展价值体系的最末端、最低端。资源分散,游离于党和政府工作大局的边缘,游离于国民经济和社会发展价值体系和运行体系的边缘, 管理松散,利用零散,价值定位低、科技含量低、运行效能低、发展水平低,社会地位低,装备差,人员待遇差 纸质档案的价值密度、人们对档案的依存度越来越低 2、根

56、本原因:还是落后 认识的落后、学术理论的落后、管理运行的落后、科学技术的落后 没有认识档案的全面价值,没有与时俱进用最新科技成果植入档案事业,没有卓有成效地把档案工作的重点转移到以经济建设为中心的轨道上来,没有做出符合党和政府要求、社会、时代、市场需求的核心价值。3、根本矛盾:社会对档案资源利用需求与服务落后的矛盾 大数据时代对传统档案管理的挑战1、档案管理理论面临的挑战2、档案信息资源管理面临的挑战3、档案业务环节面临的挑战大数据时代给档案管理带来的机遇大数据的理论给海量档案信息资源管理带来了机遇大数据的应用给档案数据挖掘带来了机遇大数据的技术给档案信息管理系统可以扩展带来了机遇五、档案、数

57、据、信息三位一体资源建设一) 总体构想: 全面建设三位一体资源体系,实现档案事业发展方式的根本转变 1、根本原则:真实、完整、安全、效能(TISE原则) 2、根本任务:建设现代化档案资源体系 3、根本动力:内生驱动、创新驱动: 理论创新、科技创新、管理创新 4、根本出路:社会化、标准化、信息化、法制化 5、根本职能:档案、数据、信息资源“三位一体”建设、管理、开发、服务 6、根本制度:政府机制依法强制监管和市场机制配置资源 7、根本保障:资源建设和管理的法律体系 8、根本转变:大档案、大数据、大平台、大服务 9、根本方向:档案资讯时代、大数据时代、互联网时代的高度融合档案事业转型发展的关键和核

58、心数据资源 五、管数据档案事业转型的关键二) 总体构架(政府构架):1、政府管理构架:国家数据资源局2、制度保障:中华人民共和国档案和数据资源法及其法律体系3、数据资源建设管理的方向和目标:社会化、标准化、产业化、法制化4、数据资源建设原则:TISE原则、三位一体原则、价值原则、集约原则、政府依法监管和市场自由配置相结合5、数据资源建设管理的主要内容:数据中心、信息中心、网络中心、网监中心、档案馆、图书馆、产业及园区、应用工程、关键技术攻关等以数据资源为核心,构建一个新生的生产力和生产关系五、档案、数据、信息三位一体资源建设三)管好档案 1、 纸质记录越来越稀缺 2、 现在的纸质记录管理十分混

59、乱,多头管理、管理不到位、资源丢失等很严重 3、必须出台办法、整合资源、统一管理 4、要重新研究和出台现代化的纸质载体档案质量标准、环境质量标准、建筑质量标准、分类、处理、移交、接收、永久保存、保护、利用、安全等一系列规范并执行到位。 5、专业档案馆、综合档案馆、企业、单位档案馆(室)要有强烈的意识加大收集力度,减少资源损失。五、档案、数据、信息三位一体资源建设四) 管理数据档案事业转型的关键 1、领导有力 (说服领导、全面动员) 2、管理有方 (谋划、规划、构架、设计、建立秩序) 3、保障有力 (组织机构、人力保障、技术保障、装备保障、制度保障、投入保障) 4、服务有效 (平台、移动终端)

60、大数据时代从小数据做起! 五、档案、数据、信息三位一体资源建设五)宝贵机遇,唯一出路解决认识问题(不想管、不应管、懒得管)解决畏难问题(不敢管、不能管、管不了)六、档案员and数据管理员华丽转型一)说服和改变自己:融入大数据时代 学习大数据知识 应用大数据技术 享用大数据资源 建立自己的数据资源 六、档案员兼数据管理员华丽转型二)主动承担数据管理员职责主动攻击性 进入角色 抢占高地 制造意外 三)制定和执行数据资源管理制度 1、设立机构 2、收集(移交)、处理、存储制度 3、数据利用制度 4、数据安全保障制度 5、数据资源统计报表制度 6、数据管理员职责一)发展战略:内生驱动、创新转型二)行动

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论