大数据时代信息化发展趋势概述

“大数据时代”信息化发展趋势

杨学山

二o一三年五月十日2023/1/13主要内容

大数据的由来和发展

信息技术为大数据开辟了前进道路

大数据是走向信息时代的奠基石

大数据发展的关键环节电子政务发展中的大数据一、大数据的由来和发展大数据是一个自然形成的发展中、阶段性概念

本报告所称大数据是指具有数量巨大、多类型、不同结构化程度、不均衡价值密度、不一致动态特征、不同应用处理特征等特点信息集合。

本报告所称大数据系统是指一个围绕特定目的而形成的数据及其处理系统。并不是每一个大数据系统的信息集合都具有上述全部特征，一种或两种类型，数量巨大，也是大数据。在计算机处理能力不断发展、信息系统处理的信息日益增长，特别是互联网（包括移动互联网）的发展、传感技术的广泛应用，大数据概念应运而生在这里，大数据和信息、信息资源是同义词为什么叫大数据：一是数量大YB:2的80次方，ZB的1000倍ZB:2的70次方，EB的1000倍EB:2的60次方，PB的1000倍PB:2的50次方，TB的1000倍TB:2的40次方，GB的1000倍GB:2的30次方，MB的1000倍绝大部分应用在这两个数量级我们每个人都在制造和使用信息每秒发出290万条短信每天Twitter上发布5000万条微博每天Google处理的数据24PB2012年11月11日第一秒，用户向阿里网购提出1千万请求全球新增网页571个过去3年数据量比以往数万年还多2020年数据产出量将比2009年的44倍还多2006年全球生成、复制的数字化信息量大约16.1万PB，当年的信息产生量约是历史上图书信息总量的3000倍二是类型多结构特征：结构化、半结构化、非结构化拥有特征：私有、共有、公开形态特征：语音、文本、数值、图像、视频为什么叫大数据：二是类型多三是更接近把握信息资源的本质大数据真正开始把信息变成资源有的文章将大数据看作石油，大数据研究与自然资源利用发现、开采、提炼存在一定的相似之处研究大数据，首先要研究各种有用的信息在何处，就是找矿其次是把满足特定需求的信息收集过来，就是开矿第三是把收集的信息按应用需求进行结构化处理，就是提炼，如同石油必须经过炼化才能变成消费用的汽油、柴油或作为原料用的聚乙烯、聚丙烯第四是将这样的信息与具体的应用结合，使之发挥作用，这就是基于大数据的应用系统，或称之为围绕应用的大数据管理系统，如同汽油通过加油站加到消费者的汽车内，石化原料变成衣服、设备或其部件。大数据是一个阶段性的概念大数据是信息和信息资源开发利用这个稳定概念在今天这个特定时期的代表名词。关于大数据所有作用和意义的期待，都包含在1970年哈佛大学关于资源三角形的论述中。这个论述简而言之就是材料、能源、信息是推动社会发展的三种基本资源。美国人相信它40多年了，并为之持续不断地做了大量的工作，也是美国在IT领域，包括信息资源领域，一家独大的一个原因。材料信息能源管理二、信息技术为大数据开辟了前进道路信息技术进展是大数据产生和发展的主要动力传感技术：大数据的主要来源存储技术：不仅数据量大，而且要有信息存储模式传输技术：不仅提供传输能力，还是数据的创造者处理技术：不仅是处理能力，更是处理方法（结构化语义处理）

11信息技术继续续快速发展，，技术体系更趋完善善1、处理、传输输、存储技术术延续高速发发展2、感知、显示示、获取技术术驶入快车道道3、内容处理、、智能系统技技术不断成熟熟4、技术体系不不断完善传输技术：走走向宽带泛在在普及2022/12/31传输输人与人人物与人人物与物物人与物物走向G级从个位位数到到T级P级甚至更更高超高速速泛在新的体体系架架构更加深深入的的融合合：三三网、、固移移，工工作网网、物物联网网、互互联网网当前的的关键键技术术：端端到端端G级、下下一代代互联联网、、新技技术条条件下下的城城域网网和骨骨干网网体系系架构构，……端到端端数百百兆到到吉比比特，，4个以上上数量量级的的汇接接带宽宽，3D及虚拟拟现实实等传传输要要求，，许多多场景景下并并发数数量急急剧增增加处理存存储技技术：：20年内提提升3个数量量级2022/12/31处理/存储集成度度，从从当前前的32/28nm，快步步前进进到14/16nm及以下下低功耗耗、嵌嵌入式式、可可靠性性、小小型、、可移移动高性能能，超超级计计算机机、汇汇聚计计算资资源能能力高性能能，一一些重重要的的应用用，需需要继继续沿沿摩尔尔定律律提升升3个以上上数量量级处理能能力的的集成成，更更加复复杂的的存储储与处处理系系统更加复复杂和和智能能化的的应用用，需需要寻寻找新新的技技术感知获获取技技术：：一组需需求驱驱动快快速发发展的的技术术2022/12/31感知/获取RFID生物/光磁转转换声音/文字转转换遥感技术类类型声纳热、压压、声声构成成、损损伤、、关系系空间、、地球球、生生物、、生命命、社社会等等全方方位、、细粒粒度的的感知知各类感感知远远、细细、清清的要要求机器阅阅读及及其他他语义义信息息的获获取感知什什么显示反反应技技术：：走向向智能能2022/12/31显示/反应生物/光磁转转换声音/文字转转换表情语言3D及多维维控制技技术机器人人文字与感知知、网网络能能力并并行的的反应应、行行动能能力，，在不不同空空间范范围信信息系系统的的物理理行为为无需需人来来执行行虚拟现现实虚虚实结结合的的现实实三维空空间精精确行行为清晰色彩轻便节能适应可靠打印机机、复复印机机、传传真机机、扫扫描仪仪软件和和系统统集成成：承承载信信息社社会运运行控控制2022/12/31软件和和系统统集成成建模技技术、、软件件工程程技术术、自自动编编程技技术、、验证证技术术设备和和技术术的多多样复复杂、、非结结构化化事务务和信信息的的处理理、2的50-100次方级级大数数据的的组织织与利利用、、跨领领域且且物理理世界界相对对松散散的事事务处处理、、设备备（系系统））控制制与事事务处处理的的融合合，复复杂系系统、、不同同类型型对象象的建建模重用、、测试试、可可靠性性、安安全性性、生生产率率、适适应新新模式式使设备备和系系统变变成可可靠的的工作作系统统Saas及新的的业态态，构构建智智能的的系统统应对设设备和和系统统复杂杂化和和多样样化的的进程程信息内内容的的技术术：走走向智智能的的核心心2022/12/31信息息组组织织、、管管理理和和利利用用文字字声声音音的的转转化化、、声声音音处处理理、、图图像像处处理理机器器翻翻译译为为代代表表的的自自然然语语言言处处理理应对对数数量量变变化化，，2的50-100次方方应对对应应用用需需求求的的变变化化应对对音音视视频频信信息息类类型型的的变变化化概念念体体系系为为基基础础、、不不同同粒粒度度、、不不同同场场景景的的大规规模模信信息息组组织织、、管管理理和和利利用用信息息技技术术体体系系架架构构不不断断完完善善，，信信息息、、能能源源、、材材料料技技术术融融合合，，以以智智能能技技术术为为标标志志的的新新一一代代生生产产力力体体系系逐逐渐渐成成形形2022/12/31感知知/获取取处理理/存储储显示示/反应应传输输软件件和和系系统统集集成成信息息组组织织、、管管理理与与利利用用大数据技技术，从内容角角度要重视三三个方面面的来源源一是关于数数据管理理和处理理研究，，包括物物理和语语义两个个领域数数据管理理。数据据结构、、算法和和数据库库相关领领域取得得的进展展最为突突出，如如文件系系统、数数据库、、数据仓仓库、元元数据、、数据模模型、内内存处理理、云存存储的研研究。应应当看到到近十年年来，关关于多维维数据结结构和算算法、机机器视觉觉和摄录录象研究究和技术术，对于于大数据据研究具具有极其其重要的的参考意意义。二是关于数数据利用用及适应应应用需需求的研研究，包包括用户户视图、、联机数数据分析析、数据据挖掘、、检索等等。大数据技技术，内容角度度要重视三三个方面面的来源源三是关于语语义上理理解信息息的研究究，几乎乎可以将将人工智智能研究究的全部部成果作作为大数数据研究究的基础础，因为为从语义义角度理理解信息息是人工工智能的的基础。。从图灵灵测试到到专家系系统，从从五代机机到cyc，从模式式识别到到神经网网络，从从自然语语言识别别和理解解到机器器人，都都是从不不同角度度研究理理解信息息的技术术、方法法理论。IBM的DeepQA，通过针针对广泛泛收集特特定应用用领域的的信息和和知识，，在适度度结构化化、一系系列规则则和算法法的基础础上，具具备这一一领域人人的智能能。其代代表作““沃森””，已经经击败了了美国电电视台““危险””这个具具有之力力竞赛性性质的娱娱乐节目目的冠军军，今天天，又落落户纽约约州的伦伦斯勒里里工学院院，与学学生一起起学习，，英语和和数学。。Google的“谷歌歌大脑””将1.6万个处理理器构成成当前世世界上最最大的人人工脑，，模拟人人类脑神神经系统统，通过过算法从从互联网网中提取取信息识识别猫。三、大数据是走向信信息时代代的奠基基石35亿年前开开始生命形成成生物进进化千万年猴子到人人的进化化约300万年人的的进化约8000年文字形成成约2000年纸和印刷刷术的发发明形成成最近几十十年计算机、、信息网网络、传传感和记记录等技技术的发发明35亿年生命命史，展展示了信息是智智能进化化的主要要因素感知、传传递、反反应意识、思思维、概概念（更高层层次的抽抽象）模仿（抽抽象）、、记忆、、判断、、反应感知、传传递、反反应模仿（抽抽象）、、记忆、、判断、、反应意识、思思维、概概念（更更高层次次的抽象象）文字、记记录感知、记记录、传传输、存存储、处处理数亿年动物的进进化语言、概概念体系系语言、概概念体系系文字、记记录感知、记记录、传传输、存存储、处处理形成了当当今世界界的智能能体系和和水平2022/12/31有效信息总量知识总量和质量使用者总量和质量同一交流平台人数发展环境系数设一个具具有若干干个紧密密联系群群体且有有一定相相互关联联地域，，其信息息与社会会发展关关系函数数为f(d)：令f(d)={∑Y+∑Z+∑S+∑T}xƿ其中Y=有效信息息总量Z=知识总量量和质量量S=使用者总总量和质质量T=同一交流流平台参参与人数数Ƿ=发展环境境系数实际上，，YZST是非独立立的，最最关键的的因子是是T2022/12/31有效信息总量知识总量和质量使用者总量和质量同一交流平台人数发展环境系数以T主线，我我们可以以初步推推论信息息交流平平台和参参与人数数与社会会发展的的关系有效信息总量知识总量和质量使用者总量和质量同一交流平台人数发展环境系数1--10百--千万--十万十万--百万千万--亿-几十亿原始社会会农业社会会工业社会会信息社会会这是发展展速度的的示意图图，不是是规模原始家族经过约300万年：语语言记忆思维维概念等等能力的的形成约8000年文字形成成约2000年纸和印刷刷术的发发明形成成最近几十十年计算机、、信息网网络、传传感和记记录等技技术的发发明示意图时时间尺度度不成比比例信息能力力不仅是是生命、、智能进进化的基基础，也也与产业业发展正正相关2022/12/31对历史纵切面面的分析有两两点主要结论论历史发展进入入一个新的转转型期：从工工业社会走向向信息社会，，在这个历史史发展转型期期，中国存在在超越的可能能这个可能在于于13亿人的素质：：知识、聪明明、勤奋，我我们会有5亿以上的人口口进入经济社社会发展的综综合平台上，，形成强大的的发展动力，，远远超过其其他强国中国的IT梦与中国梦重重合的历史必必然2022/12/31信息战：显示示了将所有战战争要素集中中在一个信息息平台上的力力量从人工细化分分工到自动化化生产线2022/12/31从大规模生产产到个性化生生产主要的变化也也是信息感知知、传输、处处理、利用的的能力增加灵活供应链建模与仿真智能工厂分销配送用户应对消费者需需求及供应商商变化的IT供应链连接产品开发发与设计，再再到制造的工工艺工厂工人用知知识为基础的的技术，优化化生产、降低低成本简化产品移动动的工厂与配配送中心的实实时信息流用户定制产品品，产品使用用全过程跟踪踪以及产品回回收和再制造造全球先进制造造业发展新趋趋势先进制造企业业概念信息资源成为为现代化发展展的基础资源源在这样的企业业中，起引领领作用的是什什么？四、大数据发展的的关键环节：收集、组织、、管理、利用用认识、技术、、法律、制度度、标准主体、商业模模式或运行机机制信息的结构化化大数据管理系系统（一）收集、组织、管理理、利用找矿开矿炼矿用矿找矿：发现需需要的信息资资源定义需要的信信息资源确定的信息资资源在哪里是否已经以信息形形式存在是否需要采集集开矿：收集和和获取用何种方法收收集、获取要用什么样的的方式采集已有的怎么获取：购买、交换、、再收集没有的怎么采集：委托、技术方方案、自采提炼：变成适适用信息相对于信息，提炼的本质质是按应用需求进行行结构化处理按需求语义和物理的的机构化语义相对于应应用的目的物理相当于处理、、存储、传输输的速度和成成本利用：与具体体应用的结合合将结构化的信息与具体的应用结合，使之发发挥作用这就是基于大数数据的应用系系统，或称之之为围绕应用用的大数据管管理系统，如如同汽油通过过加油站加到到消费者的汽汽车内，石化化原料变成衣衣服、设备或或其部件。企业信息示意意人员信息：业务流信息1：客户信息资金信息：注册信息供应链信息：：法人、管理层层、职工，薪薪资、岗位、、业绩……供应链信息：：零部件、原原材料、能源源、供应商……物流信息：研发设计、生生产、库存、、管理、决策策、销售、服服务、统计、、年报……业务流信息2：业务流信息n：承运者、工具具、地点、计计划……注册资本、应应收、应付、、营收、成本本、库存、固固定资产、投投资、利息……机构客户：名名称、法人代代表、货品名名称、供货时时间、联系方方式、信誉等等级……个人客户：姓姓名、货品、、时间、地点点、联系方式式注销信息记录文本信息息状态信息音视频场景因果信息息客户信息客户信息财富信息：与应用，如质质量管理的要要求一致吗？？还要做什么？？个人信息示意意奖惩信息：工作信息1：财富信息：健康信息：出生信息学习信息1：奖励事项、惩惩处事项、违违法记录、失失信记录学习信息2：单位、岗位、、职务、职称称、起止时间间、工资……工作信息2：工作信息n：学校、专业、、科目、成绩绩、入学毕业业时间、活动动……病历、基本健健康信息存款、证卷、、保险、其他他投资、不同同产……死亡信息学习信息n：生活信息：关系信息：家人、亲戚、、朋友、同事事、学术、网网友……吃、睡、行、、休闲，类型型、品种、特特点……记录文本信息息状态信息音视频场景因果信息息与应用，如质质量管理的要要求一致吗？？还要做什么？？质量信息示意意材料1信息：材料、部件检检测信息：生产工艺销售环节信息息：产品质量信息息部件1信息：材料生产、运运输、保管信信息，略部件2信息：生产过程信息息……产品检测信息息：部件生产、运运输、保管信信息，略运输、保管、、销售、服务务见下图部件n信息：执行标准、检检测方法、将将侧工具、检检测结果……记录文本信息息状态信息音视频材料2信息：材料n信息：执行标准、检检测方法、检检测工具、检检测结果、生产过程信息息执行标准生产装备生产班次责任人生产过程检测包装可溯源的完整整信息流与应用，如质质量管理的要要求一致吗？？还要做什么？？（二）认识、技技术、法律、制度度、标准认识:走向透明的社社会、智能的的社会、被数数据包围的环环境，认识准准备好了吗？？经济社会发展展模式管理：政府与与企业科技、教育和和文化人的发展与生生存生活方式认识、技术、法律、制度度、标准技术：下面专门分析析传感处理存储数据管理数据分析认识、技术、法律、制度度、标准法律：收集利用管理权利义务认识、技术、法律、制度度、标准制度：相对于法律的的关于信息资资源的制度国家层面：如如资产、责任任、利用、安安全机构层面：如如资产、责任任、使用、安安全认识、技术、法律、制度度、标准标准：范围，国家、、行业、机构构类型，收集、、存储、处理理、管理、利利用；文本、、数值、图像像、音频、视视频目的，保密、、安全、连接接、共享（三）信息的结构化信息的结构化是大大数据技术的核心、关键和难点大数据结构化是是一个不断发发展的渐进过程追求结构化是数据据管理的基本本动力和目的的。获取、处理、、存储、传输输、利用的效效率，特别是是利用的有效效性基于信息息的机构化程程度。数值及事务处理等等计算机信息息系统早期对对象结构化已已经成熟，成成为大数据结结构化的基础础。其他相关关类型的信息息：文本、音音视频、图形形图像等也在在数据库或数数据管理发展展实践中得到到不同程度的的关注，产生生了一些技术术方法，大数据正是在这样的基础础上发展。结构化的两个个维度：内在在逻辑完备度度和应用完备备内在逻辑的完备度度与应用需求求的完备度之之间的约束。。这类约束超超越了一个具具体系统的范范畴。人类科科学和文明进进步的主要客客观存在物是是概念体系，，概念体系的的主要载体又又是文本。即即使是严格定定义的科学著著作，也没有有将其内在语语义结构表示示作为要求，，科学越发展展，积累的文文献越多，文文本信息结构构化的难度越越大、任务越越重。学术界界及不少国家家已经认识到到这个问题对对科学研究和和提升创新能能力的重要性性，并着手部部署相应的研研究计划和工工程，著名的的有美国和英英国科学基础础设施计划。（四）大数据管理系统关键流程分析析基本功能要求求体系架构分析析比较与重点大数据管理系系统一般架构构示意图第一层前置处处理体系：通通信、场景、、任务分配、、安全等第二层信息结结构化处理体体系：场景分类、单单元划分规则则、算法、单单元地址和语语义命名规则则、单元为基基础的记录数数据库及其管管理系统、地地址函数库、、语义特征函函数库、物理理标识库和语语义标识库及及其管理系统统第三层信息存存储体系：实体库、规则则库、函数库库、标识库、、算法库、索索引库的存储储结构，中间间库、原始库库、工作库第四层信息处处理体系：信息获取处理理、信息组织织处理、内部部处理（包括括学习、反馈馈、整理等等等）、应用处处理第五层软硬硬件资源：：网络、软件件、计算机机等体系架构分分析目前已经商商用的大数数据管理系系统或工具具，还没有有全面应对对大数据系系统的需要要，这正是是我们的机机遇所在（五）大数数据演进方方向机构事务服务研究是指一个机机构（包括括企业）为为自身发展展目的而构构建大数据据系统，并并不断推向向完善这样的大数数据系统基于机构，服务务于机构。基于机构的大数据系统数量上构成成全社会拥拥有量的主主体这样的大数数据系统演进，特点点是目的明明确、类型型多样、利利用已有技技术和方法法为主要路路径大数据系统统演进的领领域：机构构是指基于一类事务或一类重要要信息类型型而收集信信息、组织织信息、提提供服务。人口、企业业、空间信信息、交通通、水务等等都是基于于事务的大大数据系统统与基于机构构的大数据系统显显著不同就就是追求一一类事务或或一类信息息的完备度度，并具有有跨机构性性质。事务大数据据系统演进进的主要特特点是对该该类信息的的逻辑分析析在技术上上要求居于于领先水平平大数据系统统演进的领领域：事务务是指提供基基于互联网网服务的大数据系系统。显著特征是赢利为目的的，演进以商商业模式要要求为前提提要区分同一企企业服务型型和研究型型的大数据据系统及相相关研究工工作，大型型互联网和和信息技术术企业服务务企业都可可能存在这这两种类型型要区分一个企企业商业化化产品、公公布的研究究成果与其其前沿研究究的差别除了数据结结构、算法法，也就是是本报告所所称语义特特征函数的的基础理论论和方法研研究，以科科学研究为为基础的信信息结构化化外，该领领域大数据据系统的研研究和服务务均处于领领先水平大数据系统统演进的领领域：服务务是指主要目目的是科学学研究，研研究结果为为大数据系系统所用。。三种主要类型：一是特定类型型科学研究究，如基因因、地震波波、声纹等二是人工智能能及部分应用用系统的研究，如““DeepQA”,“谷歌大脑脑”，感知知识别、自自然语言理理解、机器器人等领域，声纹库、指纹库库、交通监监视视频、、安全监视视视频，相相片集、计计算机辅助助设计集、、自然事件件观察集等等等。三是数学、、计算机科科学的基础础研究。主要贡献在在数据结构构和算法大数据系统统演进的领领域：研究究大数据系统统演进的技技术方法研究如何提提升逻辑能能力和处理理能力研究大数据据特有的演演进模式，，如何在网络环境下的互互动参与平平台，开放放与管理的的原则与方方法。交互式为主，适度采用计算或或推理是信信息结构化化的主要模模式通过内部学学习和调整整处理，使使系统具备自我演进的功能能。大数据系统统演进的技技术方法建立大数据管理理系统最重要的技技术方法问题是信息结构构如何形成成。关系数据库库中实体和关关系的确立立，即单元元的切分和和标识的形形成是人为为的。但面面对类型多多样、来源源不一、数数量庞大的的信息，如如何切分单单元，如何何给予成熟熟的、可处处理、可利利用的语义义标识，人人们会首先先倾向于通通过算法或或推理，实实际上这是是行不通的的。五、电子政务发发展中的大大数据以质检部分事事务系统为为例信息化应用用已经延伸伸到质检各各个领域，，在检验检检疫、质量量技术监督督认证认可可、标准、、政府网站站、局行政政管理等工工作中发挥挥重要作用用，信息安安全保障能能力逐步提提升，大数数据对进一一步提升质质检系统信信息化水平平具有十分分重要的作作用，要在在质检总局局电子政务务发展全局局中推进。。利用信息技技术完善食食品、农产品安全追溯体系推广RFID、二维码、、条形码等等技术应用用，在供港港澳牛奶、、猪肉、蔬蔬菜等食品品率先建设设食品安全全追溯体系系，实现食食品、进出出口农产品品安全监管管“一键键溯源”。。提供包括括食品追溯溯相关记录录信息查询询、统计、、分析等功功能。建立立进出口食食品质量安安全数据库库和服务平平台，食品品问题预警警和事后快快速处理提提供支持。。推广商品品条码标识识在食品安安全追溯中中的应用，，制定标准准，实现食食品安全监监管从粗放放模糊型向向集约精确确型转变。。信息收集更好利用结构化，质质量需要进一步步完善的工工作：信息息是否满足足溯源需求求、信息来来源及质量量如何保证证、信息如如何支持预预警和事件件处置利用信息技技术加强质质量诚信体体系进一步完善善质量信用用信息管理理制度，规规范信息的的记录、归归集、处理理、使用、、公开等工工作。以组组织机构代代码为基础础，有效整整合质检系系统内部质质量信用信信息资源，，建立质量量信用信息息数据库。。搭建质量量信用信息息交换和服服务平台，，实现质量量信用分类类管理，满满足各级质质监和检验验检疫部门门。信息收集更好利用结构化，质质量需要进一步步完善的工工作：信息息是否满足足质量管理理需求、信信息管理是是否满足业业务工作需需求、成本本效率质量量分析利用信息技技术提升出出入境检验验检疫业务务监管水平平实现全面实实时掌握全全国出入境境检验检疫疫业务情况况，加快监监管指令的的下达速度度，提高科科学决策