2019大数据标准化白皮书

研究背 研究目标及意 编撰单 大数据的基本概念和内 大数据的特 大数据的重要作 国外大数据发 政府出台计 工业界大数据研 国内大数据现 国内大数据关注焦 地方政府和组织探索大数据应 国内大数据应用实 大数据发展现状分 大数据技术参考模 大数据核心技 数据准备技 数据存储技 数据平台技 数据处理技 大数据安全与隐 ISO/IECJTC1SC32大数据标准化工作情 ISO/IECJTC1SG2大数据标准化工作情 ITU大数据标准化工作情 NIST标准化工作情 国内标准化工作情 大数据标准体系框 大数据标准体系 近期急需研制标 加强大数据相关政策法规研 加强大数据核心技术研 推动开放数据集建 鼓励利用大数据开展服务，创新大数据应用模 系统开展大数据标准化工 大数据1（BigData）是一场革命，将改变我们的生活、工作和思维方式。2846（100IT并整理成为帮助企业经营决策更积极目的的资讯4。数据规模超出传统数据库软决策、组织、业务等行为日益基于数据和客观分析做出。1)。12003的数据量总和。“大”是相对而言的概念，对于搜索引擎，EB4户的数据价值上千亿美元。据资料报道，20126022IT少有效地分析工具、方法和产品。大数据环境下，ICT334IT。BIDW4（NSF（NIH（DOD（DOE）、地质勘探局（USGS）等六个联邦部门和机构承诺，将投入22500协作工具，催化在地理系统科学的创新思维123000URL。合作下的数据开放是目前的潮流，也是大数据应用的前提。2011201112DODI(TheOpenDataInstitute)。而“大数据”是其重要内容。2013411507281GoogleGoogle才使得大数据有用武之地。Google公司从横向进行扩展，通过采用廉价的计算索功能。Google公司大数据处理的几大关键技术为：GoogleGFS、MapReduce、BigtableBigQuery。Google的技术方案为其他公司提供了一个HAVEn平台提供了大量的应用开发接口（API），HAVEn与合Hadoop（HDFS）、Autonomy、Vertica、EnterpriseSecuritynApp（行业解决方案）。可以看出，HAVEn体而言，HAVEnHAVEn1935TeradataAsterTeradataAsterMapReduceHadoopIBM20115IBMInfoSphereInfoSphere数据分析平台包括BigInsightsStreams，二者互补，Biglnsights对大规数据处理能力。StreamsInfoSphere大数据BigInsightsHadoop，增加了文本分析、统计决策工具，同时在可靠性、HadoopHDFSBigInsightsIBM最新推出的GPFSSNC平台，以更好地利用其强大的灾难恢复、高可靠性、高扩展性的优势。企业级产品更重要的是没有单点故障，GPFS分布式系统更可靠。HadoopBigInsights务”以及“公共服务”位列前三。（5）5域。（6）629400APP（应用程序），APP上海目前正在加强对大数据领域的深化研究。201320145APPAPPAPP。5此基础上，上海市经信委通过印发《20141133广东省是国内率先关注并推动大数据的地方之一。20135省信息化发展规划纲要（2013-2020）》，在智慧广东建设任务中，该纲要明2015增值”为方向，大力发展数据存储、呼叫中心、IDC第一阶段(2013—20152015100第二阶段(2016—2017第三阶段(2018—2020202050057201331·北京大数据产业发展推介会在北京举行，大数据天，中关村贵阳科技园清镇园招商引资推介会在京举行，16成功签约。201398201462014711·大数据国际年会论坛举行,论坛围绕“大数201650501020121213201332816201366联合建立数据库系统，高德提供地理位置、交通信息、兴趣点信息（pointofinterest,POI）以及用户数据等，阿里巴巴则分享其电商平台如淘宝、天猫上3GoogleNISTITOWL(WebOntologyLanguage)OWLS(OWLforWebService)等极大增GFS（GoogleFileSystem）、HDFS（Hadoop）等。BI（商业智能）计算。在数据仓库中，经常使非关系型数据库技术（NoSql）相比传统关系型数据库，NoSQL并具有较低成本。NoSQL面向服务的体系结构MapReduce当处理一个大数据集查询时，MapReduceMapReduceHDFS（HadoopDistributedFileSystem）的重要内容就是对于分布式计算，每个服务器都具HadoopHFDSHFDS的一个节点之中。HDFSHadoopMapReduceHadoop点重新分布处理；Hadoop快处理速度；HadoopPB级数据。bpquinlanid3妙的概要数据结构(Synopsisdatastructure)，内存容量是限制流处理模型的TwitterStorm、YahooS4大数据安全问题。2012CSAISO/IEC、ITUISO/IECJTC1SC32ISO/IECJTC1SC32为密切的标准化组织。SC32等标准。SC324WG1：ITWG2：WG3：WG4：SQLSQLSC32（SGNextGenerationAnalyticsandBigData）、云计算元数据研究组（SGMetadataforCloudSQLJSON为国内外大数据领域的专家学者和产业管理部门人员、ITJTC1/SC32ISO/IECJTC1SG2ISO/IECJTC12013112014ISO/IECJTC1SG2（ISO）、国际电工委员会（IEC）1（ISO/IECJTC1）等在大数据领ISO/IECJTC12014ISO/IECJTC120143182120145131620149ITUITU201311ITU-TNISTJTC1/SC32NISTNBD-PWG5JTC1SC32WG4。非机构化数据管理标准工作组联合产、学、研、用等力量，致术要求》等国家标准研制SOA分技术委员会（以下简称“SOA分委会”）负责面向服务的体系结构（SOA）、Web服务和中间件的专业标准化的技术归口工作，并协助108SOA智慧城市领域的标准化工作。201375日，SOA分委会全会上决定在基础5全国信息技术标准化技术委员会简称全国信标委（TC96全国信息安全标准化技术委员会简称全国信安标委（TC