以数据开放为引擎-促进数据再利用

以数据开放为引擎，促进数据再利用数据开放的背景根据中国互联网中心的报告显示到2020年，全球的数据量将达到35ZB，其中我国的数据量预测将达到8.5ZB，大数据时代已经来临。大数据已经渗透到各个行业和领域，对大数据的运用预示着新一波的生存率的增长。政府数据约占社会数据的80%，面对大数据的挑战，政府对政府数据的管理和规划已经提升到国家战略的层面。我国是数据大国，但是公共数据资源开放明显落后于世界主要国家，促进数据开放，是政府下一步工作的重点。从全球范围来看，政府公共数据资源需要把握住数据开放的目标、数据开放的内容、数据开放的策略、数据管理机制、数据开放的落地实施五个着力点，借鉴其它国家的经验，制定具有我国特色的数据开放策略。01数据资源开放目标02数据资源开放内容03数据资源开放策略04政务大数据产业生态05政务大数据应用场景目录美国数据开放的时间进程2009.12009.5美国总统奥巴马发布《透明和开放政府备忘录》美国开设

网站，开放了47个政府数据集2009.12美国联邦政府各部门和机构陆续发布《开放政府计划》2010美国总统奥巴马发布《透明和开放政府备忘录》2011.9美国发布了《美国开放政府国家行动计划》联邦政府各部门和机构陆续发布第二个《开放政府计划》，并对第一个计划执行情况进行评估管理与预算办公室发布了《开放数据政策：将信息作为资产管理》的备忘录奥巴马政府发布“大数据研究和发展计划”美国发布了《美国政府自我评估报告》，对执行本国的开放行动计划进行评估美国奥巴马总统发布了具有历史意义的《开放数据并让机器可读》行政令2012.320122013.32013.5首席绩效官和总统管理委员会制定了《开放数据跨部门优先目标》2013.7

英国数据开放的时间进程2010.1建立网站.uk,截止到2013年10月，统计1.03万数据集成立开放数据研究所（ODI）2012专门设立了公共数据管理办公室（OpenDataManagementGroup），全面协调、监察政府各部门公共数据的公开。英国发布《数据公开白皮书》（《OpenDataWhitePaper》）2012.52012.7英国政府发布新的政府数字化战略2012.11G8峰会后第一个提出国家行动计划《八国集团开放数据宪章2013年英国行动计划》2013.11新加坡数据开放的时间进程2011.6新加坡公共数据统一门户网站.sg上线公布了《个人资料保护法》(PDPA)2012美国数据开放的相关政策及法律法规数据开放与共享政策颁布时间核心内容开放政府指令2009.12.8各政府机构要在线发布政府信息，提升政府信息的质量，营造一种开放政府文化并使其制度化，相关机构为开放政府制定可行的政策框架13526号总统令2009.12.29要求政府机构减少为政府信息的过度定级，并要定期进行信息解密。促使政府信息的定密和解密程序上具有更大开放性和透明度13556号总统令2010.11.4为敏感但非涉密信息创建开放、标准的系统，减少对公众的过度隐瞒实现政府信息开放和机器可读取总统行政命令2013.5.9要求政府数据的默认状态应该是开放的和计算机可读的，增强数据的可获取和可用性全球变化研究数据管理政策1991.6首次明确提出将“安全与开放”的数据共享政策作为国家科学数据共享的基本国策，为科学研究建立强有力的数据保障美国信息共享与安全保障国家战略2012国家安全依赖于正确的时间将正确的信息分享给正确的人。战略旨在确保信息可以负责、无缝、安全的环境中共享10美国数据开放的政策及法律法规部分相关的政策工具颁布时间核心内容《信息自由法》1966年规定美国联邦政府各机构公开政府信息的法律。行政信息公开为原则，不公开为例外，一切人都享有获得行政信息的权利《隐私权法》1974年，是对《信息自由法》的一个补充。解决政府信息公开与保护私人秘密两种制度的矛盾问题。《阳光下的政府法》1977年规定合议制机关的会议必须公开，公众可以旁听会议，获得会议的信息《电子信息自由法》1996作为信息公开的对象包括电子记录，规定了有效的公开措施等《联邦信息安全管理法》(FISMA)

《信息质量法》

《美国管理和预算办公室备忘录M-03-22》(2002年电子政务法的实施指南)2002年要求政府机构执行多项与隐私相关的措施，包括隐私影响评估。《美国管理和预算办公室备忘录M-04-04》(联邦政府机构电子认证指南)

要求政府机构对提供的所有在线应用进行标准化的风险评估；英国数据开放政策及法律法规部分相关的政策工具颁布时间核心内容开放数据白皮书2012.6政府各部门应增强公共数据可存取性，促进更智慧的数据利用。各政府部门均需制定更为详细的两年期数据开放策略开放政府联盟：英国国家行动计划（2013-2015）2013.10.30承诺将制定政府拥有的所有数据集列表；发布地方政府数据透明性法案，要求地方政府开放关键信息和数据；到2015年使英国成为开放政府联盟中透明度最高的国家新加坡数据开放政策及法律法规部分相关的政策工具颁布时间核心内容《个人资料保护法》(PDPA)2012年《个人资料保护法》作为一项较为宽松的立法，旨在防范对国内数据以及源于境外的个人资料的滥用行为。其他数据开放政策及法律法规名称颁布时间核心内容《G8开放数据宪章》2013年6月

G8开放数据宪章明确了5大原则、14个重点开放领域和三项共同行动计划。原则之一：使开放数据成为规则。原则之二：注重数据质量和数量；原则之三：让所有人都可以使用；原则之四：为了改善治理发布数据；原则之五：为激励创新发布数据；共同行动之一：G8国家的行动计划；共同行动之二：发布高价值的数据；共同行动之三：元数据的映射其他数据开放政策及法律法规序号主题（数据分类）数据集实例（高价值数据集）1公司公司/企业登记2犯罪与司法犯罪统计、安全3地球观测气象/天气、农业、林业、渔业和狩猎4教育学校名单、学校表现、数字技能5能源与环境污染程度、能源消耗6财政与合同交易费用、合约、招标、地方预算、国家预算（计划和支出）G8数据开放宪章中要求的14个重点开放领域其他数据开放政策及法律法规序号主题（数据分类）数据集实例（高价值数据集）7地理空间地形、邮政编码、国家地图、本地地图8全球发展援助、粮食安全、采掘业、土地9政府问责与民主政府联络点、选举结果、法律法规、薪金（薪级）、招待/礼品10健康处方数据、效果数据11科学与研究基因组数据、研究和教育活动、实验结果12统计国家统计、人口普查、基础设施、财产、从业人员13社会流动性与福利住房、医疗保险和失业救济14交通运输与基础设施公共交通时间表、宽带接入点及普及率16公共数据资源开放目标政府环境经济民生公共数据资源开放提升政府服务质量，提升政府内部工作效率。政府改善社会安全、教育等民生问题民生发展大数据新生产业，促进新型经济发展经济促进城市环境改善，促进能源合理利用环境可被量化、分析和再使用的信息通常是测量获得的可用图形图像可视化模拟数据和数字数据是最底层的抽象？知识信息数据数据开放的意义数据开放的目的信息层数据层政府数据发布政府信息开放政府信息资源再利用政府数据开放知情权利用数据资源开放对象社会公众政府部门促进大数据产业发展促进政府数据的再利用促进政府数据的创新性利用促进政府更加透明提高政府工作效能促进公民参与公共事务10%获益65%公众参与了解25%政府内数据利用

政府机构数据开放有助于打破政府各部门之间的边界，提高政府工作效能，促进政府部门内部的改善治理。除了提高政府运行效率外，开放数据平台还蕴含着巨大的商业价值，政府数据开放为大数据产业的发展创造良好的环境，促进产生新的商业和工作机会。数据资源开放目标政府美国09年提出“开放政府计划”，设立政府数据开放门户网站，将政府和主要州、城市等持有的公共数据对外公开。据统计，数据资源增值性应用每年可为美国的医疗服务业节省3000亿美元，为制造业在产品开发、组装等环节节省50%的成本。下图是美国某公司利用政府数据开放开发的犯罪地图应用，市民可以根据地图做好防御措施，提升城市安全性。公共数据资源开放内容政府Step1公共服务事业单位数据优先开放Step2政府部门数据部分开放Step3根据数据开放效果评价，逐步放开政府数据开放，直到全面开放。数据开放的主体除了政府部门，也包括公共服务企事业单位的数据开放。为保证数据的安全性，防止数据的泄露造成国家安全的威胁，先期在一些领域试点开放，要求下属主管事业单位数据优先开放，再推送政府部分数据的开放，根据事业单位和政府部分数据开放的经验，逐步放开政府数据，直到政府可开放数据全面开放。数据资源开放内容3司法类：犯罪统计、安全数据企业类：企业/公司注册信息教育类：学校列表、学校绩效、学校数字化能力能源环境类：污染水平、能源消费统计类：全国性统计数据、人口普查数据、基础设施、资源、技能政府部门部分数据开放1医疗卫生类：床位、绩效、病例分布能源类：供水、供电、燃气、供暖地理空间：地形、邮政编码、国家地图、地方地图交通类：高速影像数据公共服务事业单位数据开放

数据反馈、数据授理2设置用户在网站上对政府数据的申请，建议开放的数据。根据开放数据的数量、用户评价、数据利用率、网站数据安全性等因素，建立完善的数据开放评估体系。政府数据评价机制4建立政府内部开放数据评价机制，根据数据开放数据的数量、评价、下载量、利用率等多个方面进行政府内部数据开放评价。将数据开放的评估作为政府部门在绩效、资金申请等方面的重要指标。5政府数据全面开放金融合约类：合约预算、招标信息、未来的招投标、地方预算、国家预算（计划和开支）税务类：纳税政府责任民生类：政府合约、选举结果、立法和法令、工资、招待/礼品数据资源开放内容政府

数据开放是循序渐进的过程，需要不断地探索响应用户需求，各方渠道集思广益，逐步扩大数据开放范围，提升公众数据开放满意度，完善数据开放立法制度，最终形成数据开放完善的开放机制。医疗能源交通地理企业合约金融税务民生司法教育统计美国数据开放内容14大主题1.农业2.商业3.气候4.消费5.生态系统6.教育7.能源8.金融9.健康10.地方政府11.制造业12.海洋13.公共安全14.科学研究数据集ABCDEFGHIJKLMNa

b

c美国数据开放内容14大主题1.农业2.商业3.气候4.消费5.生态系统6.教育7.能源8.金融9.健康10.地方政府11.制造业12.海洋13.公共安全14.科学研究数据集BC美国社区调查EFGHIJK国际北冰洋海底地形图MN北极地图网格测深数据国际北极的海底地形图……A美国数据开放内容美国数据开放内容主题数据集数量对比分析图美国数据开放内容主题数据集发布格式对比分析图美国数据开放内容主题/相关组织类型分析图美国数据开放内容参与数据开放相关组织（根据组织了解数据开放内容及情况）联邦政府国家大学州政府市政府县政府公益机构合作社/联合组织商业研究其他9729814413835073772649566197541028美国数据开放内容参与数据开放相关组织（根据组织了解数据开放内容及情况）商务部，国家海洋和大气管理局（37807）内政部，美国鱼类和野生动物服务（22616）国家航空和航天局（16631）NSGICGISInventory(akaRamona)（14413）新墨西哥大学，地球数据分析中心（5535）内政部，美国地质调查局（4403）交通运输部（3446）美国环境保护署（2301）康奈尔大学（1759）内政部，国家公园服务（1407）能源部（1063）纽约市（1059）退伍军人事务部（953）亚利桑那州地质调查（950）社会安全局（902）司法部（792）加利福尼亚州（586）加利福尼亚资源部（583）俄勒冈州（581）伊利诺斯州（543）农业部（518）爱达荷大学（495）夏威夷州（420）奥克拉荷马州（432）纽约州（401）商务部（393）商务部，美国人口普查局（375）芝加哥市（389）国防部（374）三藩市（368）阿拉斯加州（369）劳工部（360）阿肯色州（359）国土安全部（310）马里兰州（344）教育部（276）路易斯安那地理信息中心（274）伊利诺伊州库克县（271）洛杉矶市（256）密苏里州（243）西雅图市（240）美国财政部（273）康涅狄格州（237）佛蒙特州地理信息中心（231）明尼苏达州（229）华盛顿，国王县（221）美国国际开发署（209）华盛顿州（202）住房和城市发展部（199）北达科他州（196）美国数据开放数据集数据集案例农业数据集描述数据项元数据更新时间主要涉及农业生产，食品安全，农村发展，营养，天然资源，区域粮食等方面内容。有助于农业投资，创新和政策策略。相邻水流域农业分布百分比包括两个表数据，即关于区域二十碳五烯酸的环境决策工具包原数据；中大西洋原数据（ReVa项目）元数据。且包括了当前和未来的数据。包括水坝高度、科技资源配置情况、各种化学成分情况（羥苯）、昆虫情况（舞毒娥）、除草剂、杀虫剂、杀真菌剂等48项提供部门美国环境保护署2015.5.06农业快速统计数据库国家农业统计服务（NASS）在线自助工具，包括美国的农场和牧场生产的所有商品数据，以及费用的详细信息，收入，和运营商的特点。年份，时期，地理范围（国家、农业区等）、品种、物品说明(产品用途等)、种植面积、价格等农业部2015.5.06详细内容

A

B详细内容

A

B1328美国数据开放数据集1328美国数据开放数据集美国数据开放数据集数据集案例海洋数据集描述数据项元数据更新时间海洋，海岸和大湖有关的数据，信息，和决策工具。如推动国家海洋局支持区域海洋计划。国际北冰洋海底地形图，版本1所有可用的64度北测深数据，为地图切割者，研究人员，以及其他因工作需要人员提供详细且精确的深度知识和北极海底形状。包括19个子数据集，IBCAO轮廓数据文件、北极地图、网格测深数据、国际北极的海底地形图、沿海救济综合模型、ArcGIS地图服务、数字高程模型：彩色晕渲、DEM彩色晕渲图像服务提供部门商务部，国家海洋和大气管理局2015.5.21美国商品和服务国际贸易详细内容

A

B

C提供国家贸易数据包括进口，出口，与商品和服务。可进行经济，金融，贸易政策分析，国内和海外的市场分析，如行业、产品、业务规划等。网络连接至对外贸易网站，包括历史总体情况、具体项情况（如酸碱）,1960年至2015年贸易平衡、进口、出口统计数据农业部2015.5.06详细内容

A美国数据开放数据集数据集案例科学研究数据集描述数据项元数据更新时间公共科学研究数据。联邦政府给企业家和创新者的研发设施促进有专业能力的使用，公开现在设备使用情况。439条数据；代理、中心、中心搜索状态、设施占用状态、url链接、记录日期、最后更新、地址、国家、城市、国家邮政、邮件、联系人、电话提供部门国家航空和宇宙航行局2015.3.15增加机器人科学应用项目/view/12375跳转至“科技港”网站，论证基于机器人的科学调查和资源勘探，开发和展示科学仪器的硬件模块，发展，展示并获得机器人科学经营理念经验等。包括项目的描述，相关技术，预期效益、项目所在区域等内政部,美国地质调查局2015.5.715美国数据开放数据集数据集案例美国社区调查（消费、金融、教育、能源、制造业）-美国人口普查局、商务部-年龄和性别、祖先、出生、孩子们、通勤(工作之旅)、计算机和互联网的使用、国会、分摊、死亡、残疾、残疾人就业、受教育程度、平等就业机会(EEO)、家庭和生活安排、生育能力、在国外出生的、家谱、地理流动/移民、医疗保险、拉美裔血统、住房、移民收入、行业和职业、国际数据库、国际移民、国际统计、数据劳动力统计、数据语言的使用、结婚和离婚、城市和居住区统计区域、迁移、人口估计、人口预测、贫困、比赛、同性伴侣、学区、入学率、小面积的健康保险的估计、小面积估计收入和贫困、退伍军人、投票和注册、财富和资产所有权、幸福（以上所有的数据项其实都是一个单独的统计表格）2001至今犯罪记录（能源、消费）-芝加哥州-

ID、事件编号、区域、犯罪类型、犯罪描述、位置描述、逮捕、地区、区、社区区域、联邦调查局的代码、X坐标、Y坐标、日期、更新、维度、经度癌症统计数据（能源、消费）-美国监控与人类服务-可根据国家、时间、年龄段、种族进行筛选，显示口腔和咽喉、消化系统、呼吸系统、骨骼和关节、软组织、皮肤、女性生殖、男性生殖、泌尿系统、眼睛、大脑、内分泌系统、淋巴瘤、骨髓、白血病、间皮瘤、卡波西肉瘤、乳癌的发病率和死亡率美国数据开放数据集数据集案例消费效率统计数据（能源、消费）-美国人口普查局、商务部-

调查者标示符、人口普查区域、人口普查部门、可报告的国家和组织的状态、住宅单位的类型、样品重量、建设气候地区、住房单位普查统计区或居住区统计区、住房单元划分为城市或农村人口普查、住房单位拥有、租赁、附加车库、附加车库大小、附加车库的位置、独立车库、、独立车库的大小、出口在20英尺的停车位、炉灶(一个设备与炉灶面和烤箱)、常用炉使用的燃料、单独的炉灶数量、烤箱数量、烤箱所使用的燃料、烤箱的使用频率、自洁式炉、连续的常用炉或手动清洗周期、微波炉、微波炉的使用、微波用于除霜、户外烧烤、户外烧烤的燃料使用、使用内置的室内烧烤、内置室内烧烤的燃料使用、烤面包机、热饭频率、常用烹饪燃料、咖啡机使用、冰箱数量、常用冰箱、冰箱除霜的常用类型、节能冰箱、常用冰箱被这个家庭在过去4年的使用、第二常用的冰箱、第二常用的冰箱的大小、洗碗机、洗碗机使用频率、洗衣机、衣服洗衣机使用频率、洗衣机水温、洗衣机的年龄、洗衣机在过去4年的使用、干衣机在国内使用、干衣机使用的燃料、干衣机使用频率、干衣机的时代、电视机数量、常用电视的大小、常用电视的类型、数字机顶盒、视频游戏控制台、、组合录像机、录像机、DVD播放器、家庭影院系统、工作日常用电视、周末电视使用、第二个常用电视的大小第二常用的显示类型电视等933项家庭使用数据数据资源开放策略数据质量数据开放的目的是促进数据的利用，保证数据的质量是数据创新产业的发展前提。数据安全涉及隐私、国家安全、商业机密的信息免于开放。保证政府开放的安全，建立完善的数据授理审核机制。数据免责政府部门保障开放数据的质量和安全，但是数据开放部门众多，数据存在不一致性，建立数据开放的免责机制，政府部门不保证数据的准确性。公共数据资源开放涉及的部门多，数据量大，指定对于数据开放的科学、全面的数据策略，是政策制定的前提。我国的数据开放应树立开放、创新、安全、归属明确、数据免责为导向的数据开放策略，既要保证数据的质量，也要保障数据安全。数据资源开放策略——数据质量政府

高质量的数据是开放数据发挥效能的前提和基础，在保证数据准确、完整、有效的前提下，高端的数据分析工具才能发挥作用。建立数据主管部门，专门负责数据质量的审查工作，对发数据的数据质量执行监控，保证数据发布工作满足公共相关需求。.准确.完整有效数据资源开放策略——数据安全政府123建立数据备份机制数据备份机制是数据安全的基础，政府数据开放资源数据量巨大，一旦破坏很难恢复。数据备份可以防止系统出现操作失误或系统故障导致数据丢失。强有力的防攻击手段政府大数据具有巨大价值，容易吸引黑客的攻击。系统要提供面向大数据环境的安全增强：强有力的安全认证机制、应用的强隔离、多策略数据安全保护策略。保障部门数据交换安全建立一套规范的运行机制，促进政府大数据管理过程的正规有序，实现各级各类信息系统的网络互连、数据集成、资源共享，在统一的安全规范框架下运行。面向公众开放数据安全为规范数据下发管理，要建立一套严格的数据审核机制，严格审核数据申请方资质，保证数据被合法利用。对于违规传播数据的申请方建立惩罚措施。4数据资源开放策略——数据免责政府使用者可合法利用政府开放数据，但在数据基础上所做的任何判断、推论或观点，均不代表政府部门的立场.政府部门为用户提供权威、可信、准确、完整和及时的着政府数据资料与信息，所有的数据均来源于政府部门。政府部门无法完全保证数据百分之百准确和完整。数据开放网站公布的数据仅供参考。政府部门数据开放的唯一渠道是http：//.gov网站，其他渠道获取的政府数据，政府相关部门尽快更新数据，但不承担由于数据延误造成的损失和责任.数据资源开放管理体系数据开放标准体系：建立数据开放标准体系，才能加强数据开放政策的理解和政策实施的可操作性。建立标准体系的过程公民、机构、企业、专家等多元主体参与到政策的制定过程中，维护多元主体的利益和满足其需求。建立数据开放的标准体系后，才能明确数据开放的主体，明确数据开放系统的设计。数据开放评估机制：建立数据评估机制，才能反应我国政府对数据开放的实时效果、实时水平，也可以反映我国数据开张政策的质量和效果，同时，数据评估机制也可以为数据开放政策优化提供重要依据。建立我国公共数据资源开放管理体系，是数据开放决策科学性、合理性的基础，是开展我国开放共享的重要保障措施，有助于政策的推广和执行。数据资源开放标准体系——数据目录数据目录体系建设和使用过程中存在三类角色：数据提供者、数据使用者和目录数据管理者。数据开放目录体系政府数据目录开放数据目录政府核心元数据开放数据库数据数据提供者数据管理者数据使用者数据管理者各单位数据库目录内容注册数据审核脱敏数据使用者编目保证数据准确性、实时性建立目录、维护目录、保证目录安全授理获取所需数据数据资源开放标准体系——数据脱敏源数据敏感数据个人信息姓名身份证号收入企业收入政府机密数据敏感算法数据脱敏平台确定哪些是需要脱敏的敏感数据，工具自动探查敏感数据或人工判断。数据脱敏的程度由数据提供方判断。转换裁剪验证政府在生产过程中产生的数据中存在大量的敏感信息，确保数据安全防止敏感信息外泄，是数据开放的重要组成部分，数据脱敏系统要能满足以下几点要求1、具备处理大数据的能力；2、针对静态数据脱敏，对动态数据也要有实时的脱敏措施；3、数据脱敏后不具有可逆性。数据资源开放评估机制建立多元化的数据评估体系建立数据开放政策多元化的评估体系，有助于评估主题之间弥补自身评估信息的不足和确实，形成数据评估的完整性，使得评估结果更加准确和符合事实。在政策评估中融入企业、个人、第三方等参与其中，提高评估的科学性、公正性和客观性。数据的使用者参与到政府开放政策评估中数据开放的目的在于促进数据的利用、创新，充分调动公众数据利用的热情，将数据的使用者、数据创新结果参与到评估机制中，有利于政策评估的合理性，是评估跟家科学、合理。评价改善数据资源开放评估体系评价低评价中高高中低部门资金申请通过数据开放评估机制，总结数据开放成果，评价数据开放主体表现，形成鼓励激励机制。保障数据开放的持续性，发挥数据开放的创新性作用，数据评估体系中要加入对数据更新频率的评估，例如对超过三个月以上未更新数据的部门在系统内通知提醒更新，对超过六个月以上未更新数据的部门，通知批评，超过一年未更新数据的部门，数据开放评价降低，降低部门资金标准。数据资源开放试点实施内部管理系统开放数据库目录体系管理体系地域目录机构目录主题目录单位管理员评价反馈体系数据审核体系开放网页数据应用分析工具地图工具数据下载数据授理数据评价政策介绍API数据开放要建立统一的规范的开放渠道，区别于信息公开、政务公开，建立统一的数据开放数据库，采用“内部管理系统+外部开放网页”的方式进行，对内加强和规范内部管理系统，规范数据发布审核机制，保障数据安全，对外开放网站设计要方便公众搜集和使用数据，明确开放数据授理机制，同时为公共提供数据分析工具。数据开放网站WWW..gov目录主题机构地域分析工具API文档参考实例APP评价反馈数据评价联系我们数据授理注册申请表授理下发政策介绍开放数据类型1、数据格式多样性，满足各种用户的需求；2、数据开放下载数据应该是原始的、可机读数据集；原始数据是指对数据内容脱敏后为进行加工处理的数据；

可机读是指数据格式可供信息处理系统理解和处理（如XLS、XML、RSS、CSV等格式），便于用户或者第三方开发者进行分析、关联和可视化处理。3、开放数据必须是无法从互联网其它渠道获取的数据。数据门户网站开发数据要求：小于50%60%75%100%国外政府数据开放格式CSV、XMLXLS、PDFZIP、TXT、JSON、RDFTIFF、KMZ大数据产业生态示意图大数据应用者大数据技术解决方案提供商技术支持，运维服务SaaS大数据分析软件PaaSSQL，NOSQL数据存储与计算

IaaS数据中心大数据处理服务提供商在线+纯分析服务离线+纯分析服务在线+数据及服务离线+数据及服务数据资源提供商数据流通平台政府数据开放平台数据交易平台数据拥有者产品服务数据10亿商品、交易额过万亿每天30亿浏览、数千万交易集群规模3000台，每年扩大50%50PB数据交易数据用户数据商品数据社交数据数据：系统：我要买关键词搜索语音搜索语音理解关键词匹配挑选物品索引数据评论/交易商家信誉用户行为数据商户行为数据购买推荐其他你历史数据买家服务行业分析店铺基础经营分析商品优化分析买家分析营销效果分析售后/运营支撑分析需求挖掘订单分析供应链分析信用评估卖什么怎么卖卖给谁我要进货我要贷款买家服务衍生服务：金融、保险…搜索、电商、广告、SNS等数据驱动的互联网服务取得巨大成功，激发了大数据应用的想象力！大数据产业商业模式终端平台应用大数据(资产)门户化平台化垂真化主要盈利来源五种模式：强终端模式、强应用模式、强平台模式、强数据模式和混合模式。六种商业模式：租赁数据模式、租售信息模式、数据媒体模式、数据使能模式、数据空间运营模式和大数据技术提供商。政务大数据生态商业模式政务大数据生态数据开放惠民类应用监管类应用电商类应用企业类应用政府用户应用平台终端基于政务中产生的数据为基础，以数据开放为引擎，打破各产业之间数据壁垒，构建政务大数据平台，为用户提供垂直整合的完整数据价值服务链，促进数据再利用和数据的增值，促进产业和社会经济的发展。能力开放平台能力开放平台能力开放平台能力开放平台工商系统数据整合集中存储加工计算政府部门内部系统外部系统文化教育系统卫生医疗部门系统司法系统交通运输部门系统社保系统公安系统自然及环境监测系统出入境管理系统住房和城建管理系统……金融系统医院系统航空系统酒店系统……行政系统数据采集政务大数据平台市民门户/数据开放门户数据服务应用支撑门户访问数据共享（面向社会）数据共享（面向内部）数据交互应用集成市民多终端适配市民门户访问统计局系统政府部门政务大数据门户访问政府部门日常办公社会机构、组织、团体政务大数据门户访问社会机构日常办公旅游系统媒体网站政务大数据平台定位及边界数据获取处理数据采集存储数据加工处理应用支撑自助数据工具政务数据源政务大数据平台大服务实时大数据价值统一数据视图……101010

数据计算、分析挖掘数据管控数据集中存储政府决策支持市场监管应用公共服务支撑社会管理应用……自然与环境保护应用政务大数据平台借助先进成熟的大数据存储及处理技术，建设政务大数据平台，整合及加工内外部数据，形成权威的政务信息统一视图，为政府决策、公共服务、市场监管、社会管理、自然与环境保护等提供数据应用支撑政务大数据平台演进大数据处理中心CB政府监管政策制定社会管理商业拓展数据消费经济发展惠民服务带动就业引导创业实时流数据引擎大数据管理系统政务智能分析系统数据交换采集清洗转换加载事件流处理（EventProcessing）引擎专家系统（ExpertSystem）（实时决策引擎）分布式存储与并行计算图像声音识别引擎集成基础数据区汇总加工区集成访问与性能区内存实时计算元数据数据质量管理任务调度与管理信息生命周期信息安全集成数据挖据系统基于Clementine模型和算法数据脱敏系统汇总数据分类与基于规则集成数据审计个人政府企业终端应用平台数据源实时流数据引擎大数据管理系统智能分析系统数据交换数据管理基础设施云平台(服务器，存储，网络)公安人口库车辆登记违章库婚姻库区划库民间组织健康库电子病历卫生管理法人库企业信用采集清洗转换加载事件流处理（EventProcessing）引擎专家系统（ExpertSystem）（实时决策引擎）分布式存储与并行计算图像声音识别引擎集成基础数据区汇总加工区集成访问与性能区内存实时计算元数据数据质量管理任务调度与管理信息生命周期信息安全业务监控欺诈控制远程医疗精细管理数据服务数据产品数据目录数据开放门户报告与查询统计分析可视化数据可视化系统预测与挖掘仪表盘/预警多维分析民政卫生集成工商企业税税务个人税数据挖据系统基于Clementine模型和算法数据脱敏系统数据分类与基于规则集成数据分类与基于规则数据脱敏系统一次脱敏二次脱敏数据审计政务大数据产品功能图集成厚PaaSX86集群网络环境云化aPaaS业务能力

IaaSSaaSdPaaS分布式数据库大数据基础平台分布式内存数据库技术平台服务集成平台UxPaaS动态表单大数据封装服务平台分布式缓存分布式列存储数据库大数据sql引擎大数据内存计算平台分布式流计算平台分布式文件系统（HDFS）能力开放平台BRM服务开发与运行框架分布式高速消息中间件BPM高速服务框架（HSF）计费云框架(BCF)分布式服务调度引擎DSPE大数据集成平台网络爬虫搜索引擎分布式计算策略引擎移动开发与运营管理平台智能分析平台易体验安全处理能力数据展示能力大数据能力数据脱敏服务数据可视化服务数据挖掘分析实时交易应用计算密集应用数据密集应用云管理平台平台监控中心业务监控中心服务管理中心云管控平台主机虚拟化XEN网络虚拟化SDN弹性块存储分布式对象存储iPaaS政务大数据平台技术架构图经规整、分析挖掘形成带有特定的应用场景、上下文关系的信息，如特征信息、统计信息、预测信息等3.知识可辅助解决具体政务管理和民生问题的经验、方法、问题解等，如应急预案、问政知识库等1.原始数据政策、法律法规数据国防安全数据城市发展规划数据社会管理数据经济运行数据外部数据源内部数据源互联网移动互联网物联网社交媒体等政府部门资料信息及相关系统：司法、公安、审计、财政、商务、民政、教育、环境、卫生、城建、交通运输等行业监管数据环境自然数据人口发展数据民生服务数据舆情评论数据……2.信息大数据分类大数据来源舆情评论社交关系实时位置旅游度假城市车位使用……政务大数据来源及分类公共服务应用-市民/家庭360度特征刻画工商部门系统创业情况（如是否企业法人、重要股东）教育部门系统教育程度、专业医疗信息系统健康状况医疗历史劳动和社会保障局系统劳动就业、退休、社会保障情况公安交通管理系统车辆拥有、交通违法情况出入境管理系统出入境情况国土资源和房屋管理局系统房产拥有情况民政部门系统户籍、家庭构成数据采集政务大数据平台整合加工征信系统公民信用情况……父亲，上市公司高管，常出入欧美国家，信用良好，名下一车一房爷爷，户主，高工，已退休，领取养老金，心脏病患者，名下一房出租运营商系统位置、活动区域信息奶奶，退休教师，领取养老金，身体健康母亲，本科，职员，信用度良好，名下一车一房女儿，独生子女，初二学生，市优秀学生干部家庭总体特征中产家庭，三代同堂，幸福之家市民/家庭特征画像公共服务应用-市民医疗保障支撑重大疾病发展趋势医疗事故统计分析医保账户使用统计……政务大数据平台市民医疗资源区域分布图医疗机构排行榜疫病防疫动态通知医保定点医院科室分布及上班时间表医疗纠纷法律浏览医疗保障政策浏览1234医保账户浏览医疗保障法律/政策浏览看病预约个人医保账户余额、变动历史查询家庭成员医保账户浏览家庭医保费用支出统计通过PC或移动终端登录市民网页市民服务门户信息共享医院预约排队情况浏览预约指定医院预约就诊提醒就医后点评全市/区医疗机构分布全市/区医疗机构排行医疗机构点评统计名医/专家目录……医疗纠纷相关的法律法规社会医疗保障政策区域医疗资源信息视图医疗保障法律法规政策医疗卫生统计分析医疗资讯整合区域医疗资源和相关法律法规信息，为市民提供医疗资源概览、看病预约服务，帮助市民随时了解个人医保账户缴费和使用情况业务维度体系定义多种业务多种数据源人口属性社交图谱上网特征家庭成员特征收入情况购物偏好工作领域业务关联审批管理开发&发布第三方补充生成业务模型挖据分析优化数据业务应用精准用户分类用户群管理数据价值链管理政府监管类应用企业类应用公众类应用数据源SAAS数据应用开发平台数据分析应用数据模型/架构PAAS非结构化数据实时流式同步非结构化数据结构化数据实时流式同步结构化数据结构化数据离线同步实时处理Storm离线计算Hadoop在线计算分布式mysqlHbase搜索引擎中间层应用服务器IAAS虚拟化(基于容器的虚拟化技术)人口库人像库实时采集库中间件服务对外数据产品政务智能数据门户数据分析对内数据产品数据导入大数据管理系统研发框架HIVEBigDataApplicationsPig!ZooKeeperSQLRAW大数据管理系统研发框架MapReduce/Spark源数据RDBMS列数据库数据采集datax数据库全量非实时装载非结构化/结构化数据文件装载大数据存储与分布式计算HDFSNameNode数据块SQL交互引擎与列存取Hive/sharkSQL解析器结构化/非结构化数据hive元数据DataNodeSQL编译器MR执行器执行计划优化器客户端输出、交互和权限datax输出文件输出数据库外部应用作业执行作业调度文件HbasezookeeperMasterServerRegionServerclient分布式协调HUE应用接口权限管理命名空间物理存储运行监控节点信息监控作业执行监控运维操作主机负载监控关系型数据库文件YARN资源管理任务调度/监控应用系统大数据管理系统开发框架数据备份大数据管理系统数据存储开发接口基于Hadoop的数据分析CKM文本挖掘与数据挖掘关联规则与序列模式挖掘推荐引擎的离线分析MapReduce数据库监控机器数据搜索引擎用户行为挖掘与推荐引擎基于时间分段的大数据检索与索引接口搜索引擎日志采集监控数据分析层日志发送节点Angent1Angent2Angent3……Angentn日志接收集群Collector1Collector2Collector3……CollectornMaster管理集群Master1Master2Mastern日志采集大数据管理系统开发框架数据挖掘平台系统数据准备阶段建模阶段结果部署阶段工程管理数据库读取CSV文件读取挖掘流框架异常处理状态控制模型管理重排规范化降维分区排序汇总样本平衡选择分箱填充过滤导出类型离散化时间序列（1）关联规则（3）L1/2稀疏迭代L1稀疏迭代视觉聚类回归算法（6）聚类算法（4）分类算法（9）评估图分布图表格分析直方图散点图网络图集成学习数据源管理数据预处理行数据处理列数据处理经典算法自主算法算法管理输出图形输出管理数据库文本文件基础模块授权管理大数据的应用场景：科技大市场大学，科研院所等企业资源需求空闲资源使用资源实现价值实验室资源设备资源人力资源技术资源...…仪器资源科技服务云大数据中心各取所需盘活空闲资源大数据的应用场景：民政厅数据融合优抚对象管理社会救助管理老龄事业管理婚姻登记管理低保优抚老龄婚姻机构库人口库区划库基础资源库大数据的应用场景：民政厅数据融合监控卡口1监控卡口2监控卡口3监控卡口41亿/天车行轨迹2300万车辆信息9000千万人口3000万驾驶员卡口信息：牌号：陕F123****车型：解放j6p颜色：蓝色位置：万寿路大路口方向：自西向东时间：2013.2.58:45:30西安市交通卡口每天采集行车记录数将近1亿条根据牌号比对一天的车辆行驶信息，耗时30分钟，查出4000多辆嫌疑车辆监控卡口...套牌车查找-大数据的分析计算车牌号车型颜色距离...卡口信息卡口信息卡口信息卡口信息卡口信息数据调取数据调取计算结果大数据的应用场景：交通由南进入万寿路口的通行模式及路径规划数据南向东右转

里程差转向角度

右转1右转2右转3右转4右转5右转1右转2右转3右转4右转5总里程21.111031.618034.456537.314640.2058

10.00000.00000.00000.00000.000090.000090.000090.000090.000090.000020.12310.26060.29170.32270.353789.519989.803089.824089.840989.854830.12250.25930.29020.32100.351989.195889.670089.705189.733489.756840.12190.25800.28880.31940.350288.868589.535689.585189.624989.657850.12120.25670.28730.31780.348488.537989.399989.463889.515289.557860.12060.25540.28580.31620.346688.204089.262789.341389.404589.456870.12010.25410.28440.31460.344887.866889.124289.217589.292689.3547。。。。。。。。2000.13720.11920.11920.11920.11920.12950.31560.35320.39070.4283南向北直行里程差转向角度直行1直行2直行3直行4直行5直行1直行2直行3直行4直行5总里程81.001881.023481.188281.494981.941410.00000.00000.00000.00000.000090.000090.000090.000090.000090.000020.40700.40700.40700.40700.407090.011589.978689.945889.913089.880130.40700.40700.40700.40700.407090.034389.936289.838189.740189.642040.40700.40700.40700.40700.407090.056889.894289.731689.569089.406350.40700.40700.40700.40700.407090.079189.852689.626189.399689.173160.40700.40700.40700.40700.407190.101289.811589.521789.232088.942370.40700.4070