公共数据治理运营支撑与数据应用模型设计项目实施技术方案

公共数据治理运营支撑与数据应用模型设计项目实施技术方案项目总体概况项目背景近年来，H市立足于建设卓越全球城市，率先实现政府治理能力现代化的目标，在公共数据管理和互联网政务服务方面采取了一系列改革举措，积累了一定的实践经验，同时也面临一些困难和问题。根据《公共数据和一网通办管理办法》要求，需要进一步促进公共数据资源整合和利用，推进政务服务“一网通办”等电子政务发展，加快智慧政府建设，提升政府治理能力和公共服务水平。为深入贯彻党的十九大关于建设人民满意的服务型政府的要求,坚持以人民为中心的发展思想,适应政府管理和服务现代化发展需要,深化改革,进一步优化营商环境,提升群众和企业获得感，H市通过大数据资源平台的建设，将“四大库”、“市级统建系统”、“各市级委办”、“各行政区”的数据汇聚成了市级数据湖，并以市级数据湖为基础，通过数据的集成与治理，构建了市级数据库，推动跨地区、跨层级、跨部门数据共享交换和应用，为后续公共数据的进一步整合、共享、开放提供了一定的工作基础。 建立统一的公共数据平台，全面实现H市政务“一网通办”，是贯彻党中央、国务院决策部署，深入推进“放管服”改革，持续优化营商环境，切实提升群众和企业获得感的重要举措。市委市政府已经明确，2018年建成H市政务“一网通办”总门户；到2020年，H市要形成整体协同、高效运行、精准服务、科学管理的智慧政府基本框架。建设内容基于大数据资源平台，通过对“四大库”、“市级统建系统”、“各市级委办”、“各行政区”的数据等相关信息的采集、梳理、交换、整合、扩展，构建H市统一的基础信息数据库。建设完善市级数据库：通过人口、法人、空间地理库数据源整合开发，并对接电子证照库。实现对人口、法人、空间地理信息、证照等的接入、整合、开发、利用。结合H市实际，构建公共主题库及专题库，为应用提供安全高质的专题数据服务。通过对工商、税务、质监、民政等法人相关信息的采集、梳理、交换、整合、扩展，构建H市统一的法人基础信息数据库。建设目标通过对公安、卫计、社保、民政等人口相关信息的采集、梳理、整合、扩展，构建H市统一的人口基础信息数据库。人口库以公安部门的户籍和暂住人口基础信息为基础、以身份证或护照号码以及居住性质为唯一标识，以其他部门人口信息为动态补充。通过本次H市大数据资源平台公共数据运营支撑项目的建设，完善市级数据库的建设，将“四大库”、“市级统建系统”、“各市级委办”、“各行政区”的数据汇聚成了市级数据湖，并以市级数据湖为基础，初步构建基础的H市大数据资源平台，实现面向各需求单位部门进行数据共享、分析和利用、以及面向社会进行数据开放的目的，支撑智慧政府的改革。通过数据的集成与治理，构建了市级数据库，利用H市大数据资源平台公共数据运营支撑项目的能力和服务，开展数据的管理、处理、分析与可视化等工作，支撑各类业务应用。在本次项目中完成以下四个部分：完善公共数据逻辑模型、物理模型的设计规范并确定公共数据库存储原则基层上，利用中心所建设的平台工具对进入市级数据湖的数据进行清洗、分层与转化，形成市级数据库。完成对人口库数据资源的接入、整合、开发、利用。完成对法人库数据资源的接入、整合、开发、利用。本项目为构建H市大数据资源平台公共数据提供运营支撑，需要梳理并编制各部门政务信息资源目录体系，实现数据管理、交换、共享等基础功能。按照统一、集约、高效的数据开发利用理念，通过研究建立多级交换管理体系，形成政务信息资源物理分散、逻辑集中的信息共享模式，满足政府部门多方位、多层次的数据需求，为跨地域、跨部门、跨平台不同应用系统、不同数据库之间的数据交换与管理服务。制定相关标准规范及管理制度，通过相应平台工具汇聚区内各单位公共数据及市级落地数据资源，形成区级数据池，同时经过数据清洗、转换、融合、治理后高质量的公共数据资源，形成公共数据资源中心。

项目技术方案整体技术方案为建设统一的数资源中心，加强数据资源整合：制定相关标准规范及管理制度，通过相应平台工具汇聚区内各单位公共数据及市级落地数据资源，形成数据池，同时经过数据清洗、转换、融合、治理后高质量的公共数据资源，形成数据资源中心。本次项目完善公共数据逻辑模型、物理模型的设计规范并确定公共数据库存储原则基层上，利用中心所建设的平台工具对进入市级数据湖的数据进行清洗、分层与转化，形成市级数据库。并完成对人口、法人、空间地理库数据资源的整合开发，实现对人口、法人、空间地理信息的接入、整合、开发、利用，结合H市实际，构建公共主题库，为应用提供安全高质的公共数据服务。本次公共数据存储模型设计实施项目的框架如下图所示：业务信息数据整合整合政务数据（国家、市级、区）、公共事业数据、行业数据（金融、电信）、物联网数据（气象、摄像头…），实现内外部数据融合。采集人口数据：通过公安口、民政口、人社口、卫计口等来源数据，采集人口出生、死亡、婚姻、社保、户籍等信息。采集法人数据：通过工商口、税务口、质检口、民政口等来源数据，采集法人登记、税务、工商登记等信息。采集空间地理数据：采集地图、街道、区域、小区、楼宇、景点等地名、类型、经纬度等信息。数据抽取/数据交换数据采集模块采用集中化多租户ETL平台进行数据采集、转换、稽核工作，完成数据标准化、集中化，实现数据脉络化、关系化，实现统一的数据处理加工，包括：离线采集、实时采集、准实时采集、流媒体采集、数据导入上报。基础库按照人、地、事、物、组织等对象方式对数据进行建模，形成全区统一共用的基础数据库。典型的基础数据库包括人口库、法人库、空间地理信息库。人口库：构建全市统一的、以公民身份号位为唯一标识的、可共享的综合人口信息资源库。基于综合人口库，实现全市人口信息的汇聚治理、共享交换和应用服务，为开展跨部门、跨业务、跨区域的人口应用服务和数据共享，以及人口大数据分析、辅助决策等，提供全方位的人口信息支撑。法人库：促进相关部门有关法人单位业务信息的关联汇聚，丰富法人单位信息资源。支撑法人单位信息资源的分布查询和深化应用。通过公共数据开放网站，分级、分类安全有序开放综合法人信息，促进社会化创新应用。空间地理库：基于规划、国土资源等部门提供的GIS地图服务基础上，构建自然资源和空间地理基础信息，并将遥感影像、地址数据、政务信息图层等，与人口信息、法人单位、宏观经济、社会信用进行整合，形成本市空间地理基础信息资源库，为全市政府部门和企事业单位提供统一的地理空间信息服务。模型设计思路及规范数据模型分层设计对数据模型进行分层能对管理数据有一个更加清晰的掌控，主要有体现清晰数据结构、数据血缘追踪、减少重复开发、复杂问题简单化、屏蔽原始数据异常、屏蔽业务的影响。每个数据分层都有它的作用域，在使用表的时候能更方便地定位和理解。规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。便于维护数据的准确。本次建设公共数据模型从层次上分为ODS、DW与ST层，即：数据运营层、数据仓库层和数据应用层。ODS层数据为近源层数据，数据源中的数据，经过ETL抽取、洗净、传输之后，装入本层。在源数据装入这一层时，要进行诸如去噪、去重、提脏、业务提取、单位统一、砍字段、业务判别等多项工作。DW层数据为数据仓库层数据，ODS层数据经过整合，针对不同实体进行汇总后的数据进入该层。ST层为数据应用层，数据更灵活，更贴近实际应用，用于数据展现。1.数据来源层→ODS层数据主要会有两个大的来源：业务库，使用sqoop来抽取，每天定时抽取一次。在实时方面，考虑用canal监听mysql的binlog，实时接入。埋点日志，线上系统会打入各种日志，日志以文件的形式保存，选择用flume定时抽取，或sparkstreaming、storm来实时接入，kafka也会是一个关键的角色。在ODS层中要进行数据清洗，比如异常字段的处理、字段命名规范化、时间字段的统一等。2.ODS层→DW层通过对ODS层数据进行整合，设计通用的数据仓库层，减少数据模型冗余度。规范仓库层模型，将有效提升数据模型重用度，好的DW层模型可以大大提升运营效率和数据一致性。3.DW→ST层ST层为数据应用层，将DW层数据根据不同需求进行多维度汇总、统计，对数据完成汇总、切片、钻取统计，为不同场景设计数据应用层模型。数据模型分域设计数据仓库中的数据是面向主题组织的，主题是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念，每一个主题基本对应一个宏观的分析领域。公共数据库资源模型设计分域情况如下：主题域主题域缩写相关内容人口域PRTY个人基本信息法人域GRP法人基本信息事件域EVT出生、死亡、诉讼资源域RES空间资源、服务资源、公共资源、网络资源账务域ACC消费记录、纳税记录关系域REL就职记录、婚姻关系根据对人口、法人、空间地理库数据信息的特征，将对人口、法人、空间地理结合H市实际，构建数据模型三大公共主题域，为应用提供安全高质的公共数据服务。人口主题域：收集城市各职能局的业务数据，对数据进行清洗、比对、关联，获得人口空间数据，建立人口库数据资源。法人主题域：收集城市各职能局的业务数据，对数据进行清洗、比对、关联，获得法人空间数据，建立法人库数据资源。资源主题域：通过收集城市各职能局的空间地理资源，结合业务数据，对数据进行清洗、比对、关联，获得空间地理数据，建立空间地理库数据资源。主题域通常是联系较为紧密的数据主题的集合。可以根据业务的关注点，将这些数据主题划分到不同的主题域(也说是对某个主题进行分析后确定的主题的边界。)模型设计示例如下：物理模型设计依据数据仓库建模理论，结合实际经验，物理模型设计时需确定数据模型在分布式系统中的存储形态，综合考虑Hadoop、MPP、一体机数据库、内存数据库四种形态各自特点，结合数据按照粒度不同、周期不同、主题不同形成的数据热度，制定数据的存储分布。分表规则根据情况，将公共数据模型按照如下规则进行设计：表命名类型名称说明YYYYMMDD日表存放当天数据YYYYMM月表存放月末数据，或当月累计数据DM多周期日表存放多个周期的日数据DM_YYYYMM多周期日表累计的月表存放多个周期的日数据，每月分表DM_YYYY多周期日表累计的年表存放多个周期的日数据，每年分表MM多周期月表存放多个周期的月数据DS当周期表当周期最新的数据DT_YYYYMMDD累计日表当月累计数据表命名规则基于分主题分层的原则命名：层_主题域_表名_表类型_分表规则例如：人口表DWD_PRTY_INDIV_YYYYMMDD法人表DWD_PRTY_GRP_YYYYMMDD 字段命名原则为了保证数据定义和数据自身质量，以提高处理效率，字段设计建议遵循以下原则：相同字段设计命名一致性，对于多个表均有的字段，设计为统一的名称对于表间关联常用的字段，各表应该设计成同样的字段类型。避免对Hash键值字段进行数据的处理。字段名称字段命名字段类型枚举值个人姓名INDIV_NAMEVARCHAR(32)个人证件号码INDIV_CERT_CODEVARCHAR(32)个人证件类型INDIV_CERT_TYPEINT0身份证;1工商登记证;10港澳居民来往内地通行证;11台胞;12外籍人士;13个体工商户营业执照;14聚类;15特殊客户;3军人证;5企业代码证;9单位证明;99其它证件个人证件地址INDIV_CERT_ADDRESSVARCHAR(256)数据处理原则对于数据加工处理，应该尽量在小表内进行，对于局部的数据加工处理为了不影响基础大表，应建立临时表作为工作空间。对于年汇总、月汇总等粗粒度类数据汇总处理，应该在基于事先建立的日汇总等低粒度结果(包括用户、产品等维度上汇总)基础上进行，这种处理可减少上级统计对明细层数据的重复性读取。逻辑模型设计逻辑模型设计是对概念模型设计的进一步细化，根据数据的产生频率及访问频率等因素综合考虑，确定数据热度和数据关系等规则。作为概念模型到物理模型转换的中间过程，逻辑模型设计时兼顾业务理解和系统实现。数据有效性策略模型中设计的字段属性都应是具有分析价值的，对于无效性字段属性，应予以裁剪：剔除：对源系统提供的仅用作生产使用，无分析价值的字段属性进行剔除；对源系统中的无效字段（如全为空值、全为Z等）进行剔除。合并：对内容重复，同名异义、同义异名、同名同义不同值、反复存储的字段信息进行归并。数据关系定义概念模型设计的字段属性，与源系统相应实体的字段属性存在一定的映射关系，在逻辑模型设计时，应建立与源系统字段定义间的映射关系定义。通常的映射关系有：源系统单张表，在概念模型设计时也为单个模型的，应针对概念模型中每个字段，建立其对应的源系统字段属性映射；源系统多表，在概念模型设计时合并为单个模型，需要针对每个数据源表与当前模型分别映射，且每个模型的每个字段属性都应有相应的映射关系；源系统单张表，在概念模型设计时拆分为多个模型，需将每个模型与源系统的标进行分别映射，且每个模型的每个字段属性都应有相应的映射关系。维值定义规则统一采用维表方式定义静态的维值，例如证件类型，用户状态等字段。维值维值名称枚举值枚举值中文生效时间失效时间CERT_TYPE证件类型0身份证1900/1/12099/1/1CERT_TYPE证件类型1工商登记证1900/1/12099/1/1CERT_TYPE证件类型10港澳居民来往内地通行证1900/1/12099/1/1CERT_TYPE证件类型11台胞1900/1/12099/1/1CERT_TYPE证件类型12外籍人士1900/1/12099/1/1CERT_TYPE证件类型13个体工商户营业执照1900/1/12099/1/1CERT_TYPE证件类型14聚类1900/1/12099/1/1CERT_TYPE证件类型15特殊客户1900/1/12099/1/1CERT_TYPE证件类型3军人证1900/1/12099/1/1CERT_TYPE证件类型5企业代码证1900/1/12099/1/1CERT_TYPE证件类型9单位证明1900/1/12099/1/1CERT_TYPE证件类型99其它证件1900/1/12099/1/1人口库法人库数据采集数据采集执行过程本项目需采集的数据分为两部分，数据湖中的人口数据和法人数据。数据采集方式有两种：通过数据数据湖中的数据需要经过一系列治理后，形成高质量的数据入库。通过各部门政务应用系统与数据资源池的直接双向交互，无需通过数据湖进行中转，通过平台的调度引擎可进行交换链路的灵活设置。抽取流程如下图：为适应大数据中心多类型数据源采集的需要，事件数据需支持多种类型的数据采集方式，数据采集可采用多种丰富的数据源接口，包括：常用标准协议接口如Socket等FTP文件接口JDBC/ODBC接口消息队列（KAFKA）接口Hadoop生态圈的开源技术Flume数据抽取方式数据抽取主要采用自动采集的方式，支持全量抽取和增量抽取。全量抽取：数据湖或源系统的某个数据表或文件，全量进行抽取。条件抽取：数据湖或源系统的某个数据表或文件，可根据预设条件进行数据抽取增量抽取：监测数据湖或源系统的某个数据表或文件，仅针对增量部分进行抽取。源数据库支持如下三种方式，根据需要进行抽取：文件数据库流数据 市级数据湖归集的数据处理办法：批数据处理：各类批数据通过数据采集功能进入数据支撑平台，经过存储、清洗、汇总和关联汇总等，产生应用数据，并实现数据共享或开放。流数据处理：流数据通过数据采集功能进入数据支撑平台后，根据不同需求，可实现实时数据计算后的开放，也可实现通过实时数据分析后汇总产生应用数据，进而实现数据共享或开放。自动入库从数据湖和特殊应用的数据库自动采集法人数据，使用中间数据库的方式接收源端（数据湖等）按照要求提供的数据，当系统时钟到预设的自动读取中间数据库时间时，计算机自动读取中间数据库中的数据，也可以手工启动读取数据。调度可设置前置条件及时间调度方式，自动入库时间调度方式：每月每日每小时如遇到采集失败或前置时间不满足，则设置不同优先级的轮询方式：高优先级：10分钟轮询一次，最长36小时中优先级：30分钟轮询一次，最长24小时低优先级：60分钟轮询一次，最长24小时全量抽取对采集的数据进行全量抽取，不设置抽取条件，全量抽取源表数据。能够在系统初始化时，将数据湖和其他应用中已有的信息数据全部抽取到本系统，建立汇聚库的初始化原始数据。条件抽取对采集的数据进行条件抽取，配置抽取条件，抽取源表数据中符合条件的数据。配置后，可按照小时、日、月自动抽取入库。条件设置可以设置原子条件，比如，抽取创建时间为当日的数据。条件组合可以将原子条件进行逻辑组合，例如：同时符合条件A、条件B的数据。增量检查增量抽取可以有效减少数据抽取的数量，减少对源数据库的压力，避免影响现有业务，提高数据抽取效率。以下方法可以实现准确快速的捕获变化的数据，进行增量抽取。增量数据抽取中有多种方式支持增量检查的方法有以下几种：1、触发器方式触发器方式是普遍采取的一种增量抽取机制。该方式是根据抽取要求，在要被抽取的源表上建立插入、修改、删除3个触发器，每当源表中的数据发生变化，就被相应的触发器将变化的数据写入一个增量日志表，ETL的增量抽取则是从增量日志表中而不是直接在源表中抽取数据，同时增量日志表中抽取过的数据要及时被标记或删除。为了简单起见，增量日志表一般不存储增量数据的所有字段信息，而只是存储源表名称、更新的关键字值和更新操作类型(insert、update或delete)，ETL增量抽取进程首先根据源表名称和更新的关键字值，从源表中提取对应的完整记录，再根据更新操作类型，对目标表进行相应的处理。对从数据湖和其他应用中抽取的信息数据进行增量检查或时间戳比对，并对增量数据进行标记，以方便增量抽取。2、时间戳方式时间戳方式是指增量抽取时，抽取进程通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。这种方式需要在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。有的数据库(例如SqlServer)的时间戳支持自动更新，即表的其它字段的数据发生改变时，时间戳字段的值会被自动更新为记录改变的时刻。在这种情况下，进行ETL实施时就只需要在源表加上时间戳字段就可以了。对于不支持时间戳自动更新的数据库，这就要求业务系统在更新业务数据时，通过编程的方式手工更新时间戳字段。使用时间戳方式可以正常捕获源表的插入和更新操作，但对于删除操作则无能为力，需要结合其它机制才能完成。3、全表比对方式全表比对即在增量抽取时，ETL进程逐条比较源表和目标表的记录，将新增和修改的记录读取出来。优化之后的全部比对方式是采用MD5校验码，需要事先为要抽取的表建立一个结构类似的MD5临时表，该临时表记录源表的主键值以及根据源表所有字段的数据计算出来的MD5校验码，每次进行数据抽取时，对源表和MD5临时表进行MD5校验码的比对，如有不同，进行update操作：如目标表没有存在该主键值，表示该记录还没有，则进行insert操作。然后，还需要对在源表中已不存在而目标表仍保留的主键值，执行delete操作。4、日志表方式对于建立了业务系统的生产数据库，可以在数据库中创建业务日志表，当特定需要监控的业务数据发生变化时，由相应的业务系统程序模块来更新维护日志表内容。增量抽取时，通过读日志表数据决定加载哪些数据及如何加载。日志表的维护需要由业务系统程序用代码来完成。5、系统日志分析方式该方式通过分析数据库自身的日志来判断变化的数据。关系犁数据库系统都会将所有的DML操作存储在日志文件中，以实现数据库的备份和还原功能。ETL增量抽取进程通过对数据库的日志进行分析，提取对相关源表在特定时间后发生的DML操作信息，就可以得知自上次抽取时刻以来该表的数据变化情况，从而指导增量抽取动作。有些数据库系统提供了访问日志的专用的程序包(例如Oracle的LogMiner)，使数据库日志的分析工作得到大大简化。增量抽取能够在监控到数据湖和其他应用的数据库的数据更新后，从库中抽取更新的基础数据。捕获变化数据，仅对自上次导出之后变化数据（增、删、改）进行抽取，并对更新的数据进行增量检查和增量抽取。增量抽取后，进行基础表更新。对捕获增量的方法有两点要求1、准确2、不要对业务系统造成太大压力数据校验支持系统自动校验和人工校验方式。自动校验：针对每个抽取配置可以设置自动校验规则。系统自动对采集的数据进行数据项完整性、数据值合理性、合法性、有效性、规范性、一致性、正确性等一系列检查和处理。对采集的数据一般采用系统自动校验方式进行校验。自动校验规则可配置：条数阈值检查空值数量阈值检查日期等其他自定义规则检查人工校验：采用人工的方式对采集的数据进行格式、编码、内容方面的校验等的检查和处理。一般是对重要的数据或自动校验出现异常的情况采用人工校验。入库处理能对完成抽取和校验的数据进行解析和处理，对多余的重复的信息进行清洗，并自动存入综合信息资源原始库中，为信息资源整合提供较好的数据基础。多进程抽取：针对源数据较大的，设置分区，进行多进程同时抽取，可提高抽取效率。分区处理：针对大表进行合理分区，入库后进行分区、合并、建立视图等方式，提高源表的使用效率。数据转换：对日期、时间、证件号码等字段进行转换，使其符合统一的标准。将数据转换为指定格式并进行数据清洗保证数据质量。数据转换包括编码转换(m/f->男/女)，字段转换(balance->bal)，度量单位的转换(cm->m)，数据粒度的转换。业务系统数据存储非常明细的数据，而数据仓库中数据是用分析的，不需要非常明细，会将业务系统数据按照数据仓库粒度进行聚合。数据清洗，如会对不完整数据，错误数据和重复数据等脏数据进行清洗编码转换：针对不同源码的数据，入库时统一进行转换。数据采集管理数据采集管理提供对汇聚库中元数据、采集规则、问题数据、采集日志的管理能力，以及采集情况、数据追溯、运行状态的查询和统计能力。通过采集管理保证数据采集过程的安全性和可靠性。采集信息统计能够对采集数据量、采集吞吐量、入库数据量、入库吞吐量、采集数据合格率等状况进行统计，统计信息可进行图形化展示，支持统计报表的下载。进行信息统计的采集日志包括3类：执行过程日志：在采集执行过程中每执行一步的记录，记录每次运行每一步骤的起始时间，影响了多少行数据，流水账形式进行记录。错误日志：当某个模块出错的时候写错误日志，记录每次出错的时间、出错的模块以及出错的信息等。总体日志：只记录采集开始时间、结束时间是否成功信息。记录日志的目的是随时可以知道采集运行情况，如果出错了，可以知道哪里出错。针对这3类日志按小时、日、月维度进行信息汇总记录。采集信息查询提供对采集信息的查询，可查询所有采集的个人基础信息和市级部门相关数据。针对执行过程日志、错误日志、总体日志提供查询功能，可以针对某个采集表或某个执行日期进行采集日志查询。采集规则设置针对一个采集规则，可进行如下的设置：源端设置可以配置采集源，例如源端IP、端口、用户名、密码、tns连接串等信息，可配置的源端类型有：常用标准协议接口如Socket等FTP文件接口JDBC/ODBC接口消息队列（KAFKA）接口Hadoop生态圈的开源技术Flume采集表/文件设置配置具体采集的表或文件，配置目录、schema等信息。针对源表的情况，可设置多分表抽取、日期表抽取、月份表抽取等采集规则设置采集周期设置：小时抽取、日抽取、月抽取、触发抽取采集规则设置：全量抽取、条件抽取、增量抽取、增量规则采集时间配置：配置自动抽取的开始时间。校验规则设置自动校验规则可配置如下，如不符合规则，则暂停抽取并告警：条数阈值检查空值数量阈值检查日期等其他自定义规则检查目标表设置支持配置目标表、目标路径。支持多表抽取汇总，或多表抽取建立视图。采集优先级设置高优先级：10分钟轮询一次，最长36小时中优先级：30分钟轮询一次，最长24小时低优先级：60分钟轮询一次，最长24小时采集问题处理针对采集错误日志，支持通过页面、短信、邮件方式推送错误日志并附上出错的信息，推送维护值班人员或接口负责人员，错误日志包括：源端无法连接源端无数据源端数据记录不符合检测规则源端数据列不符合检测规则入库失败入库记录与源端不一致采集任务管理采集规则发布：采集规则配置后，支持采集规则上线发布、下线、暂停等操作。采集任务自动调度：针对已发布的采集任务，可按照采集计划自动执行,提供给用户设置数据库对接方式下后台自动采集数据的预定时间点的功能，保证采集过程的顺畅性。采集任务临时调度：针对已配置的采集规则，可指定执行周期，进行手工一次性调度调度。采集任务查询：可根据采集任务名称、调度周期进行查询。数据源采集监控数据源数据监控支持对源数据进行不间断的监控，在源数据发生更新时，及时给出提醒，可触发采集入库功能。对数据源数据的监控主要包括以下几点：1、数据源数据新增的监控；2、数据源数据变更的监控；3、数据源数据删除的监控；4、数据源表结构变更监控；5、数据源空表监控数据源状态监控与数据源建立监控心跳监控，采用探测型抽取的方式，每1分钟抽取1条数据入库，如发现入库错误，及时监测告警，通过页面、邮件、短信方式通知采集管理人员。能够对数据源的运行状态、采集子系统与数据源信息交换通道进行监控，在状态异常时，及时向管理员发出预警。数据源变更标记采用时间戳方式对监控到的发生变化的数据源数据或元数据进行自动标记，方便采集入库的识别时间戳方式是指增量抽取时，抽取进程通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。这种方式需要在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。时间戳方式是指增量抽取时，抽取进程通过比较系统时间与抽取源表的时间戳字段的值来决定抽取哪些数据。这种方式需要在源表上增加一个时间戳字段，系统中更新修改表数据的时候，同时修改时间戳字段的值。有的数据库(例如SqlServer)的时间戳支持自动更新，即表的其它字段的数据发生改变时，时间戳字段的值会被自动更新为记录改变的时刻。在这种情况下，进行ETL实施时就只需要在源表加上时间戳字段就可以了。对于不支持时间戳自动更新的数据库，这就要求业务系统在更新业务数据时，通过编程的方式手工更新时间戳字段。使用时间戳方式可以正常捕获源表的插入和更新操作，但对于删除操作则无能为力，需要结合其它机制才能完成。数据源监控日志能对数据源监控过程中的状态输出记录日志，日志可查询、可下载。包括：数据源心跳监控日志；数据源数据新增的监控日志；数据源数据变更的监控日志；数据源数据删除的监控日志；数据源表结构变更监控日志；数据源空表监控数据源监控通过监控门户，支持用户进行数据监控的查询，下载功能。数据采集监控针对采集任务进行监控，分小时、日、月成功数、失败数、排队数进行汇总，并与上周期进行比对，如波动超过阀值，通过不同的显示颜色、字体进行提示。同时通过页面、短信、邮件进行告警，方便维护人员进行维护。数据入库监控根据配置的自动校验规则进行数据入库监控，可配置的监控如下：条数阈值检查空值数量阈值检查日期等其他自定义规则检查人口库数据资源整合数据整合通过对人口库数据源的全面梳理，利用大数据资源平台已归集的人口相关数据，构建全市统一的、以公民身份号位为唯一标识的、可共享的综合人口信息资源库。基于综合人口库，实现全市人口信息的汇聚治理、共享交换和应用服务，为开展跨部门、跨业务、跨区域的人口应用服务和数据共享，以及人口大数据分析、辅助决策等，提供全方位的人口信息支撑。人口库管理应用提供对汇聚形成的人口数据的概况展示、人口个案查询及多条件查询、人口统计、人口画像等应用功能，并提供针对人口数据处理规则、数据模型、字段来源、生命周期配置等管理维护功能。人口查询支持人口个案查询及多条件查询，可根据用户权限，通过设定条件，对人口基础信息进行筛选，提供相关人员的基础信息和扩展信息，查询方式有简单查询、组合查询和关联查询。查询时候在查询页面显示当前登录用户的水印。人口统计支持劳动力结构统计、少数民族统计、教育结构统计等信息统计，向用户以多维度展示各种信息资源，能让用户直观感受数据。对人口库数据接入相关功能进行数据接入来源方面的功能整合开发。将原来由人口库向数据提供部门采集且已（将）接入大数据资源平台的数据，通过相关数据接入功能整合开发，改由大数据资源平台直接向人口库提供，不再需要相关数据提供部门重复提供。完成人口库数据资源整合后平台可提供身份核查和信息查询共享服务，通过输入公民姓名和身份证号码，便可查询居民身份号码和姓名匹配度以及死亡（注销）标识，也可提供公民性别、民族、出生日期、出生地等信息查询。根据人口库数据模型和需求从民政，公安，卫生等多个数据源加载数据，由于不同数据源的数据结构可能不同，因而在加载数据之前要进行数据转换和数据整合，使得加载的数据统一到需要的数据模型下，即根据匹配、留存、去重等规则，实现多种数据类型的关联和合并。功能拓展人口数据关联查询为政府平台提供人口数据，支持身份核查和信息查询共享服务，通过输入公民姓名和身份证号码，便可查询居民身份号码和姓名匹配度以及死亡（注销）标识，也可提供公民性别、民族、出生日期、出生地等信息查询。人口数据比对能够进行多委办局、多地点、多时间点、多数据种类比对，由统一数据服务接口提供比对服务，可比对公民姓名、身份证号码、死亡（注销）标识，也可提供公民性别、民族、出生日期、出生地等信息的数据一致性比对。人口数据分析服务在经济活动、公用事业、社会关系、人员密度等各方面提供数据分析服务，支持出生率情况统计、婚姻情况统计、劳动力结构统计、少数民族统计、教育结构统计等信息统计，向用户以多维度展示各种信息资源，能让用户直观感受数据。标签管理对人员各项标签进行维护管理，包括标签用途、匹配状态、匹配方式等内容。标签关联对人员的各项标签进行相应的关联。标签云根据人员标签，可以将人口标签分布以图形化的方式展现出来。人口全息档案以人为主题的信息检索、应用分析需求最广、所含信息要素也最多。“一人一档”就是基于“以人为中心”的设计理念，按人、属性、行为事件、物品、地点、机构等业务要素以及关联关系从多个维度分层构建“一人一档”数据模型，将来自公安网、社会委办局专网、互联网等数据源（现已归集至市数据湖）头中的个人基本信息、个人行为信息、个人工作信息、个人相关物品信息、个人消费信息等数据进行有机整合和关联，去除重复、统一标准、科学分类，系统化、条理化，全面、有效、多视角地展示人员信息及其他信息间的复杂联系，在数据串联的基础上做到人员信息的多维度分析。人口全息档案包括人员基本信息、健康信息、工作信息、资产信息、诚信信息、消费信息等。人员基本信息又包括：姓名、性别、照片、电话、地址、教育、身高、血型、婚姻情况等。健康信息包括：就医、买药、健康状态、特病等。工作信息包括：就职单位、职业资格、技术专业等。资产信息包括：车辆、房屋等。诚信信息：违法犯罪、涉及案件、重点人员、重点人口等。消费信息：银行卡刷卡、会员卡消费等。通过全息档案的建立形成人员关系图谱：对个人相关信息及人员关系通过图的方式形象展示，可以更加清晰、直观地梳理人员及行为、属性关系，可以选择通过列表和人员关系图两种方式查看人员社会信息。个人基本信息模型模型名称：个人基本信息表模型名称英文：DWD_PRTY_INDIV_YYYYMMDD所属模型层：DWD所属主题域：PRTY数据更新周期：日数据采集方式：增量模型说明：存放个人基本信息，个人编号、包括姓名、证件类型、证件编号、证件地址、证件生效时间、证件失效时间、户籍地址、联系电话、生日等基本信息接口单元属性列表：属性编码属性名称属性英文属性类型备注00证件编号CERT_CODEVARCHAR(16)01包括姓名INDIV_NAMEVARCHAR(11)02证件类型CERT_TYPEINT0身份证;10港澳居民来往内地通行证;11台胞;12外籍人士;03性别GENDERINTEGER0不详1男2女04个人状态INDIV_STATEINT1正常2注销3死亡05证件编号CERT_CODEVARCHAR(16)06证件地址CERT_ADDRESSVARCHAR(256)07证件生效时间CERT_EFF_DATEDATE08证件失效时间CERT_EXP_DATEDATE09户籍地址REGISTER_ADDRESSVARCHAR(256)10出生地BIRTH_ADDRESSVARCHAR(256)11居住地址HOME_ADDRESSVARCHAR(256)12联系电话CONT_PHONE_NOVARCHAR(20)13出生日期BIRTH_DATEDATE14身高HEIGHTDEC(10,3)15血型BLOOD_TYPEINT16邮政编码POST_CODEVARCHAR(6)17宗教信仰RELIGIONVARCHAR(256)18民族NATIONAL_TYPEINTEGER19政治面貌POLITICS_FACEINTEGER0党员1团员2群众3其他20学历EDUCATIONINTEGER0初中以下1初中2高中3中专、技校4大专5本科6硕士7博士8其他21健康状态HEALTH_INFOINTEGER22是否失信人IS_DISHONESTINTEGER0否1是23收入级别INCOME_LEVELINTEGER00-3万13万-5万25万-8万38万-10万410万-20万520万-50万650万-80万780万-100万8100万以上24职位JOB_POSITIONVARCHAR(256)25工作单位JOB_COMPANYVARCHAR(256)26工作地址WORK_ADDRESSVARCHAR(256)27婚姻状况MARRY_STATEINTEGER0未知1已婚2未婚28国家NATION_IDBIGINT29省份标识PROVINCE_IDVARCHAR(10)30城市标识CITY_IDVARCHAR(10)31区县COUNTY_IDVARCHAR(10)32更新时间DONE_DATEDATE33是否重点人口IS_KEY_PERSONINT34是否失信人IS_DISHONESTINT35是否限制消费IS_LIMIT_COMSUMEINT个人死亡记录模型模型名称：个人死亡记录表模型名称英文：DWD_EVT_INDIV_DEAD_REC_DM所属模型层：DWD所属主题域：EVT数据更新周期：日数据采集方式：增量模型说明：存放死亡记录，包括死亡人信息，死亡时间等记录接口单元属性列表：属性编码属性名称属性英文属性类型备注00逝者姓名INDIV_NAMEVARCHAR(12)01性别GENDERINTEGER0不详1男2女02年龄AGEINT03证件类型CERT_TYPEINTEGER0身份证;10港澳居民来往内地通行证;11台胞;12外籍人士;04证件号码CERT_CODEVAHCHAR(20)05死亡日期DEAD_DATEVARCHAR(16)06出生日期BIRTH_DATEVARCHAR(256)07省DOMICILE_PROVINCEDATE08市DOMICILE_CITYDATE09区DOMICILE_BOROUGHVARCHAR(256)10详细住址HOME_ADDRESSVARCHAR(256)11业务IDBUS_IDVARCHAR(256)12创建人IDCREATE_USER_IDVARCHAR(20)13创建人CREATE_USER_NAMEDATE14创建时间CREATE_DATEDEC(10,3)15修改人IDMODIFY_USER_IDINT16修改人MODIFY_USER_NAMEVARCHAR(6)17修改时间MODIFY_DATEVARCHAR(256)18是否有效IS_VALIDATEINTEGER19死亡原因类别DEAD_REASON_TYPEINT20死亡原因DEAD_REASONVARCHAR(200)21医院IDHOSPITAL_IDINT22医院名称HOSPITAL_NAMEVARCHAR(200)23居民死亡殡葬证编号PAPER_NOVARCHAR(200)24火化日期CREM_DATEDATE25遗体火化证明编号CREM_PROVE_NOVARCHAR(200)个人健康记录模型模型名称：个人健康记录表模型名称英文：DWD_PRTY_INDIV_HEALTH_DTL_YYYYMMDD所属模型层：DWD所属主题域：PRTY数据更新周期：日数据采集方式：增量模型说明：存放个人健康情况，体检记录、血型、近期医疗情况接口单元属性列表：属性编码属性名称属性英文属性类型备注00证件类型CERT_TYPEINT01身份证号CERT_CODEVARCHAR02用户名USERNAMEVARCHAR03性别SEXVARCHAR04出生日期BIRTHDAYVARCHAR05年龄AGEVARCHAR06手机号PHONEVARCHAR07体检时间CREATETIMEVARCHAR08身高(cm)HEIGHTVARCHAR09体重(kg)WEIGHTVARCHAR10身体质量指数BMIHWBMIVARCHAR11hwBmi状态HWBMISTATEVARCHAR12腰围(cm)WAISTCIRCUMFERENCEVARCHAR13臀围(cm)HIPCIRCUMFERENCEVARCHAR14腰臀BMIYTBMIVARCHAR15ytBmi状态YTBMISTATEVARCHAR16左眼视力LEFTEYESIGHTVARCHAR17左眼视力状态LEFTEYESIGHTSTATEVARCHAR18右眼视力RIGHTEYESIGHTVARCHAR19右眼视力状态RIGHTEYESIGHTSTATEVARCHAR20收缩压(mmHg)HEIGHTPRESSUREVARCHAR21收缩压状态HEIGHTPRESSURESTATEVARCHAR22舒张压(mmHg)LOWPRESSUREVARCHAR23舒张压状态LOWPRESSURESTATEVARCHAR24脉搏(分/次)PULSEVARCHAR25脉搏状态PULSESTATEVARCHAR26血氧(%)OXYGENSATURATIONVARCHAR27血氧状态OXYGENSATURATIONSTATEVARCHAR28血糖(mmol/L)BLOODSUGARVARCHAR29血糖状态BLOODSUGARSTATEVARCHAR30血糖类型BLOODSUGARTYPEVARCHAR31心率(分/次)ECGRATEVARCHAR32心率状态ECGRATESTATEVARCHAR33体温(℃)TEMPLATUREVARCHAR34体温状态TEMPLATURESTATEVARCHAR35体脂肪率(%)FATRATEVARCHAR36体脂肪率状态FATRATESTATEVARCHAR37体脂肪量(Kg)FATVARCHAR38体水分率(%)WATERRATEVARCHAR39体水分率状态WATERRATESTATEVARCHAR40体水分量(Kg)WATERVARCHAR41基础代谢(Kcal)BASALMETABOLISMVARCHAR42基础代谢状态BASALMETABOLISMSTATEVARCHAR43尿酸(mmol/L)URICACIDVARCHAR44尿酸状态URICACIDSTATEVARCHAR45总胆固醇(mmol/L)TOTALCHOLESTEROLVARCHAR46总胆固醇状态TOTALCHOLESTEROLSTATEVARCHAR47甘油三脂(mmol/L)TRIGLYCERIDESVARCHAR48甘油三脂状态TRIGLYCERIDESSTATEVARCHAR49高密度蛋白(mmol/L)HEIGHTLIPOPROTEINVARCHAR50高密度蛋白状态HEIGHTLIPOPROTEINSTATEVARCHAR51低密度蛋白LOWLIPOPROTEINVARCHAR52低密度蛋白状态LOWLIPOPROTEINSTATEVARCHAR53体型评估BUILDVARCHAR54体脂肪率曲线图FATRATELINESVARCHAR55收缩压曲线图HEIGHTPRESSURELINESVARCHAR56舒张压曲线图LOWPRESSURELINESVARCHAR57心电图urlECGSVARCHAR58心率检测结论ECGRATERESULTVARCHAR59中医体质分析PHYSICALVARCHAR60中医体质分析结果PHYSICALRESULTVARCHAR61例如：气虚型??VARCHAR62综合报告健康建议COMREPORTHEALTHADVICEVARCHAR63人体报告健康建议BODYREPORTHEALTHADVICEVARCHAR64血压报告健康建议PRESSUREREPORTHEALTHADVICEVARCHAR65TC/HDLTCHDLVARCHAR66胆固醇CHOLESTEROLVARCHAR67胆固醇状态CHOLESTEROLSTATEVARCHAR68脉率PULSERATEVARCHAR69脉率状态1=偏高2=偏低3=正常PULSERATESTATEVARCHAR70小时HOURVARCHAR71日DAYVARCHAR72月MONTHVARCHAR73年YEARVARCHAR个人就医记录模型模型名称：个人就医记录表模型名称英文：DWD_EVT_INDIV_HSPTREC_DM所属模型层：DWD所属主题域：EVT数据更新周期：日数据采集方式：增量模型说明：存放个人就医记录，包括门诊、急症、住院接口单元属性列表：属性编码属性名称属性英文属性类型备注00病人标识PAT_IDVARCHAR01病人住院号BLHBIGINT02病人门诊号MZHBIGINT03病人就医类别TYPEINT04病人姓名INDIV_NAMEVARCHAR05病人身份证号CERT_CODEBIGINT06性别SEXINT07生日BIRTH_DATEDATE08当前状态PAT_STATEVARCHAR0入院登记1病区分床2病区出院3病人出院4取消结算5进入ICU6进入产房7转科状态8数据转出9作废记录09科室代码KSDMVARCHAR10病区代码BQDMVARCHAR11医生代码YSDMVARCHAR12床位CWDMVARCHAR13护理代码HLDMVARCHAR14膳食代码SSDMVARCHAR15疾病类型DISEASE_TYPEINT16疾病名称DISEASE_NAMEVARCHAR17操作员CZYHVARCHAR18录入日期CREATE_DATEDATE19入院日期IN_DATEDATE20出院日期OUT_DATEDATE21危重级别LEVELVARCHAR22入院方式RYFSVARCHAR23出院方式CYFSVARCHAR24急观标志JGBZINT(0：住院1：在观2：出观)25婴儿标志YEBZVARCHAR26医保代码YBDMVARCHAR27医保定额DEJEVARCHAR28病人类型BRLXVARCHAR29凭证号PZHVARCHAR30主要卡号CARDNOBIGINT31卡类型CARDTYPEBIGINT32社保卡号SBKHBIGINT33其它卡号QTKHBIGINT34医保单位编码DWBMBIGINT35账户标志ZHBZVARCHAR36联系人LXRVARCHAR37联系人关系LXRGXVARCHAR38联系人电话LXRDHBIGINT39联系人地址LXRDZVARCHAR40住院次数ZYCSBIGINT41医疗金额TOTAL_FEEDEC(20,2)42统筹金额OVER_ALL_FEEDEC(20,2)43自负金额SELF_FEEDEC(20,2)44医保中心编号(外地医保)CENTERIDVARCHAR45备注MEMOVARCHAR46担保人DBRVARCHAR47病人过敏信息GMXXVARCHAR个人就医明细记录模型模型名称：个人就医明细记录表模型名称英文：DWD_EVT_INDIV_HSPTREC_DTL_DM所属模型层：DWD所属主题域：EVT数据更新周期：日数据采集方式：增量模型说明：存放个人就医明细记录，包括门诊、急症、住院，各类检查费用明细情况接口单元属性列表：属性编码属性名称属性英文属性类型备注00结算收据号SJHBIGINT01病人标识PATIDBIGINT02挂号收据号GHSJHBIGINT03挂号序号GHXHBIGINT04病人姓名HZXMVARCHAR05病例号BLHVARCHAR06卡号CARDNOVARCHAR07卡类别CARDTYPEBIGINT08医保代码YBDMBIGINT0入院登记1病区分床2病区出院3病人出院4取消结算5进入ICU6进入产房7转科状态8数据转出9作废记录09发票号FPHBIGINT10发票卷序号FPJXHVARCHAR11操作员CZYHVARCHAR12收费日期SFRQDATE13收费科室代码SFKSDMBIGINT14科室代码KSDMBIGINT15凭证号PZHBIGINT16身份证号SFZHBIGINT17医疗项目YLXMBIGINT18诊断代码ZDDMBIGINT19当年账户余额DNZHYEBIGINT20历年账户余额LNZHYEBIGINT21单位代码DWBMBIGINT22病人类型BRLXBIGINT23总金额ZJEDEC(20,2)24自费药品金额ZFYJEDEC(20,2)(0：住院1：在观2：出观)25优惠金额YHJEDEC(20,2)26定额金额DEJEDEC(20,2)27自负金额ZFJEDEC(20,2)28支票金额ZPJEDEC(20,2)29支票号ZPHBIGINT30现金金额XJJEDEC(20,2)31舍入金额SRJEDEC(20,2)32欠款标志QKBZBIGINT33欠款金额QKJEDEC(20,2)34中心流水号ZXLSHBIGINT35计算流水号JSLSHBIGINT36医保结算状态YBJSZTBIGINT37帐户标志ZHBZBIGINT38退收据号TSJHBIGINT39记录状态JLZTBIGINT40挂号收费标志GHSFBZBIGINT41门急诊标志MJZBZBIGINT42家床序号JCXHBIGINT43统筹累计金额TCLJJEDEC(20,2)44住院统筹累计金额ZYTCLJJEDEC(20,2)45医保中心编号CENTERIDBIGINT46欠款补收金额QFBSJEVARCHAR47备注MEMOVARCHAR48统计标志TJBZBIGINT49分类自负金额FLZFJEDEC(20,2)50确认标志QRBZBIGINT51确认操作员QRCZYHVARCHAR52确认时间QRRQDATE53门诊统筹累计标志TCLJBZBIGINT个人职业信息模型模型名称：个人职业信息记录表模型名称英文：DWD_PRTY_INDIV_JOB_YYYYMMDD所属模型层：DWD所属主题域：PRTY数据更新周期：日数据采集方式：增量模型说明：存放个人当前就业情况、学历、资格证书接口单元属性列表：属性编码属性名称属性英文属性类型备注00姓名INDIV_NAMEVARCHAR01证件类型CERT_TYPEINT02证件号码CERT_CODEVARCHAR03手机号PHONE_NOVARCHAR04工作单位GROUP_NAMEVARCHAR05工作地址GROUP_ADDRESSVARCHAR06工作部门START_MONTHVARCHAR07工作岗位END_MONTHVARCHAR08性别GENDERINT09社保开始缴纳月份START_MONTHVARCHAR10社保最晚缴纳月份END_MONTHVARCHAR11缴费金额SOCIAL_SECURITY_FEEDEC(20,2)12缴费比例SOCIAL_SECURITY_RATEDEC(20,4)13学历EDUCATIONVARCHAR14专业MAJORVARCHAR15毕业院校GRADUATE;VARCHAR16是否有教师资格IS_TEACHER_CERTVARCHAR17教师资格种类TEACHER_CERT_LEVELVARCHAR18教师资格科目TEACHER_CERT_SUBJECTVARCHAR19是否特教IS_SPEC_TEACHERVARCHAR20心理健康教育教师IS_PSYCH_TEACHERVARCHAR21专业技术资格等级1QUALIFY_LEVEL1VARCHAR22专业技术资格名称1QUALIFY_NAME1VARCHAR23专业技术资格等级2QUALIFY_LEVEL2VARCHAR24专业技术资格名称2QUALIFY_LEVEL2VARCHAR个人房产信息模型模型名称：个人房产信息记录表模型名称英文：DWD_RES_INDIV_HOUSE_YYYYMMDD所属模型层：DWD所属主题域：RES数据更新周期：日数据采集方式：增量模型说明：存放个人名下的房产登记信息接口单元属性列表：属性编码属性名称属性英文属性类型备注00证件类型CERT_TYPEINT01身份证号CERT_CODEVARCHAR02产权人USERNAMEVARCHAR03产权坐落LOCATIONVARCHAR04产权证号REALNOVARCHAR05受理日期STARTDATEDATE06核准日期PASSDATEDATE07产权备注REMARKVARCHAR08收件编号TRANSACTIONIDBIGINT09房屋编号HOUSE_IDBIGINT10区县代码DISTRICTIDBIGINT11房屋坐落LOCATIONVARCHAR12幢号DOORNUMVARCHAR13部位PARTVARCHAR14建筑面积BUILDINGAREADEC15其中地下建筑面积CELLAR_AREADEC16总层数TOTALFLOORSBIGINT17房屋类型HOUSETYPEVARCHAR18房屋结构HOUSEARCHVARCHAR19竣工日期FINISHEDDATEDATE20权利人名称RIGHTOWNERNAMEVARCHAR21共有情况JOINCASEVARCHAR22份额RATEVARCHAR23土地宗地号LOTCODEVARCHAR24使用期限(起始）USABLEDATEDATE25使用期限(终止）ENDDATEDATE26使用权取得方式LANDSOURCEVARCHAR27土地用途PERMITUSAGEVARCHAR28宗地（丘）面积BLOCKAREADEC29使用权面积LANDAREADEC个人车辆信息模型模型名称：个人房产信息记录表模型名称英文：DWD_RES_INDIV_CAR_YYYYMMDD所属模型层：DWD所属主题域：RES数据更新周期：日数据采集方式：增量模型说明：存放个人名下的车辆登记信息接口单元属性列表：属性编码属性名称属性英文属性类型备注00证件类型CERT_TYPEINT01身份证号CERT_CODEVARCHAR02所有人SYRVARCHAR03车辆idIDVARCHAR04关联idT_IDVARCHAR05号牌号码HPHMVARCHAR06号牌种类HPZLVARCHAR07创建日期C_DATEVARCHAR08号牌类型HPLXVARCHAR09车辆型号CLXHVARCHAR10中文品名ZWPMVARCHAR11车辆类型CLLXVARCHAR12车辆识别码CLSBMVARCHAR13发动机号FDJHVARCHAR14出厂日期CCRQVARCHAR15国产进口GCJKVARCHAR16燃料类型RLLXVARCHAR17机动车使用性质SYXZVARCHAR18排量PLVARCHAR19总质量ZZLVARCHAR20核定载客HDZKVARCHAR21核定载质量HDZZLVARCHAR22购置税证明编号GZSBHVARCHAR23纳税证明编号NSBHVARCHAR24检验有效期至JYYXQZVARCHAR25强制报废期止QZBFQZVARCHAR26等级证书编号DJZSBHVARCHAR27抵押标记DYBJVARCHAR28创建人C_USERVARCHAR29状态ZTVARCHAR个人失信记录模型模型名称：个人失信记录表模型名称英文：DWD_CRDT_INDIV_DISHONEST_REC_YYYYMMDD所属模型层：DWD所属主题域：CRDT数据更新周期：日数据采集方式：增量模型说明：存放个人相关的失信记录信息接口单元属性列表：属性编码属性名称属性英文属性类型备注00证件类型CERT_TYPEINT01身份证号CERT_CODEVARCHAR02姓名INDIV_NAMEVARCHAR03查获时间SEIZURETIMEDATE04失信原因分类CAUSE_TYPEINT05失信原因CAUSEVARCHAR06是否使用假身份ISFAKEIDINT07是否使用假材料ISFAKESTUFFINT08查获人SEIZUREVARCHAR09查获人_显示名称SEIZURE_DISPLAYVARCHAR10查获单位SEIZURENOTARYOFFICEVARCHAR11查获单位_显示名称SEIZURENOTARYOFFICE_DISPLAYVARCHAR12相关事项CASETYPEVARCHAR13相关事项_显示名称CASETYPE_DISPLAYVARCHAR14通报期限LIMITDATEBIGINT15联系方式MOBILEVARCHAR16备注NOTEVARCHAR17相关人RELATEDPERSONVARCHAR18相关人_显示名称RELATEDPERSON_DISPLAYVARCHAR19相关材料RELATEDSTUFFVARCHAR20相关材料_显示名称RELATEDSTUFF_DISPLAYVARCHAR21上报时间REPORTTIMEDATE22上报人REPORTERVARCHAR23上报人_显示名称REPORTER_DISPLAYVARCHAR24状态STATUSVARCHAR25事项类型TYPE_VARCHAR26案卷VOLUMEIDVARCHAR27案卷_显示名称VOLUMEID_DISPLAYVARCHAR28创建时间_DATECREATEDDATE29修改时间_DATEMODIFIEDDATE30创建者_CREATORVARCHAR31修改者_MODIFIERVARCHAR个人犯罪历史记录模型模型名称：个人犯罪历史记录表模型名称英文：DWD_CRDT_INDIV_CRIME_REC_YYYYMMDD所属模型层：DWD所属主题域：CRDT数据更新周期：日数据采集方式：增量模型说明：存放个人相关的历史犯罪记录信息接口单元属性列表：属性编码属性名称属性英文属性类型备注00证件类型CERT_TYPEINT01身份证号CERT_CODEVARCHAR02姓名INDIV_NAMEVARCHAR03罪犯编号ZF_IDVARCHAR04社会关系编号SHGX_NOVARCHAR05关系GX_NAMEVARCHAR06年龄AGEVARCHAR07性别GENDERVARCHAR08单位DWVARCHAR09所在单位行政区划DW_ADDR_XZQHVARCHAR10单位明细DW_ADDR_DETAILVARCHAR11职业ZWVARCHAR12家庭住址行政区划ZZD_ADDR_XZQHVARCHAR13家庭住址明细ZZD_ADDR_DETIALVARCHAR14面貌ZZMMVARCHAR15电话TELEPHONEVARCHAR16记录创建时间C_DATEDATE17记录修改时间U_DATEDATE18删除标志DEL_FLAGVARCHAR19顺序号XHVARCHAR20交换平台更新时间戳JHPT_UPDATE_TIMEDATE个人消费记录模型模型名称：个人消费记录表模型名称英文：DWD_ACC_INDIV_PAYMENT_YYYYMMDD所属模型层：DWD所属主题域：ACC数据更新周期：日数据采集方式：增量模型说明：存放个人消费记录信息接口单元属性列表：属性编码属性名称属性英文属性类型备注00证件类型CERT_TYPEINT01身份证号CERT_CODEVARCHAR02姓名INDIV_NAMEVARCHAR03消费时间TIMETIMESTAMP04消费商户编号SH_NOVARCHAR05消费商户名称SH_NAMEVARCHAR06消费类型TYPEINT07商品/服务名称PRODUCTVARCHAR08消费金额FEEDEC09单价PRICEDEC10消费数量PRODUCT_NUMBIGINT11支付方式PAY_TYPEVARCHAR12支付卡类型PAY_CARD_NAMEVARCHAR13订单号ORDER_NOVARCHAR14支付卡发卡行BANK_NAMEVARCHAR15支付卡卡号BANK_NOVARCHAR16创建时间CREATE_DATEDATE17是否成功ORDER_STATEINT18修改时间DONE_DATEDATE19交换平台更新时间戳JHPT_UPDATE_TIMEDATE人口关系图谱个人婚姻关系模型模型名称：个人婚姻关系表模型名称英文：DWD_REL_INDIV_MARRIAGE_YYYYMMDD所属模型层：DWD所属主题域：REL数据更新周期：日数据采集方式：增量模型说明：存放个人婚姻情况信息接口单元属性列表：属性编码属性名称属性英文属性类型备注00证件类型CERT_TYPEINT01身份证号CERT_CODEVARCHAR02姓名INDIV_NAMEVARCHAR03性别GENDERINT04配偶证件类型PARTNER_CERT_TYPEINT05配偶身份证号PARTNER_CCERT_CODEVARCHAR06配偶姓名PARTNER_CINDIV_NAMEVARCHAR07登记日期DONE_DATEDATE08生效日期EFF_DATEDATE09失效日期EXP_DATEDATE10婚姻状况MARRIAGE_STATEINT11婚姻登记前状态PRE_MARRIAGE_STATEINT个人双亲关系模型模型名称：个人双亲关系表模型名称英文：DWD_REL_INDIV_PARENT_YYYYMMDD所属模型层：DWD所属主题域：REL数据更新周期：日数据采集方式：增量模型说明：存放个人双亲情况信息接口单元属性列表：属性编码属性名称属性英文属性类型备注00证件类型CERT_TYPEINT01身份证号CERT_CODEVARCHAR02姓名INDIV_NAMEVARCHAR03性别GENDERINT04出生日期BIRTH_DATEDATE05父亲证件类型FATHER_CERT_TYPEINT06父亲身份证号FATHER_CCERT_CODEVARCHAR07父亲姓名FATHER_CINDIV_NAMEVARCHAR08母亲证件类型MOTHER_CERT_TYPEINT09母亲身份证号MOTHER_CCERT_CODEVARCHAR10母亲姓名MOTHER_CINDIV_NAMEVARCHAR11登记日期DONE_DATEDATE12生效日期EFF_DATEDATE13失效日期EXP_DATEDATE家庭关系图谱建立婚姻关系与双亲关系等关系型图谱，分析个人的亲属关系，制作关系图谱，进行直观展现。对个人相关信息及人员关系通过图的方式形象展示，可以更加清晰、直观地梳理人员及行为、属性关系，可以选择通过列表和人员关系图两种方式查看人员社会信息。人口全息视图在可视化视图的方式，统计各维度人口的相关基础信息，并在此基础上分类叠加扩展业务信息，例如教育、社保、民政、税务、房产、医疗、交通、消费、旅游等有用指标，并以专题视图的形式提供直观的统计结果表达。人口信息统计进行人口主题分析，管理元数据，建立可进行人口主题分析的汇总资源库。建设数据加工体系，根据确定的主题进行数据抽取、过滤、转换和装载，对不同粒度的数据进行汇总、聚合。人口主题分析包括：人口静态统计分析、人口动态统计分析、人口其他数据统计分析、人口变化及影响。统计指标指标类别指标房产居民户数房产不动产数房产出租率房产交易量房产房产均价房产空置率交通地铁人流量交通公交人流量交通人均车辆保有数教育小学入学人数教育初中入学人数教育高中入学人数教育高中入学率教育大学入学率旅游景区人流量旅游景区人流量旅游公园人流指数旅游交通枢纽人流量民政人口量民政出生率民政死亡率民政人口自然增长率民政失业人口民政失业率民政就业人口民政就业率民政适龄青年结婚比民政适龄青年离婚比社保工作人数社保居住人数社保儿童人数占比社保学生人数占比社保适龄工作人员人数占比社保老年人占比社保社区事务窗口人口比税务人均月均个人所得税金额消费物价指数消费食物消费金额消费食物消费金额占比医疗人均医疗支出费用医疗人均月均医疗统筹费用医疗人均月均医疗次数医疗床位数人口比统计维度同时可按自定义时间、区域、年龄、性别等条件进行筛选查询，用以掌握各维度的人口分布情况和管理效果。维度备注时间小时、日期、月份年龄段性别男、女地理位置区域，商圈教育程度小学、初中、高中、中职、大学人口信息查询提供用户按照元数据进行数据查询组织，完成数据的查询。查询工具支持基于元数据的查询，可以定制显示列和定制查询条件，并具有如下特点：1)支持相关查询2)支持数据过滤（维度、粒度、指标范围）、排序3)支持交叉表、直方图、面积图、离散图、曲线图等4)支持数据导出：Excel、Word、HTML、TXT人口信息空间化人口信息空间化是指人口库与GIS系统对接，即将人口库中存在位置信息的地址数据与GIS系统对接，在空间地理上展示。空间地理信息库实现对地图、图层、工具的操作和使用。支持地图服务、影像服务、地名地址服务、三维服务与坐标转换等功能服务，可为全市用户提供优质的地理信息服务，地图展示区域、街道、小区、楼宇、景点、商圈、交通枢纽等打点信息。支持热力图展现支持地图打点选中地图打点后，可以显示明细信息同时支持全国地图展示：地图操作：方便用户对地图进行操作，包括地图的放大、缩小、上移、下移、左移、右移功能；地图使用者可以通过鼠标拖拽来进行地图的平移，也可以通过键盘的上下左右方向键实现平移，还可通过地图工具按钮实现平移。地图缩放：对自定义查看窗口进行放大缩小。用户可根据自身需求，对查看窗口进行放大显示，更清晰的、快速的找到自己所需要查找的位置，然后通过该功能缩小查看范围，查地图。地图测距：具备国家标准坐标系，可以实现测距测面功能。测距是测量点与点之间的地理实际距离，选取地图上任意两个位置点，可计算两点之间的实际距离。即在地图服务功能中，点击测距，然后选择多点进行测量，三维地图将会标记出各点与点之间的真实距离。测量面积：通过测量面积工具，在地图上任意画出多边形，就会显示多边形的面积。地图查询：范围查询方式可分为“辖区范围”、“拉框选择”、“点圆选择”、“多边形选择”，范围查询也需要先设置目标图层。“辖区范围”在不同级别下，以不同级别的辖区范围为基本单元查询某范围内选定对象的所有记录。在区数据级别，以分局、派出所辖区等为查询范围。“拉框选择”根据在地图上的鼠标拉框的范围，查询目标图层中在此框范围中的记录。“点圆选择”根据在地图上鼠标画出圆的范围，查询目标图层中在此圆范围中的记录。“多边形选择”根据在地图上鼠标画出的多边形范围，查询目标图层中在此多边形范围中的记录。点选查询：在当前地图上，通过选择对象查询图元属性信息。地图框选：在当前地图上，通过画框选择对象查询图元属性信息。多边形选：在当前地图上，通过画多边形来选择对象查询属性信息。自定义区域查询：用户可设置自定义查询项，创建自定义查询快捷访问功能，输入自定义查询条件，进行查询。法人库数据资源整合通过对法人库数据源的全面梳理，利用大数据资源平台已归集的法人相关数据，对法人库数据接入相关功能进行数据接入来源方面的功能整合开发。将原来由法人库向数据提供部门采集且已（将）接入大数据资源平台的数据，通过相关数据接入功能整合开发，改由大数据资源平台直接向法人库提供，不再需要相关数据提供部门重复提供。构建全市法人信息基础数据库后，能把原先碎片化存放的信息归集到法人名下，全面立体的展示法人相关信息，并为全市其他平台和应用提供有力支撑。数据整合法人库管理应用提供对汇聚形成的法人数据的概况展示、法人多条件查询、经营异常查询和简单查询、法人统计、法人画像等应用功能，并提供针对法人数据处理规则、数据模型管理、字段来源管理、行业类型管理、法人监控等管理维护功能。数据来源包括：公安市场监管局税务社保法人库采用统一社会编码作为主键，同一编码仅代表同一个法人实体。根据法人库数据模型和需求从公安、市场监管局、税务、社保等多个数据源加载数据，由于不同数据源的数据结构可能不同，因而在加载数据之前要进行数据转换和数据整合，使得加载的数据统一到需要的数据模型下，即根据匹配、留存、去重等规则，实现多种数据类型的关联和合并。法人数据包括以下类别：登记管理部门机构类别机构