大数据平台深化项目详细设计方案投标文件（技术方案）

大数据平台深化项目详细设计方案投标方案（技术方案）投标方案投标人名称：****有限责任公司地址：****号二楼联系人：****投标日期：****报告说明声明：本文内容信息来源于公开渠道，对文中内容的准确性、完整性、及时性或可靠性不作任何保证。本文内容仅供参考与学习交流使用，不构成相关领域的建议和依据.1实现架构及功能逻辑 11.1设计思路 11.2系统架构 31.2.1系统体系结构 3功能架构 3 5物理组架构 91.2.2系统设计原则 适用性原则 标准化、规范化原则 先进性原则 实用性原则 开放性原则 安全性原则 可扩展原则 1.2.3功能模块描述 重构社会治理大数据存储结构 面向社会治理应用的大数据服务能力 2大数据中心应用模块详细设计 2.1.1概要说明 2.1.2界面设计 2.1.3主要功能详细设计 2.2数据仓库设计 数据库命名 表命名规则 分区规则 .1同步类型 .2分区类型 审计字段 索引规则 表命名规则 索引规则 分区规则 .2创建多级分区 审计字段 2.2.3DM数据库 数据库命名 表命名 专题库 .1列数据设计原则 2.3标准管理 2.3.1数据字典管理 功能描述 实现框架 .1设计思路 接口设计 .1新建数据字典接口 .2唯一性校验接口 .3修改数据字典 .4数据字典列表 .5数据字典删除 .6批量导入数据字典 .7导出数据字典 .8查询数据字典详情 .9根据版本查询字典项 .10标准文件下载 2.3.2数据元管理 功能描述 实现框架 .1设计思路 接口设计 .1数据元列表展示查询接口 .2数据元新增接口 .3数据元查询详情接口 .4数据元修改接口 .5数据元删除和批量删除接口 .6数据元批量导入模板下载 .8数据元批量导出 .9数据元名称和编码是否唯一 .10数据元版本号验证 .11数据元版本号信息查询 .12数据元版本信息更新 702.3.3数据标准管理 功能描述 .1设计思路 接口设计 .1数据标准管理列表查询接口 .2数据标准管理新增接口 .3数据标准管理修改接口 .4数据标准管理删除接口 .5数据标准查看详情接口 否唯一 2.4数据资源共享管理 2.4.1编目管理 2.4.2前段码管理 功能描述 实现框架 .1设计思路 接口设计 .1前段码管理列表接口 .2前段码新增接口 .3前段码修改接口 .4校验前段码名称和编码是否唯一 .5前段码删除 .6前段码导入 .7前段码导出 .8前段码批量导入模板下载 2.4.3资源目录管理 功能描述 实现框架 .1设计思路 接口设计 .1资源编目 .2编目修改 .3资源删除 .4列表查询 .5批量撤销 .6批量导入 .7批量导出 .8编目详情 .9获取数据项 .10唯一性校验 功能描述 实现框架 .1设计思路 主要逻辑实现描述 界面设计 接口设计 .1资源发布 .2获取注册文件列表 .3查看编目信息 .4发布撤销 2.4.5数据库/数据集 .1设计思路 界面设计 接口设计 .1数据库发布 .2获取注册数据库列表 .3查看编目信息 .4发布撤销 需求管理 功能描述 实现框架 .1设计思路 .2类图及描述 接口设计 .1平台初审需求列表查询接口 .2门户数据申请接口 .3平台初审各申请状态下的数据信息数量接 .4平台初审 .5平台数据申请详情查询 .6部门受理反馈接口 功能描述 实现框架 .1设计思路 0界面设计 2.5重点人员监控平台 2.5.1业务场景 2.5.2设计原则和设计要求 2.5.3获取字典项值 请求方式post 请求参数 返回结果 获取指定重点人员列表 .1请求方式post .3请求参数 .4返回结果 获取指定重点人员个人关系 .1请求方式post .3请求参数 .4返回结果 获取指定重点人员活动轨迹 .1请求方式post .3请求参数 .4返回结果 获取指定重点人员重点记录 .1请求方式post .3请求参数 .4返回结果 获取指定重点人员个人信息基本信息 .1请求方式post .3请求参数 .4返回结果 0.1请求方式post 0.4返回结果 1数据库设计 1.1表结构 2实现逻辑 2.6舆情监测分析 2.6.1网络爬虫系统 业务场景 设计原则和设计要求 数据库设计 实现逻辑 2.6.2舆情数据分析 功能逻辑描述 功能模块结构图 2.6.4软件体系架构描述 2.6.5设计思路 2.6.6详细设计 热词分析 .1概要说明 .2类图及描述 .3流程图及描述 热点聚类 .1概要说明 .2类图及描述 .3流程图及描述 .1概要说明 .2类图及描述 .3流程图及描述 2.7智慧搜 2.7.1功能模块结构图 2.7.2软件体系架构描述 2.7.3业务场景 .1精确查询 .2模糊查询 .3指定类型查询 2.7.4数据来源 2.7.5接口设计 智慧搜首页查询接口 .1请求方式post .3请求参数 .4返回结果 按照条件分页搜表数据 .1请求方式post .3请求参数 .4返回结果 按照条件和表名分页搜表数据 .3请求参数 .4返回结果 按照身份证号和表分类搜表数据 .1请求方式post .3请求参数 .4返回结果 2.7.6页面设计 搜索主页 搜索详情页 2.8消息中心、关注对象 2.8.1模块架构 2.8.2个人消息管理UI页面 消息订阅 个人消息 2.8.3消息管理中心UI页面 消息定义 消息订阅 消息推送 2.8.4概念模型 消息实体 消息中心 消息推送 2.8.5物理模型 2.8.7对外接口 2.9平台管理模块 2.9.1单点登录 交互图 访问流程 2.9.2用户组权限 实现框架 .1设计思路 .2获取用户组列表查询接口 .3查看用户组接口 .4用户组关联用户接口 .5新增用户组接口 .6修改用户组接口 .7删除/批量删除用户组接口 .8数据授权 2.9.3用户管理 功能描述 实现框架 .1设计思路 接口设计 .1获取用户列表查询接口 .2新增用户接口 .3修改用户接口 .4删除/批量删除用户组接口 .5用户导入和导出 .6校验唯一性 202.7上传头像 2042.9.4角色管理 功能描述 2.9.5权限管理 207权限管理数据模型 207 对外接口 3.2权限管理 3.2.1角色管理 3.2.2用户管理 2103.2.3红名单 3.3日志管理 3.3.1用户操作日志 3.3.2数据处理日志 2103.系统、数据的安全性设计4、技术先进性设计1.2系统架构1.2.1系统体系结构运维安全保障數据管理标准规范管理数据资源目录散银酒典数据安金大数据应服与务用数据研判模型大数据集相数据整合数据汇集基础设施标准元数据奥情结的分析干参重点人员监控平台大数霞雾标准化处理API接口监控告警监控告警交互图表非结构化数据数据源ODs实时计算系统管理抽取转换公安结构化数据数据服务层e数据存储DWS层：◆基础库：数据计算层：大数据平台计算层加工大数据服务层：基础设施层：用于圆不伸的云丽器用于圆不伸的云丽器任务4.79.2492060020818.79.241..202080EQ\*jc3\*hps10\o\al(\s\up3(操),磁)EQ\*jc3\*hps10\o\al(\s\up3(作),口)pEQ\*jc3\*hps10\o\al(\s\up3(器),00)EQ\*jc3\*hps10\o\al(\s\up3(画),2)9000共学门户管厚80801入下品内院环位1.2.2系统设计原则社会治理大数据平台提供统一的开放标准数据接口，使用统一的数据接口对接综治及外部资源数据。对县(市、区)已经建设数据汇聚的综治平台集中了大量的数据，其中很多数据是敏感数据。平台必须有必要严格执行审查保密制度，在数据调查和获取其他业务协同的数据时不社会治理大数据信息的数量和种类会随着社会治理信息化建设而不断本期项目建设至少满足2~3年的数据存储要求，后期根据数据种类及1.2.3功能模块描述2大数据中心应用模块详细设计2.1首页设计2.1.1概要说明2.1.2界面设计员、奉贤市地图概览、热点事件、区域帮扶对象、事件办结情况。员日日设计思路：表格设计字段名类型说明源系统类型，例如：mysql、源系统表名表格编号英语表名中文表名前端展示标题目标数据库类型数仓数据模型,例如：织小类,例如：重点人员、上访人员是否统计标识统计频度预留字段名类型说明地址编号地址名称经度纬度字段名类型说明表格编号表格名称地址编号统计时间预留字段预留字段预留字段党员出租房屋检查信息表出租房屋刑满释放人员实有人口户籍人口流动人口涉毒人员社区矫正人员网格员信息表网格员网格化建设信息表网格数重点上访人员10TABLE_NAMEVARCHARAREA_CODEVARCHAR2(32)业务处理浏览器1机构队伍1.1请求方式get1.2请求方式url/dptjxx/summary/query1.3请求参数无1.4返回结果返回值名称返回值类型说明false:失败，true:成功名称总数示例/dptjxx/summary/query{{name:”网格员”,value:“112”{name:”党组织”,value:“112”}]}2基本信息2.1请求方式get2.2请求方式url/dptjxx/summary/query2.3请求参数无2.4返回结果返回值名称返回值类型说明false:失败，true:成功名称总数/dptjxx/summary/query{value:“112”{value:“112”]3重点人员3.1请求方式get3.2请求方式url/dptjxx/summary/query3.3请求参数无3.4返回结果返回值名称返回值类型说明false:失败，true:成功名称总数示例/dptjxx/summary/query{name:”社区矫正人员”,value:“112”name:”重点上访人员”,value:“112”4奉贤地图4.1请求方式get4.2请求方式url/dptjxx/summary/queryN4.3请求参数无4.4返回结果返回值名称返回值类型说明false:失败，true:成功地区名经纬度[经度，纬度]名称总数示例/dptjxx/summary/queryN{{“area”:"南桥",“pos”:[123.5,30.6],“list”:[“value”:”112”“name”:”网格员”,“value”:”112”“area”:"南桥",“pos”:[123.5,30.6],“list”:[“name”:”网格数”,“value”:”112”“name”:”网格员”,“value”:”112”5热点事件5.1请求方式get5.2请求方式url/dptjxx/summary/query5.3请求参数无5.4返回结果返回值名称返回值类型说明false:失败，true:成功名称总数示例/dptjxx/summary/query{name:”利福”,value:“37496”{value:“26185”}6帮扶对象6.1请求方式get6.2请求方式url/dptjxx/summary/queryB6.3请求参数无6.4返回结果返回值名称返回值类型说明false:失败，true:成功名称总数/dptjxx/summary/queryBname:”奉浦”,value:“37”{value:“261”]7.1请求方式get7.2请求方式url/dptjxx/summary/querySjb7.3请求参数无7.4返回结果返回值名称返回值类型说明false:失败，true:成功名称总数示例/dptjxx/summary/querySjb{name:”代办”,value:“37”{value:“261”2.2数据仓库设计情主题库图2:数据仓库建模平台数据表ORACLE数据库,目前全量更新，更新周期定义为12.2.10DS数据库名●每天每批次调度为一个分区、存储历史分区，可回溯历史数据；●数据分区，每个分数据量数据量为亿以下；●T+1天调度存储格式为YYYY-MM_DD.同时建区造成数据报错。避免不同时间粒度数据不好判断。Createtablexxpartitionalby(I_datestring)stored●一天多次调度指定小时区分字段存储格式为hh如：00,01,02(一天多调度)I:Insert新增分区数据ODS_Create_datetime记录创建时间(系统时间ODS_delete_date_datetime记录最后记录删除时间(系统时2.2.2DWS数据库况选取Groupby字段做分区。PARTITIONEDBY(monthhive>showhive>showpartitionstb_pPARTITIONEDBY(monthstring,coderowformatdelimitedfieldsterminatedby'\t';loaddatalocalinpath'/home/hadoop/files/nameinfoloaddatalocalinpath'/home/hadoop/files/nameinfoDMS_Create_date记录创建时间(系统时间YYYY_MM_DDHH:MM:S2.2.3DM数据库主题层分为6个数据库，分别如下

Hbase中rowkey可以唯一标识一行记录，在Hbase查询的1、通过get方式，指定rowkey获取唯一一条记录。●长度原则：际应用中一般为10-100bytes,1、目前操作系统都是64位系统，内存8字节对齐，控制在16字节，●散列原则●唯一原则1776565797918688887777201806121502#主叫，被叫1776565797918688887777201806121502#主叫，被叫●预分区通常hbase会自动处理region拆分，当region的大小到达一定阈值我们仍然设计0到499的随机数，但是将以主叫177开头的通话记录-50,50-100,100-150,150-200,200-250,250-300,300-350,350-400,400-450,452.3标准管理2.3.1数据字典管理>新建用户字典；>批量导出、导出用户或系统字典；实现框架.1设计思路◆删除字典信息合用◆批量导入开始开始校验版本号是回数据中验件◆批量导出用于在数据字典列表中当用户勾选数据字典时导出数据字典信息和数据字典项序)长度限制备注1字典名称1~20字符，不允许重复，必填2字典类型包括：系统字典/用户字典，必填字典3字典编码4起草人2~20个字符，支持中英文(包括全角字符)、文按二位计数，非必填；5起草单位0~80个字符，手动输入，非必填6批准时间日期控件，非必填，仅为描述性字段无业务逻辑7标准文件支持各种格式的附件上传，暂不支持视频格式，非必填暂定图片大小：2M大小(其同理)8说明(描0~200字符，非必填9版本号数值型，可以带小数点，比如：1.0.0,必填定长3位字典项1字典项编码1~10个字符，支持文本型数字，必填2字典项名称1~20个字符，必填3描述0~50个字符，非必填4序号序号为自动生成，无需手填类型说明字典名称字典类型系统字典不允许新字典不可删除，0用户字典可删除字典字典编码描述n起草人t起草单位批准时间标准文件附件ID标准文件上传附件后的ID版本号类型说明返回true保存成功，false保存失败请求方式请求地址http://ip:端口/v2/api/ntsysdict/checkU输入参数说明类型说明字典名称字典编码字典ID如果是修改必传类型说明返回请求方式请求地址说明字典名称字典类型系统字典不允许新增，所以传递1系统字典不可删除，0用户字典可删除字典字典编码n描述起草人t起草单位批准时间标准文件附件ID标准文件上传附件后的ID版本号保存为新版本true保存新版本，false不需要保存新版本类型说明返回.4数据字典列表根据条件模糊查询字典信息。类型说明字典名称字典编码输出参数说明说明返回.5数据字典删除>输入参数说明类型说明字典ID字典ID集合输出参数说明类型说明返回true删除成功，false删除失败回合.6批量导入数据字典导入字典信息。>输入参数说明说明字典文件导入规则说明类型说明返回正确导入信息true导入完全成功，false导入失败(此失败可能是模板错误等原因而不会返回错误文件)t导入更新条数t新增条数总数据量http://ip:端口/v2/api/ntsysdict/downloadUpload说明文件名称说明.8查询数据字典详情用于根据字典id和字典版本号查询字典信息的接口；类型说明字典版本号为空表示仅仅查询最新的字典信息输出参数说明类型说明字典名称字典类型系统字典不允许新增，所以传递1系统字典不可删除，0用户字典可删除字典字典编码n描述对应界面说明字段起草人t起草单位批准时间标准文件附件ID标准文件上传附件后的版本号字典所有版本号http://ip:端口/v2/api/ntsysdict/getDictIn>输入参数说明类型说明字典版本号为空表示仅仅查询最新的字典信息类型说明字典名称字典类型系统字典不允许新增，所以传递1系统字典不可删除，0用户字典可删除字典字典编码n描述对应界面说明字段起草人t起草单位批准时间标准文件附件ID标准文件上传附件后的版本号字典所有版本号http://ip:端口/v2/api/fileUpload/down说明标准文件附件说明2.3.2数据元管理>数据元新增：新增数据元信息>数据元的批量操作：数据元的批量导入、导出、删除必须大于现有版本号!”>查看数据元详情接口设计http:ip/port/api/ntresDataElement/findDataElemen参数类型说明数据元名称数据元分类数据元类型参数类型说明JSON字符串.2数据元新增接口http:ip/port/api/ntresDataElement/saveD参数类型说明数据元名称数据元英文名称数据元编码数据类型数据长度版本号参数类型说明返回码说明该数据元的名字已经存在该数据元的编码已经存在.3数据元查询详情接口http:ip/port/api/ntresDataElement/findDataE参数类型说明返回参数说明参数类型说明数据元名称数据元英文名称数据元编码数据元分类数据类型数据长度起草人版本号说明批准时间.4数据元修改接口http:ip/port/api/ntresDataElement/updateD入参说明：数据元被引用，数据元类型字段不可修改，未被引用，所有字段均可修改参数类型说明数据元名称数据元英文名称数据元编码数据元分类数据类型数据长度起草人版本号说明批准时间参数类型说明返回码说明该数据元的名字已经存在该数据元的编码已经存在.5数据元删除和批量删除接口http:ip/port/api/ntresDataElement/deleteData参数类型说明参数类型说明http:ip/port/api/ntresDataElement/downloadUp参数类型说明导入模板文件名http:ip/port/api/ntresDataElement/uploadData参数类型说明导入的是excel文件导入规则(相同编码更新或不更新)参数类型说明导入成功或失败导入失败错误文件http:ip/port/api/ntresDataElement/downloadDa输入参数说明参数类型说明返回参数说明参数类型说明http:ip/port/api/ntresDataElement/checkDataElemen输入参数说明参数类型说明名称或者编码返回参数说明参数类型说明true(唯一)、false(不唯一)http:ip/port/api/ntresDataElement/checkDataEle参数类型说明版本号>返回参数说明参数类型说明true(符合规则)、false(不符合)http:ip/port/api/ntresDataElement/findVersionsDataE参数类型说明>返回参数说明参数类型说明该数据元所有版本信息http:ip/port/api/ntresDataElement/upda参数类型说明数据元实体类数据元所有信息>返回参数说明参数类型说明2.3.3数据标准管理功能描述功能描述：功能点：>数据标准信息删除(批量删除)http:ip/port/api/ntresDataStandard/findDataStandardB输入参数说明参数类型说明标准名称标准号标准类型参数类型说明JSON字符串.2数据标准管理新增接口http:ip/port/api/ntresDataStandard/saveDat参数类型说明标准名称标准代码标准号标准类型关联的数据元/字典ID参数类型说明.3数据标准管理修改接口http:ip/port/api/ntresDataStandard/updateDat参数类型说明标准名称标准代码标准号标准类型关联的数据元/字典ID参数类型说明.4数据标准管理删除接口http:ip/port/api/ntresDataStandard/deleteDataSt参数类型说明参数类型说明.5数据标准查看详情接口http:ip/port/api/ntresDataStandard/findDataSta参数类型说明http:ip/port/api/ntresDataStandard/checkDataStandard参数类型说明名称或者代码、标准号、英文名称参数类型说明true(唯一)、false(不唯一)2.4数据资源共享管理2.4.1编目管理2.4.2前段码管理>删除(批量删除):被引用的前段码不允许删除，删除时连同子级一起删除使用角色超级管理员、数据管理员引用，不能删除”,未被引用，则可以删除(删除时连同子级一起删除),删除接口设计http:ip/port/api/ntresFrontCode/findFront输入参数说明参数类型说明前段码名称类别返回参数说明参数类型说明前段码列表数据输入参数说明参数类型说明前段码名称本地编码类别前段码编码等级返回参数说明参数类型说明http:ip/port/api/ntresFrontCode/updateF输入参数说明参数类型说明前段码名称本地编码类别前段码编码等级返回参数说明参数类型说明http:ip/port/api/ntresFrontCode/checkFrontCodeN参数类型说明名称或者编码参数类型说明true(唯一)、false(不唯一)http:ip/port/api/ntresFrontCode/deleteFront请求方式：GET参数类型说明参数类型说明.6前段码导入http:ip/port/api/ntresFrontCode/uploadFron参数类型说明导入的是excel文件导入规则(相同编码更新或不更新)参数类型说明导入成功或失败导入失败错误文件http:ip/port/api/ntresFrontCode/downloadF参数类型说明前段码名称类别>返回参数说明参数类型说明参数类型说明导入模板文件名模糊查询编目信息：根据条件资源名称，资源类型，资源状态，>批量导出：根据模糊查询或者勾选导出编目数据。/修改编目信息/修改编目信息已拒绝(4)/编目完成甲核拒绝待审核(2)修改编目已撤销(7)已审核(3)数据库中为(待发布)/提交撤销待撤销(6)◆删除编目信息判断状态是否页面点击选择目录，此目录是用来校验资源编码对应目录是否一致，则中(同日录下，系长度限制1资源名称1~60个字符，支持中英文，必填2资源英文名称1~50个字符，必填3资源类型数据库、文件、API服务、APP、微应用，必填4目录分类下拉选择前段码树，必填5主题分类下拉选择字典项，必填6行业分类下拉选择字典项，必填奉贤、省厅共用字典名称，但字典取值不同7数据领域下拉选择字典项，必填8所属业务警种下拉选择字典项，必填省厅专属9要素下拉选择字典项，必填省厅专属资源编码前段码+后段码，自动带出前段码不可修改，后段码为6位阿拉伯数字顺序码，必填提供机构从组织机构树中选择，必填共享类型无条件共享、有条件共享、不予共享，仅为描述信息不做控制，必填是否向社会开放必填开放方式只有API服务有更新周期务、微应该选项联系人长度为4~80个字符，必填；联系方式资源摘要1~200字符，必填关键词0~100字符，支持中文、英文、使用顿号分隔，非必填版本号1.0.0,非必填，仅为描述性信息请求地址类型说明资源名称资源英文名称目录分类ID主题分类行业分类数据领域所属业务警钟e要素资源类型数据库1,文件2,API服务3,APP4,微引用5共享类型1有条件共享，2无条件共享，3不予共享是否向社会开放1是，0否，仅限2.0使用资源编码提供机构e更新周期传递中文资源摘要联系人联系方式版本号关键词数据项(json结构化)>输出参数说明类型说明.2编目修改修改编目信息和数据项信息保存到数据库中；http://ip:端口/v2/api/ntr类型说明资源名称资源英文名称目录分类ID主题分类行业分类数据领域所属业务警钟e要素资源类型数据库1,文件2,API服务3,APP4,微引用5共享类型1有条件共享，2无条是否向社会开放1是，0否，仅限2.0使用资源编码提供机构e更新周期传递中文资源摘要联系人联系方式版本号关键词数据项(json结构化)编目id类型说明用于删除和批量删除编目信息的接口；http://ip:端口/v2/api/ntresresource/d说明输出参数说明类型说明存失败用于模糊查询编目分页信息的接口；类型说明状态资源名称资源类型目录id输出参数说明说明资源编目分页对象.5批量撤销用于批量撤销编目的接口；说明编目id集合输出参数说明说明.6批量导入用于批量导入编目的接口；类型说明导入文件e目录编码导入规则输出参数说明说明输出参数说明类型说明返回正确导入信息true导入完全成功，false导入失败(此失败可能是模板错误等原因而不会返回错误文件)导入更新条数tt新增条数总数据量.7批量导出用于批量导出编目的接口；类型说明输出参数说明说明.8编目详情用于查看具体编目的接口；说明编目id输出参数说明类型说明资源名称资源英文名称目录分类ID主题分类行业分类数据领域所属业务警钟要素e资源类型数据库1,文件2,API服务3,APP4,微引用5共享类型1有条件共享，2无条件是否向社会开放1是，0否，仅限2.0使用资源编码提供机构e更新周期传递中文资源摘要联系人联系方式版本号关键词数据项(json结构单号创建人创建时间e机构名称目录名称主题分类名称行业分类名称数据领域名称更新人更新时间编目id请求地址http://ip:端口/v2/api/ntresresource/findResourceIte说明说明数据项分页信息请求方式请求地址说明编目id修改必传编目名称目录分类资源编码输出参数说明类型说明返回信息true不重复的，false重复●资源发布功能实现框架.1设计思路主要实现文件发布功能，同时提供已发布资源的撤销等功能点，主要发布流程见主要逻辑实现描述。主要逻辑实现描述文件资源的发布需要六个步骤：点击发布文件编目选择发布目录等。接口设计>请求方式：post[.]资源类型>返回参数说明参数类型说明返回json字符串资源类型参数类型说明>返回json字符串[]http://ip/api/resCatalog/findRes输入参数说明参数是否必选说明是资源ID>返回参数说明参数类型说明返回json字符串(包含资源的详细信息字段)输出参数说明{.applyCompanyName:"88中心单位4".catalogId:“77fff9d4ale44f088e692dbdc366c607”.doMainName:”西亚”.equipment:"A5E6C08BD350A03B72E516CC5AOAD860 ","isLast":"-1","level":"0","checked":false,"lastModi17:29:00","highlight":false,"pid":"ftp"},("size":"0","lastModifiedTime":"0","id":"ftp/.id:"491ddcl1b6034dlda962e8.industryType:“6b58c86d679b49e38resCode:"QWERTYUIASDFGHJKGB0111ggglshbz/123212"sectionId:"26cl14b6286f4c78 .themeType:“0111”.themeTypeName:”科学教育”.updateCycle:”实时”.updateTime:“2019-01-2411:08:56”.updateUser:"1d44e77913911le79690408d5}参数类型说明返回json字符串2.4.5数据库/数据集●资源发布功能库据关键点发布数据库02姓名Name文本NameVchar(20)05生日Birthday日期Birthday发布数据库●选择发布资源-O关联数据配置过油策略配置同步策略数据过滤序号资源名称数据项名称数据项类型比较符01HumanBirthdsyDate(8)大于02HumanHeightVcha03Human发布数据库关联数据配置同步策略交换方式：0全量交换增量交换上一步接口设计数据项json.length:“36”type:“12”.}发布关系映射{"id",index:0,showName:}更新策略[dateTypeMax:””·]资源类型是否使用快照参数类型说明返回json字符串输入参数说明资源类型返回参数说明参数类型说明>返回json字符串输出参数说明[.createTime:"2019-01-1017:24:].3查看编目信息http://ip/api/resCatalog/findRes>输入参数说明参数是否必选说明是资源ID参数类型说明返回json字符串(包含资源的详细信息字段){.createTime:"2019-01-1803equipmentName:“88中心设备”fileJson:"[["size":”0”,"lastModifiedTime":"0","id":"ftp/人社局”,"name"”,"isLast":"-1","level":"0","checked":false,"lastModifyTime17:29:00","highlight":false,"pid":"ftp"},("size":"0","lastModifiedTime":"0","id":"f.id:"491ddcllb6034dlda962e8.industryType:”6b58c86updateTime:”2019-01-2411:08:56”}>返回参数说明参数类型说明返回json字符串功能描述使用角色中心管理员结接口设计.1平台初审需求列表查询接口http:ip/port/api/ntresApplyResource/findApplyResource参数类型说明需求名称需求类型受理部门申请状态(不同状态下的需求信息列表)用，值为0)参数类型说明.2门户数据申请接口http:ip/port/api/ntresApplyResource/saveAppl>输入参数说明：参数类型说明需求标题需求类型数据领域数据用途数据项需求描述http:ip/port/api/ntresApplyResource/countResourceNumBy参数类型说明用，值为0)参数类型说明各状态下的需求信息数量.4平台初审http:ip/port/api/ntresApplyResourc参数类型说明平台受理状态受理单位平台要求反馈时间平台反馈说明.5平台数据申请详情查询http:ip/port/api/ntresApplyResource/findApplyReso参数类型说明.6部门受理反馈接口http:ip/port/api/ntresApplyResource/companyF参数类型说明部门受理状态是否新增资源资源名称平台反馈说明部门计划反馈时间部门反馈说明功能描述功能点：本地数据的API资源发布：对本地的数据源分装分布，发布出去提供实现框架.1设计思路API资源发布流程开始开始填写接口URL的方法获取填充发布结束选择服务类型接口服务类型是一图6.4.1API发布的流程图撤销共享0界面设计关联API服务配置服务方信息发布网站：人社内部共掌门户□人社外部共享门户完成□南通政务数据共享门户选择发布资源配置服务方信息完成有效日期：06-21至06-30O时间范围：9点到22点2.5重点人员监控平台2.5.1业务场景2.5.2设计原则和设计要求2.5.3获取字典项值http://ip:port/zfzz/keypersonnel/getDictiona说明http://ip:port/zfzz/keypersonnel/getKeypersonnel说明区域code值重点人员姓名当前请求页说明姓名身份证号性别http://ip:port/zfzz/keypersonnel/getPersonnelRelatio层级code值(用来代表一二三四层)说明姓名身份证号性别出生日期http://ip:port/zfzz/keypersonnel/getLocusB说明e结束日期身份证号说明活动关系列表，下面列出具体的5个对象(航班出、网吧登记信息、酒店入住信息)共有的属性立的属性值说明出发地(航班出港信息、高铁班次信息、长途客车班次信息)出发时间(航班出港信息、高铁班次信息、长途客车班次信息)目的地(航班出港信息、高铁班次信息、长途客车班次信息)http://ip:port/zfzz/keypersonnel/getKeyRecords说明说明罪名原判刑期http://ip:port/zfzz/keypersonnel/getBasicInformatio说明说明人员基本信息表，下面列出具体每个属性的说明身份证号姓名曾用名外文姓名性别出生日期0获取指定重点人员活动轨迹用于地图展示请求方式posthttp://ip:port/zfzz/keypersonnel/getLocusBycondi说明e结束日期身份证号说明目的地说明名名字段类型长度外键为空缺省值表空间描述信族信族息X身份证号唯一约束条件年族貌名名字段类型长度外键为空缺省值表空间描述主键唯一值X号唯一族件证号X.SFZHR号唯一件姓名R名R姓名X.WWXMR年族证号SFZHR情况XX.JTR程度RR族号码MR卡号HR日期R机构R日期R来源R种类R情况R族类型R状态R原因R情况R说明：重点人员phoenix视图，对用hbase重点人员信息表。hbasehbase数据库地址表抽取成功，连接oracle联动指7-事件基本信企业基本信息hivo数据，2.6舆情监测分析2.6.1网络爬虫系统长外缺省表空描名名型度键空值间述主键唯一约束条件标题0类型1时间60名称0内容类别数Yurl调度系统核心在于url仓库，所谓的url仓库其实就是用Redis保存费其中的url,从这个角度考虑，url仓库其实也是一个url队列。某一个挂掉了对整体数据爬取本身没有影响(只是降低了爬虫的速度),2.6.2舆情数据分析文语义编码模型，斯坦福stanford-coreNLP中文语言处理模型，哈工大行下游任务(热词、聚类、话题提取)的设计与开发。NLPNLP国情分析2.6.3分析过程数据模型ISMNSULTDAILY_TTMEFAEEVARCHR2(328YTIMESPANVARCHAR2(32TDESPANVACHM2(32DIDVABCHAR2(32BMIDVABCHAR2(32BYTE)TOPICVABOWR2(128BYE)VABCHAR2(100BYTE)VABCHAR2(500BTEVARCHAR2(500BYTE)NAROHAR2(100)NVAP0B2110D1DVARCHAR2(32BYTE)MIDVARCHAR2(32BYTE)CNTVARCHAR2(32BY1E)INTEASECVARCHAR2(32DIDYARCHAR2(32BMIDVARCHAR2(32BTTE)ONTYARCHAR2NOEYARCHAR2(32BTE)pk,n<fk>NameDataTypeVARCHAR2(32BYTE)VARCHAR2(100BYTE)100BYTE)发布时间(增量标志)NVARCHAR2(100)NVARCHAR2(10)NVARCHAR2(100)NVARCHAR2(100)NVARCHAR2(10)NVARCHAR2(100)NameNameBYTE)NameCommentDataTyTIMESPAN统计时间窗口VARCHAR2(32BYTE)NameComment66下一个中心原文id6、T_SIM_RESULT_WEEKLY相似度分析结果表NameComment下一个中心原文id中心原文id7、T_SIM_RESULT_MONTH相似度分析结果表Name下一个中心原文id中心原文id话题热点趋势表NameBYTE))BYTE)BYTE)NameNameCommentCNTBYTE)2.6.4软件体系架构描述NLTK舆情分析系统的开发语言为Python,采取面向对象设计方法，应用自能模块。支持在高性能单机服务器及spark集群上运行计算。开发IDE2.6.6详细设计赖的外部类主要为斯坦福中文自然语言处理模型。引用的外部包有音名实体识8调性6注pandas,DataFranéN份如上图所示：加载数据和BERT中文预处理模型到内存，通过向量距离计算、向量聚类、聚类去重叠的获取热点聚类topN以及每个聚类的中心文.1概要说明热点话题提取是基于哈工大LTP(语言技术平台)中文NLP模型，对硒o2.7智慧搜2.7.1功能模块结构图展示层展示层角色智慧搜服务层Oracle-Hive:Oracle中已经具备了24张表数据，使用kettle工具连接oracle,将24张表数据，分别在本地落地为24个excel文件。在Hive中建立对应的24个对应的结构空表。kettle连接hadoop,执行抽Hive-Es:首次抽取，在elasticSearch中建立对应的24个索引库。以库对库，表对表形式，利用java代码多线程，分批读取Hive数据，目前共5个线程，每次每个线程读取1w数据，然后执行es批量插入。经测试效率为1000w/30min。增量抽取，Hive库中，每个表会存在创建时间字2.7.2软件体系架构描述ElasticSearch提供，封装es数据接口，应用es提供的javaApi,基于2.7.3业务场景人口#人mam2.7.4数据来源2.7.5接口设计.2请求url1:查身份证号2:查姓名说明字段中英文对照表(有序)查出来的字段值(有序)身份证字段名g公民身份号码g姓名g曾用名g外文姓g外文名ggg性别代码g出生日期g民族代码g学历代码gg婚姻状况代码g宗教信仰代码g兵役状况代码g身高g户籍地址_行政区划代码g户籍地址_地址编码gggg现住址_区划内详细地址g请求url参数名说明姓名电话t生日开始时间生日结束时间说明成功true失败false身份证号字段名表中文名具体内容分页参数意说明表名表名姓名电话t间间说明身份证号字段名表中文名具体内容分页说明1:基础信息身份证号说明身份证号字段名表中文名2.7.6页面设计搜索详情页上a老人a公同9调：20021s4x0144u社哭化隔1012.8消息中心、关注对象读2.8.2个人消息管理UI页面10条/页页1页内容：通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内容通知具体内者通知具体内容通知具体内容通知具体内容通知具体内容通知具附件：附件：消息定义查建建03关于召开第二年席工作总结工报会的通知sYYYY.MM-DD汇量SOrgNameST_数据分析页信息推送服号/消意营理中0/订阅管理用户姓名单位名称面面序号用户姓名02消息名称中共南通市要政法受员04消息名称中共南通市委政法委员会2019-7-2715.27中共南通市要攻法要员会2019-7-2715-27.已本销共400条记录第1/80页68910条/页跳2.8.4概念模型消息订阅IDINTEGER(pk>消息内容IDINTEGER《fk>消息通知INT根据用户订阅，系统后台服务程序按照业务逻辑自动发送消息流水消息类型消息标题消息内容接收用户接收时间是否己读阅读时间发送单位发送时间附件内容用户接收消息记录消息分类分类名称创建时间修改时间信息推送记录消息推送记录1D消息类型消息标题消息内容发布单位发发用户发布状态发布时间附件内容消息内容格式定义创建时间修改时间通过功能界面人工发送消息内容ID消息分类ID消息标题消息分类消息消息分