市级公共大数据运营服务项目实施技术方案

目编号：某市公共大数据运营服务项目实施技术方案目录1 项目的需求理解 71.1 项目技术背景 71.2 项目总体需求 81.2.1 数据运营服务总体需求 81.2.2 项目考核及责罚要求 91.2.3 项目退出机制要求 101.3 项目技术需求 111.3.1 项目服务内容范围 111.3.2 数据治理和数据开放运营服务需求 121.3.3 数据安全管理运营服务要求 201.3.4 政务云管理运营服务需求 281.3.5 数据运营服务202X年重点工作需求 291.4 运营服务管理需求 311.4.1 运营服务要求 311.4.2 服务团队要求 331.4.3 管理经费要求 341.4.4 培训要求 342 项目服务技术方案 342.1 整体运营服务方案 342.1.1 服务目标 342.1.2 服务工期 352.1.3 服务目录 352.1.4 服务内容 372.1.5 202X重点工作规划 1072.2 运营服务管理办法及措施 1092.2.1 运营服务管理 1092.2.2 服务实施管理 1122.2.3 服务工作管理 1152.2.4 服务厂商管理 1162.3 项目培训方案 1182.3.1 培训目标 1182.3.2 培训对象 1192.3.3 培训形式 1202.3.4 培训计划 1212.3.5 培训组织实施 1222.3.6 培训考核 1232.3.7 培训师资 1242.4 项目考核方案 1242.4.1 总体考核办法 1242.4.2 项目考核及责罚方案 1252.5 验收标准方案 1262.5.1 系统验收流程 1262.5.2 提交技术文件 1262.5.3 验收合格条件 1272.5.4 验收方法 1272.6 管理经费方案 1282.6.1 经费预算管理 1282.6.2 服务计量管理 1282.6.3 服务计费管理 1282.6.4 服务结算管理 1292.6.5 服务财务管理 1293 项目实施管理方案 1303.1 项目实施原则 1303.2 项目实施策略 1313.3 项目组织管理 1323.3.1 项目人力资源管理机制 1323.3.2 项目人员组织结构 1333.3.3 机构中人员构成与职责 1333.4 项目服务团队 1363.4.1 服务团队配置 1363.4.2 团队组织架构 1373.5 实施过程管理 1383.5.1 项目启动阶段 1383.5.2 需求分析阶段 1383.5.3 需求规格阶段 1393.5.4 设计阶段 1393.5.5 开发阶段 1403.5.6 测试阶段 1413.5.7 试运行阶段 1413.5.8 验收阶段 1423.5.9 项目维护阶段 1423.6 项目质量保障 1423.6.1 质量管理体系标准 1433.6.2 质量控制过程 1433.6.3 质量评定计划 1433.6.4 质量管理措施 1433.6.5 软件质量控制 1443.7 项目风险管理 1473.7.1 风险定义 1473.7.2 风险管理 1483.8 项目后勤保障 1513.9 项目文档管理 1513.9.1 项目技术文档 1513.9.2 项目管理文档 1524 售后服务计划 1534.1 技术服务方案 1534.1.1 项目规划阶段 1534.1.2 项目实施阶段 1544.1.3 项目验收阶段 1554.1.4 项目维护阶段 1554.1.5 长期技术支持 1554.2 售后服务方案 1564.2.1 维护工具配备 1564.2.2 服务管理体制 1564.2.3 售后服务方式 1584.2.4 服务响应时间 1604.2.5 保修期内服务 1604.2.6 保修期后服务 1614.3 应急响应措施 1614.3.1 应急基本流程 1624.3.2 预防措施 1624.3.3 突发事件应急策略 163

项目的需求理解项目技术背景依托以数据湖+市级数据库为数据存储架构的市级大数据资源平台。数据湖与市级数据库依托于大数据支撑平台建设。以政府购买服务的方式，统一为各部门提供公共数据运营服务。1.市级数据湖市级数据湖是所有从外部数据源落地到招标方的统一数据存储空间。是属于大数据资源平台的采集模块。市级数据湖基于政务云提供的云数据库和云存储服务进行搭建（通常包括关系型数据库、NoSQL数据库、列数据库、分布式文件存储等），主要存放市级政府部门业务数据库、未经加工的原始业务数据库，支持存储结构化、非结构化等多种类型的数据。通过市大数据资源平台与市级各部门业务应用系统、区级各部门或区数据管理部门的前置节点进行交换。数据湖中的共享数据依据元数据进行编目，并建立动态更新的资源目录。市级数据湖的数据存储规模极其庞大，需要支持存储扩展和横向、纵向迁移，直接用于分析的平均价值密度较低，通常需经过预处理、集成后，形成高质量的公共数据资源。2.市级数据库市级数据库，用于存放经过一系列清洗、转换、加载、治理步骤后的高质量的公共数据资源，其数据来源主要来自于市级数据湖。对于如一网通办等特殊应用，平台支持各部门政务应用系统与数据资源池的直接双向交互，无需通过数据湖进行中转，通过平台的调度引擎可进行交换链路的灵活设置。市级数据库以面向不同数据应用、行业领域及主题进行划分（如：综合业务协同、公共基础库、公共主题库、扩展主题库等），并为业务应用和终端用户提供业务对象访问、数据集访问、数据融合加工等数据类服务，支撑业务协同、辅助决策、数据可视化、数据开放、数据建模分析等不同政务数据应用场景。通过数据共享交换平台提供的数据集成总线，对数据湖数据进行批量离线处理或实时处理，并将处理结果落地到数据资源池。数据资源池中的共享数据也需要依据元数据进行编目，并建立动态更新的资源目录。依托大数据资源平台所提供的工具对明细数据和汇总数据进行存储计算，计算结果可以使用分布式文件存储或关系型数据库，用于应用访问或直接展现。安全服务：数据运营服务的实施需符合信息安全等级保护三级标准要求。运行监管要求：满足用户数据运营服务使用、管理和技术措施进行监管的需求，以保障用户信息安全和持续地获得数据服务。具体包括：确保合同规定的责任义务和相关政策规定、技术标准得到了有效实施；了解服务质量是否达到合同的要求；确保发生重大变更时的用户信息和业务安全；确保及时有效地响应安全事件。项目总体需求数据运营服务总体需求数据运营服务的过程中涉及的所有数据的拥有权及使用权均属于采购人，未经许可，投标人无权对其进行支配，所有与数据相关设备的维修、报废等处理需经采购人同意，并在监管下进行。若发现投标人未经许可对数据进行支配，采购人将对投标人采取惩罚措施并追究其法律责任。中标人为服务本项目而采购的场地、环境、链路等硬件资源及各类软件资源，构成专门为采购人提供数据运营服务的设施资源，其拥有权属于中标人，使用权属于采购人。投标人严格执行国家、地方、行业各项有关本项目业务管理和安全作业的法律、法规和制度，积极主动加强和服务业务及安全等有关的管理工作，并按规定承担相应的费用。投标人因违反规定等原因造成的一切损失和责任由投标人承担。投标人在中标后履行数据运营服务的过程中，需遵守《H市数据运营服务管理办法（试行）》、《H市数据运营服务考核评估办法（试行）》等的管理要求，若违反文件相关规定，按照合同违约处理。投标人在服务期内每年通过签署补充协议对当年度的数据运营服务绩效目标、SLA服务要求、用户满意率目标以及服务目录细则予以确认和约定。投标人确认的项目运营服务团队人员及数量，与投标文件承诺一致，未经采购人书面批准不得随意调换或撤离，若自行更换或撤离，按照合同违约处理。投标人明确数据运营安全管理方案，承担运营过程中环境安全、人员安全、信息安全、数据合规使用等相关各类安全责任。投标人按照采购人提出相关要求提供与数据运营服务相关管理制度，相关内容需得到采购人的认可。投标人保证本项目所涉及的软件授权足量合规，满足知识产权方面的有关规定和要求。项目考核及责罚要求采购人会同投标人明确考核实施细则和评分要素，并在补充协议中予以明确，考核内容包含但不限于质量考评、安全考评、资金保障考评、制度保障考评和后勤保障考评等。依据《大数据中心数据运营服务考核评估方法（试行）》进行评分，考核总体得分=服务质量评分*55%(暂定)+服务使用满意率评分*45%(暂定)。数据运营服务考核处罚比例总体得分处罚说明<60分向中标人扣除考核期内有效的所有服务费总额的15%≥60分，<80分向中标人扣除考核期内有效的所有服务费总额的10%≥80分，<90分向中标人扣除考核期内有效的所有服务费总额的5%投标人履行数据运营服务过程中出现重大事故时，由第三方界定责任边界和严重程度，采购人将依据问题严重程度对投标人给予罚款、中止合同或将该投标人报财政部门备案。数据运营服务重大事故责罚序号问题描述罚款金额1因数据运营人为失误导致数据服务中断10万元2依据本招标要求未能履行具体条款20万元3因数据运营的责任事故导致数据服务中断20万元4因数据运营的责任事故导致数据丢失50万元5因数据运营的责任事故导致数据泄露50万元6因数据运营重大责任事故导致数据无法使用100万元★投标人应响应本项要求并提供无条件响应承诺。项目退出机制要求发生以下情况，启动退出机制：服务期内，如中标方提出退出要求，需至少提前6个月向招标方提出退出申请，经批准后需提供6个月的延续服务。服务期满后，若双方不再续约，中标方无条件免费配合各方完成服务交接工作，服务交接期一般延续6个月。服务期内，若由于中标方服务能力不能满足约定要求，例如：考核分数<60分，招标方有权终止合同，责令其退出，并由中标方向招标方支付赔偿费用，相关赔偿费用双方另行协商。退出机制启动后，中标方无条件协助招标方完成大数据运营相关系统的迁移和退出。从系统迁移出的数据，包括但不限于招标方移交给中标方的数据和资料，数据运营系统运行期间产生、收集的数据以及相关文档资料等。中标方不得自行保留数据运营期间产生、收集的数据及相关文档资料，并不能以商业市场的技术手段恢复相关数据和文档资料。项目技术需求项目服务内容范围本项目数据运营服务内容主要包括以下服务目录：服务类别服务子类服务项计量单位数据治理和数据开放运营服务数据治理服务数据采集接入万条数据抽取运维万条数据标注服务万条作业调度运维个数据质量检查及异常处置万条数据开放与应用数据开放服务个数据开放运营个数据分析应用服务数据共享服务个数据融合加工个应用建模服务个可视化展现服务页面数数据安全服务市政务云安全监控服务云基础安全监测服务台云基础安全管理服务台市政务云上应用安全监控服务政务云上应用安全监测分析服务台政务云上应用安全检查评估服务台政务云上应用安全渗透测试服务台政务云上应用安全基础管理服务台威胁情报服务台政务云上应用安全重保管理服务台公共数据安全服务数据安全评估服务万条数据安全审核服务万条数据安全控制服务万条数据历史归档及销毁服务万条政务云运营管理服务云纳管服务分中心云纳管个区云纳管个数据治理和数据开放运营服务建设内容主要包括数据治理服务、数据开放应用和数据分析应用服务三大内容，实现公共数据采集与梳理、数据资源编目与管理、数据质量监管与优化、基础库升级优化与融合加工、数据分析应用、数据共享服务发布、数据开放服务监管与支撑、业务制度规范制定与完善等工作，通过构建完善的数据运营服务体系，有效支撑数据资源共享与开发利用，充分发挥数据价值。数据安全管理运营服务需建立数据安全管理运营服务体系和长效工作机制，开展持续的安全运营服务，加强对重要信息系统的安全保障，凭借云资源连续性服务等质量管理、渗透测试、第三方风险评估、重保和应急响应、威胁情报、数据安全审计及合规性审查等服务保障数据的安全运营能力，实现全网信息安全。政务云管理运营服务为提高全市电子政务云的管理效能，优化其运营监控服务体系，并建立长效管理机制，实现对市云分中心以及区云的常规监测管理。数据治理和数据开放运营服务需求建设内容主要包括数据治理服务、数据开放与应用、数据分析应用服务三大类服务类别，实现推进公共数据梳理与归集、数据资源管理与编目、数据质量监管与优化、基础数据库运营、主题库和专题库运营、数据分析服务、数据共享开放服务接口发布、数据开放服务运营监管与支撑、业务制度规范制定与完善等工作，通过构建完善的数据运营服务体系，有效支撑数据资源共享与利用全生命周期管理，充分发挥公共数据价值。数据治理服务需求负责市级数据湖、市级数据库中各类基础库、主题库、专题库的数据资源治理工作，按照SLA标准提供数据共享服务、数据开放与应用，以及数据分析应用的支撑服务。梳理对象与范围覆盖广，内容丰富，数据治理工作涉及数据采集接入、数据抽取运维、数据标注、作业调度运维、数据质量检查及异常处置等内容。主要内容如下：数据采集接入数据采集接入是指为了保证市大数据中心自有业务（如一网通办，一网统管等）的数据接入工作，保障接入数据的实时性、有效性和完整性。数据采集接入工作分为数据编目和数据接入两部分。数据编目首先要对需要采集接入的数据进行业务理解和数据理解，然后再按照编目规范标准在编目系统中进行编目。数据接入工作包括了从协议适配，接口开发，数据清洗，资源挂载等一系列将数据通过ETL汇集到大数据中心数据湖的过程。根据数据运营重点工作要求，输出物及标准包括但不限于：输出物输出物标准数据资源目录目录符合编目规范、符合系统校验规则；评审通过并附评审报告。数据资源编目变更记录附相关记录材料。采集数据日志日志包含但不限于以下字段：库表位置、运行状态、实际数量等。数据抽取运维数据抽取运维是指日常数据抽取任务维护，保障各信息系统数据及时准确地汇聚，对于问题抽取任务的进行处置调整。该项工作的进行按照应用需求进行集中统一管理，并根据抽取数据对象的不同数据属性、不同业务领域、不同授权场景抽从源数据库取数据到指定目标库中，并完成数据清洗加工等工作。数据抽取任务定时运行，保障数据准确无误进去数据湖中，能够为后续数据应用分析、主题库建设和数据共享环节提供数据支撑。根据数据运营重点工作要求，输出物及标准包括但不限于：输出物输出物标准抽取流程设计符合数据运营工作实际需求，符合数据抽取相关规范，并评审通过，附评审报告。抽取流程变更记录附相关记录材料。优化分析报告（如有）符合优化分析报告模板，附相关记录材料。抽取数据日志日志包含但不限于以下信息：库表位置、运行状态、实际数量等。月总结报告月汇总报告内容至少包含下述绩效指标：及时率=要求的时间内抽取次数/计划抽取次数、准确率=入湖数据量/源头数据量评审通过，附相关记录材料。数据标注服务数据标准服务包括对结构化数据、文本数据、音频数据、视频数据、流媒体等格式进行内容释义，并对内容进行分级分类管理。根据已定义内容分级分类标准、数据标识的需求场景、需要标识的数据业务分类、需要标识的数据安全分类、需标注的数据范围，以挖掘数据资产价值，提升数据资产复用性和数据管理精细化程度，为服务目标进行。根据数据运营重点工作要求，输出物及标准包括但不限于：输出物输出物标准数据标注规则评审通过，附评审报告。数据标注日志/记录日志包含但不限于以下字段，含标注内容、标注数量等。作业调度运维作业调度运维服务是指为了能够满足市大数据中心及各委办局对于数据及时性及稳定性的要求，通过作业调度工具对日常数据加工、数据开放作业、分发作业的调度管理进行监控，对中断，失败，卡死，执行时间过长的作业进行问题分析、定位、处理和记录。并通过事后的分析，明确问题缘由，及时修复，以便后续能够避免同类问题发生的一系列技术服务工作。其工作内容包含但不限于：日常数据加工、开放类任务调，分发作业的调度管理，检查是否及时完成，对于中断作业进行处置。根据数据运营重点工作要求，输出物及标准包括但不限于：输出物输出物标准作业监控数据汇总报告（含异常作业分析）作业监控数据汇总报告，包含但不限于作业运行情况、作业异常分析等，并评审通过，附评审报告。月总结报告符合运维报告模板，并包含以下绩效指标：作业规模数据及变化记录（作业映射到目录数）、作业可用率=（月实际及时完成作业量/每月计划执行作业量）附相关记录材料。数据质量检查及异常处置数据质量检查及异常处置是指为了能够满足市大数据中心及各委办局对于数据正确性及合理性的要求，依照数据稽核需求，设计稽核规则，通过稽核规则对日常数据质量的规范性，合理性，完整性，准确性等进行处理、检查、定位、修复和记录，并通过事后的分析，明确问题缘由，及时修复，生成对应综合质量报告，以便业务部门能够正确，高效的应用数据及分析的一系列过程。数据质量检查及异常处置的目标是保证数据的准确性，需要根据数据特定的内涵和外延，基于不用场景的不同使用要求进行质量检查、校验，并对异常数据进行反馈及处置。根据数据运营重点工作要求，输出物及标准包括但不限于：输出物输出物标准质量规则设计及变更记录符合数据运营工作实际需求，符合数据标准和公共数据模型设计规范，并评审通过，附评审报告。数据质量检查日志日志包括但不限于以下字段：库表名称、检查规则、实际检测数量、异常数据量等。异常数据清单异常数据清单，包含数据信息和判定异常原因，附相关记录材料。数据质量报告符合数据质量报告模板，并评审通过，附评审报告。综合数据质量评价报告符合综合质量检查评价报告模板，附相关记录材料。异常数据修复方案（如有）符合方案模板要求，附相关记录材料。异常数据处置及修复测试报告（如有）测试报告，二次验证通过后的记录材料。数据开放与应用需求推进数据开放应用，开通数据对外开放的渠道，推动委办局各自业务应用的发展。包括数据开放服务、数据开放运营工作。数据开放服务数据共享开放是指为促进公共数据共享和开放，通过需求调研，接口开发，接口联调等过程最终完成各个政府单位和事业单位之间信息共享，与民生紧密相关、社会迫切需要、商业增值潜力显著的公共数据向社会开放的一系列服务工作。数据共享开放工作需要支撑不同的数据开放业务场景、服务类型达。服务接口文档完整、有调用示例，经过测试注册到资源交换平台发布至资源目录。需求方通过接口能够及时进行数据查询，提升数据利用效率和能力。根据数据运营重点工作要求，输出物及标准包括但不限于：输出物输出物标准数据模型设计评审通过，附评审报告。API接口列表符合业务需求和性能要求，并评审通过，附评审报告。接口测试报告测试报告需包括参数名称、类型、取值范围，附相关记录材料。作业上线记录作业上线记录，评审通过，附评审报告。数据开放运营数据开放运营服务是指在数据开放门户网站运行过程中产生的一系列服务工作，包括：数据开放门户内容维护，数据开放运营活动策划，运营数据统计分析，需求审核，咨询解答，报障处理等服务内容，旨在通过对用户使用数据开放的全流程提供服务，提升用户对数据开放平台的使用体验，策划数据开放平台推广方案，促进数据开放平台良性发展。数据开放运营的目标是使得数据利用主体根据数据开放平台的资源目录，提出数据资源需求，通过流程服务人员的服务，使得数据利用主体获取资源。根据数据运营重点工作要求，输出物及标准包括但不限于：输出物输出物标准内容发布记录符合内容发布记录模板，评审通过，并附评审报告。运营策划方案（如有）符合数据运营需求附相关记录材料。运营统计报告包含运营数据统计相关数据，附相关记录材料。问题回复记录符合问题回复记录模板，并包括回复数量，回复及时率，用户满意度，附相关记录材料。知识库补充记录符合知识库补充记录模板，评审通过，并附评审报告需求审核记录包含需求审核数量及需求审核结果，评审通过，并附评审报告数据分析应用服务需求推进数据分析应用，挖掘数据内在价值。包括数据共享服务、数据融合加工、应用建模服务和可视化展现服务。数据共享服务数据共享服务是以促进公共数据共享和交换为目标，根据不同用户角色、使用场景的需求满足不同SLA的数据共享需求，完善数据交换机制的服务。其服务内容至少包括：需求调研，接口开发，接口联调等过程形成API接口、库表交换、文件订阅等。根据数据运营重点工作要求，输出物及标准包括但不限于：输出物输出物标准数据模型设计符合数据运营工作实际需求，符合数据标准和公共数据模型设计规范，评审通过，附评审报告。API接口列表符合业务需求和性能要求，并评审通过，附评审报告。接口测试报告测试报告需包括参数名称、类型、取值范围附相关记录材料。作业上线记录作业上线记录，评审通过，附评审报告。数据融合加工数据融合加工是按需通过综合运营指标、报表、多维分析、即席查询等统计手段，对跨域跨部门的数据进行汇总分析跨层级、跨区域、跨部门、跨领域数据的融合加工，包括数据标准化、转译等服务工作。通过数据融合加工服务需要能促进对数据指标的提炼，对实际的数据融合的数据价值挖掘产生积极影响。根据数据运营重点工作要求，输出物及标准包括但不限于：输出物输出物标准需求文档符合需求文档模板，并评审通过。设计文档（含指标设计）符合数据运营工作实际需求，符合数据标准和公共数据模型设计规范，并评审通过。应用建模服务应用建模是指对不同的业务场景、分析目标、观测目的等各类需求，按需通过数据挖掘、算法建模、人工智能等手段对跨域跨部门的数据进行汇总分析，并提供分析报告或行动建议的一系列过程。其服务步骤至少包括对不同业务问题进行数学模型的建立，包括参数调整、测试集验证等。通过应用建模服务需要能促进对业务分析判断，对实际的业务服务产生积极影响，通过准确的数据分析能够更好的辅助业务决策。同时，应具有一定的可跟踪和可固化的服务需求。根据数据运营重点工作要求，输出物及标准包括：输出物输出物标准需求文档符合需求文档模板，评审通过，附评审文档。设计文档（含指标设计）符合数据运营工作实际需求，符合数据标准和公共数据模型设计规范，评审通过，附评审文档。模型验证报告符合数据运营工作实际需求，符合模型验证基本要求，并评审通过，附评审报告。分析报告（如有）符合分析报告模板，评审通过，附评审文档。可视化展现服务可视化展现服务主要是围绕公共数据治理及相关应用需求，借助图形化手段更加直观、清晰、全面地展现数据治理各环节的工作方法和工作手段，同时完成对外展示的服务支撑。数据可视化展现的服务，包括但不限于图表、数据、APP、小程序、PC端、大屏等服务形式。根据数据运营重点工作要求，输出物及标准包括：输出物输出物标准需求说明书需求说明书符合模板要求，评审通过，并附评审报告。原型设计图（含高保真原型）包括度量页面数量，评审通过，并附评审报告。数据指标设计文档（可选）符合指标设计文档模板，评审通过，并附评审报告。数据库设计文档（可选）符合数据库设计文档模板，评审通过，并附评审报告。接口设计文档（可选）符合接口设计文档模板，评审通过，并附评审报告。测试文档测试通过，符合测试报告模板，并评审通过，附评审报告。可视化交付物可视化交付物部署并正常运行，评审通过，并附评审报告。数据安全管理运营服务要求需建立数据安全管理运营服务体系和长效工作机制，开展持续的安全运营服务，加强对重要信息系统的安全保障，凭借云资源连续性服务等质量管理、渗透测试、安全检查评估、重保和应急响应、威胁情报、数据安全审计及合规性审查等服务保障数据的安全运营能力，实现全网信息安全。市电子政务云安全监控服务需求针对市电子政务云基础平台提供云基础安全监测服务和云基础安全管理服务两类服务内容。云基础安全监测服务云基础安全监测服务是一项安全服务，通过安装至客户端主机，与服务端网络打通之后，可在web端管控相关安全设备。云基础安全监测服务的目的是为了提高市政云的平台整体安全性，加强安全设备管理效能。主要工作包括针对政务云实时开展服务器设备、存储设备、网络设备、安全设备、平台系统监测分析等。该项服务的输出和标准应该至少包括：输出物输出物标准安全监控页面符合安全监控页面模板，评审通过，附评审报告。监控分析报告符合监控分析报告模板，评审通过，附评审报告。性能日志报告符合日志报告模板，并且日志包含但不限于以下内容：性能概况，性能分析等，评审通过，附评审报告。云基础安全管理服务针对政务云实时开展云服务资源、厂商、可用性、连续性、规划、优化、SLA等质量管理。主要服务工作包括业务调研、详细设计、原型开发、数据对接、测试上线、监控保障等。该项服务的输出和标准应该至少包括：工作描述编写规范文档定制云基础安全管理服务的相关方案研发功能针对功能需求开发人员进行相应研发部署版本部署相关资源版本，试运行启动测试功能是否正常QA人员测试相应版本的功能有无bug修复相关问题针对测试/反馈的相应问题进行修复工作正式上线针对测试通过的版本，运维人员部署到生产环境持续跟进需求根据客户使用过程中所提出的相关需求及建议进行相关开发更新工作，推动过程实施，以解决相关问题持续版本迭代针对已修复问题的新版本，运维人员持续保持版本更新持续保证软件质量在项目服务周期中，QA人员持续保障软件的服务质量市电子政务云上应用安全监控服务需求针对招标方指定的信息系统提供应用安全的监控分析、检查评估、渗透测试、基础管理、威胁情报以及重保管理等服务。针对招标方重要信息系统的软件安全质量进行评测并跟踪验证软件安全质量问题直至闭环。政务云上应用安全监测分析服务针对政务云上发布应用，实时开展网络流量收集、分析、展示和预警，按要求提供使用统计报告，以满足对政务云上整体网络安全监控保障需要。该服务需要对政务云上应用安全监测分析服务中所需要提供的从流量接入、分析、场景事件到告警与交付输出的整个过程，达到流量实时监控与安全事件第一时间响应的目标。该项服务的输出和标准应该至少包括：输出物输出物标准《安全监测分析日报》包含值班时间、值班地点、值班人员、平台防护情况、平台攻击源top摘要、可能出现的攻击成功的安全事件。《安全监测分析月报》包含分析事件、告警top摘要、受攻击站点top摘要、攻击者top摘要、当月安全事件汇总。《需求确认与跟踪列表》对服务过程中产生的需求进行分析与执行，并对执行完成情况进行跟踪及说明。《安全攻击事件汇总》包含大量攻击事件、明显攻击事件、攻击成功的安全事件。《安全监测在线报告》对大屏实时展现的内容进行报告拉取、编辑汇总。《安全监控告警处置类单据》安全事件均录入平台工单系统可根据平台记录情况记录安全事件闭环结果，包含事件发生时间、发现人员、事件描述、处置时间、处置人员。《模型设计与评估报告》符合模型设计与评估报告模板。《安全监测分析专项工作报告》符合安全监测分析专项工作报告模板。政务云上应用安全检查评估服务针对政务云上发布应用，定期开展应用安全脆弱性检查和应急预案评估，以满足对政务云上整体应用安全检查需要的目标。该服务需结合具体安全检查的需要，在规定时间节点上，定期组织脆弱性安全评估工作，以满足防止网络数据泄露或者被窃取、篡改以及制定网络安全事件应急预案的要求。该项服务的输出和标准应该至少包括：输出物输出物标准应用安全检查评估服务申请单包含本次安全检查评估的对象范围、时间要求、评估方式（脆弱性检查或应急演练）。安全脆弱性检查报告包含本次脆弱性检查所使用的工具、对象、漏洞清单（漏洞漏报率小于1~3%）以及漏洞整改建议。安全脆弱项处置类单据符合安全脆弱项处置类单据模板，通过验收。安全应急管理评估报告包含本次应急演练的过程记录和需整改的问题清单。安全应急管理缺失项处置类单据记录安全应急管理缺失项的处置过程。安全检查评估专项总结报告包含脆弱性检查和应急预案评估结论汇总、问题清单以及整改优化建议。政务云上应用安全渗透测试服务该服务对目标系统的安全做深入的探测，发现系统最脆弱的环节，采用可控制、非破坏性质的方法和手段发现目标和网络设备中存在弱点，同时提供安全加固意见以提升系统的安全性。该项服务的输出和标准应该至少包括：输出物输出物标准《渗透测试报告》包含本次测试系统检查所使用的工具、对象、漏洞清单（漏洞漏报率小于1~3%）以及漏洞整改建议。《应用系统漏洞汇总表》包含各系统的渗透测试漏洞汇总，漏洞分类情况及修复建议。《回归测试报告》根据之前渗透测试发现的漏洞进行二次验证，检验是否完成所有漏洞的修复，符合回归测试报告模板。《应用系统与映射主机对应清单表》包含本次渗透测试服务中应用系统所对应的所有应用主机清单，便于后续的核算。《安全脆弱项处置类单据》包含发现的漏洞名称、类型潜在威胁及当前处置情况并及时下发。《渗透测试专项总结报告》包含本次渗透测试发现的所有漏洞清单及相关明细。政务云上应用安全基础管理服务政务云上应用安全基础管理服务提供的整改需求接入、安全复测、问题跟踪与交付输出的整个过程，以满足对政务云上整体应用安全管理需要的目标。结合安全基础管理服务的需要，在规定时间节点上，周期性组织应用安全基础管理工作，以满足防止网络数据被窃取、篡改和安全事件管理的要求。该项服务的输出和标准应该至少包括：输出物输出物标准安全问题整改需求清单包含应用对象、问题来源、问题描述、发生时间、复测时间要求。安全整改验证处置类单据记录安全问题整改过程，符合安全整改验证处置类单据模板。安全问题跟踪表包含应用对象、问题来源、问题描述、发生时间、复测时间、复测结果、复测人员。安全基础管理工作报告包含复测结果以及未整改完成项的整改建议。威胁情报服务针对政务云上发布的引用收集威胁情报，以辅助识别外部威胁、确认攻击源头、预警安全威胁、发现未知风险等。需要提供的从安全社区公布、分析、威胁确认到告警与交付输出的整个过程，达到安全威胁情报监控分析与第一时间上报响应的目标。该项服务的输出和标准应该至少包括：输出物输出物标准《安全威胁分析日报》包含攻击类型、方式、影响范围、漏洞详情、缓解措施等威胁情报。《安全威胁分析月报》包含当月威胁情报的分析时间、攻击类型、安全事件、分析说明、处理建议等汇总。《安全威胁分析汇总》包含安全威胁的发现时间、名称、攻击类型、威胁详情、风险级别、潜在影响、处置措施等信息的汇总。《安全威胁分析专项工作报告》符合安全威胁情报专项工作报告模板。政务云上应用安全重保管理服务政务云上应用安全重保管理服务是指针对政务云上发布的应用，在政务云上应用安全重点保障期间，对风险进行分析，制定并执行相应的安全保障方案，从技术、管理、人员等方面提出安全保障要求，确保信息系统的保密性、完整性和可用性，降低安全风险到可接受的程度，以满足对政务云上应用安全重保需要。该项服务的输出和标准应该至少包括：输出物输出物标准《安全重保实施方案》需在其中明确保障工作要求及流程机制、系统相关部门工作职责和内容和要求。经客户评审得到通过后方可生效。《安全重保前期准备工作专项报告》需根据大数据中心网络安全管理体系，要求各部门提供应急预案。《安全重保期间值守工作报告》以日报形式，每日编制安全重保期间值守工作报告，汇报当天安全保障情况，包含当天总体情况、值班情况、安全防护情况等。报告格式需符合采购人的要求。《重保安全风险处置单》服务商需对所保障各业务系统的网络安全监测预警，及时发现告警，第一时间通报至保障领导小组，提交对应事件的网络安全事件通报，并收集处置结果。需产生总结的完整告警处理记录。《安全重保专项总结报告》需要记录保障期间工作实施情况，需要对整个重保期间所有检测到的安全事件以及告警进行统计。要求做到对中高级告警100%及时处理，并在报告中完整体现。公共数据安全管理运营服务需求数据安全评估服务数据安全评估服务是指针对数据资源平台数据定期开展存储分布、应用场景和安全策略评估，深入分析数据资源数据存储过程安全风险，对所发现问题闭环管理，并构建数据安全数据评估服务技术合规评测体系。该项服务的输出和标准应该至少包括：输出物输出物标准《数据安全评估服务评估报告》包含本次数据安全评估服务所使用的对象、存储分布、应用场景和安全策略评估以及深入分析数据资源数据存储过程安全风险。《数据安全评估服务问题列表》包含本次数据安全评估服务需整改的问题清单。《数据安全评估服务问题整改单》记录了一个需要整改问题的发现、整改、二次验证以及确认全生命周期的文档。数据安全审核服务数据安全审核服务是针对数据资源平台的数据开展处理日志审计、账户权限审计和访问行为分析等工作，深入分析数据资源平台在数据处理过程中的安全风险，对所发现问题进行闭环管理。根据数据运营重点工作要求，输出物及标准包括但不限于：输出物输出物标准审核日志包含但不限于审核规则、审核内容、审核数量、审核结果。审核报告通过评审，附评审报告。审核规则及变更通过评审，附评审报告。数据安全控制服务数据安全控制服务是针对数据汇集、数据构建、数据开发、数据开放、数据共享、后台运维等数据流转场景，提升数据防护能力的建设，在满足业务需求正常开展的前提下，最大限度的对敏感数据进行保护，防止敏感数据泄露事件的发生，通过数据安全控制服务进行持续保障数据安全控制相应的应用系统安全、稳定运行。该服务需要做到针对不对数据使用场景下配置化、全覆盖的服务要求，同时需要支撑该服务的灵活性和操作友好性需求。根据数据运营重点工作要求，输出物及标准包括但不限于：输出物以及过程输出物标准安全控制配置化规则评审通过，附评审报告。安全控制执行日志包含安全控制策略、控制记录数等信息。数据安全控制服务报告（如有）包含脱敏、加密、加水印后安全控制服务的分析报告数据历史归档及销毁服务数据历史归档及销毁服务是针对数据运营服务的要求，开展日常数据归档、恢复、销毁等工作的服务。该服务需要做到针对不对数据使用场景下的各类数据按需、配置化、全覆盖的服务要求，同时需要支撑该服务的可逆性和可视化需求。该项服务的输出和标准应该至少包括：输出物以及过程输出物标准归档/销毁方案符合归档或者销毁的运营需求，评审通过，附评审报告。归档/销毁执行日志包含库表位置、运行状态、实际数量等。数据归档/销毁服务报告报告期内各业务系统使用数据归档情况、数据销毁情况。政务云管理运营服务需求为提高全市电子政务云的管理效能，优化其运营监控服务体系，并建立长效管理机制，实现对市分中心及区云分中心进行常规监测管理。分中心云纳管需求分中心云纳管服务是指对政务云的分中心进行常规监测管理服务。分中心云纳管服务的目的是为了提高对分中心整体业务的整合水平和管理能力，对分中心进行有效的常规监测管理等纳管服务。该项服务的输出和标准应该至少包括：输出物输出物标准区中心云对接方案依据《H市政务云建设指南》完成《区中心云对接方案》并提交，符合专家评审要求，并附相关评审文档。区中心云数据对接标准依据《H市政务云建设指南》完成《区中心云数据对接标准》并提交，符合专家评审要求，并附相关评审文档。区中心云基础设施监测管理页面依据《H市政务云建设指南》完成《区中心云基础设施检测管理页面》并提交，符合区中心纳管功能设计指标，并评审通过，附评审报告。区云纳管需求区云纳管服务是指大数据中心对政务云的区云平台进行常规监测管理服务。区云纳管服务的目的是为了提高H市大数据中心对区云平台整体业务的整合水平和管理能力，对区云平台进行有效的常规监测管理等纳管服务。工作描述确认区云纳管目标定义区云的概念，明确分中心职责。编写规范文档定制适合分中心的纳管方案，各分中心统一标准化。编写规范文档定制云基础安全管理服务的相关方案研发功能针对功能需求开发人员进行相应研发部署版本部署相关资源版本，试运行启动测试功能是否正常QA人员测试相应版本的功能有无bug修复相关问题针对测试/反馈的相应问题进行修复工作正式上线针对测试通过的版本，运维人员部署到生产环境持续跟进需求根据客户使用过程中所提出的相关需求及建议进行相关开发更新工作，推动过程实施，以解决相关问题持续版本迭代针对已修复问题的新版本，运维人员持续保持版本更新持续保证软件质量在项目服务周期中，QA人员持续保障软件的服务质量数据运营服务202X年重点工作需求202X年度数据运营重点工作任务如下：（1）上云系统的数据采集：落实预算系统运行状况、数据情况、库表结构、资源目录等数据采集标准。制定上云系统运行状况、数据产生及更新、数据库表结构等数据采集技术要求；（2）各区、各部门数据归集和整合：开展各部门数据完成归集和整合，持续完成纳入预算信息化系统的数据完整归集；制定各区基层业务数据、视频数据和物联数据的采集、存储及结构化处理的技术要求，实现各区与大数据资源平台级联，满足数据归集和分析应用的要求；（3）行业及社会数据归集：拓展交通、口岸等行业的存量及新增数据归集，满足与社会数据的对接的需求，例如物流、快递数据等；（4）深化综合库、主题库以及专题库建设及应用：梳理自然人、法人、空间地理相关数据项，并建立自然人综合库、法人综合库和空间地理综合库；完成主题库深化建设，配合业务部门建立分析应用场景，形成主题库的服务能力；深化路名门牌、自然人婚姻状态、死亡状态核验等专题库建设与应用，形成权威数据清单，完成数据项的标准化工作，实现场景化的跨部门融合；（5）优化数据安全管控能力：推进数据分级分类，实现敏感数据识别及管理；（6）端到端的数据运营管理：实现在线上数据加工流程的监控，支撑基于数据应用场景的监控及管理；提供满足业务协同的要求的数据服务；（7）加强数据质量跟踪监测：完善公共数据质量监测机制，实现市区两级数据质量报告覆盖，提升全市公共数据质量。实现数据服务的数据校验工作。（8）拓展数据开放服务能力：推进普惠金融、交通出行、医疗健康、文化旅游等领域的数据开放；（9）开展“数据月月讲”：以公共数据开发利用为目标，对跨层级、跨区域、跨部门、跨领域数据的融合加工；建设与“数据月月讲”主题相关分析及可视化应用，促进和委办局重点核心业务相关的数据归集；（10）支撑安全运营中心运营工作，保障IT服务管理、网络安全防护等各方面运营能力，借助标准化的流程管理实现持续的城市级安全运营。根据市委市政府和领导专题工作会的要求，招标方会同中标方对数据运营服务工作目标进行动态新增及修改。运营服务管理需求运营服务要求投标方向招标方提供响应文件中采购的所有内容的培训和维护服务，提供H市数据运营资源租赁服务，并负责数据运营服务所需要涉及的硬件安装、软件集成、运维管理工作。若招标文件中所采购的服务等方面的配置或要求中出现不合理或不完整的问题时，投标方有责任和义务在响应文件中提出补充修改方案并征得本项目单位同意后付诸实施，所产生的费用由投标方负责。投标方需按照服务质量保证的服务标准要求提供各种售后服务，负责对其提供的服务进行维护或升级。为保证服务响应效率，投标方可提供距市大数据在3公里以内，至少可容纳300个驻场工程师的办公场所，建设安全保障的设施和安全管理规范，满足招标方的安全监管要求。投标方需提供专职7*24小时的驻场服务，确保重点公共数据服务可用性不低于98%。投标方应根据不同的数据运营服务任务的范围和要求，提出相应运营服务方案，包括但不仅限于处理流程、响应时间、管理体制、维护人员和工具配备等。投标方需按照方案中的事项安排相关团队制定详细的作业计划并执行。未经许可不允许使用大规模自动化扫描工具及渗透工具，禁止上传木马、执行高危payload等影响系统运行的操作。故障响应：处理数据运营过程中发生的由数据及时性、一致性、准确性等引起的问题，确保业务系统能够及时、准确地进行数据共享开放和数据分析应用相关的业务协同。其中故障响应流程需要电子化并规定处理时限及当前处理环节的责任部门和责任人。投标方应提供详细的故障响应方案，该方案需经招标方评审通过。故障处理方案需针对不同故障等级分别制定，故障等级划分包括但不限于：紧急故障：系统核心业务瘫痪，无法提供服务；严重故障：系统核心业务仍能提供服务，但是性能受到严重影响；一般故障：系统核心业务不受影响；在紧急故障发生时，投标方应在15分钟内响应，1小时内对故障进行紧急处理，恢复业务基本运行或完成信息安全事故的影响。因不可抗力致使投标方未按时到达现场除外。因信息安全事故所产生的社会、经济影响，按照投标方相关安全管理办法处置。在严重故障发生时，投标方应在30分钟内响应，2小时内对故障进行紧急处理，恢复业务基本运行。因不可抗力致使投标方未按时到达现场除外。在一般故障发生时，投标方应在60分钟内响应，24小时之内恢复。投标方应提供7x24小时的故障接受渠道，方式包括但不限于热线电话、传真、电子邮件方式。对于上述方式，投标方都应该在规定的服务和响应时间内提供相应的技术支持服务。在系统频繁出现故障、或遇重大节假日等保障，需要提高系统维护等级的情况下，应招标方要求，投标方应提供技术人员提供现场技术支持，及时处理各类故障。以上工作所产生的费用都由投标方承担。投标方应有专门的数据记录方式，记录和整理招标方的各类技术故障分析、技术咨询问题和答复、网络分析报告等等。迁移及升级割接：因数据运营需要，开展业务系统迁移割接和数据运营相关系统软硬件升级割接；中标人在升级前制定完善的操作实施方案，在方案中尽量降低对上层业务系统的影响；对于可能影响上层业务系统的各类操作，应全面评估操作影响，并提前通知招标方具体操作计划安排，在招标方的相关业务部门同意后方可执行操作。根据招标方要求提供业务开通报告及验收测试报告。系统中断：投标方在中标后由于维护原因，需中断系统进行平台升级操作时，提前至少72小时（重大自然灾害除外）通知招标方做好相关准备工作，征得招标方同意方可实施。应急演练与应急响应：根据数据运营所涉及高可用需要和系统各模块的重要性进行针对性演练，制订应急预案，每年组织至少2次应急演练。当发生重大应急事件时，招标方需在中标人的牵头下实施应急响应操作，并在事后制定重大事件报告。配置实施及管理：进行数据运营所涉及的各软硬件设备的基础配置、IP配置、角色用途、账号密码等的统一配置实施及配置管理；重大活动、节假日保障：需制定强化保障措施，需确保业务骨干、管理人员到场并提前制订预案，确保公共数据生产工作安全、稳定运行，涉及数据运营相关的信息安全提供重点保障；服务团队要求投标方应为H市大数据运营单独建立管理组织，配置相应团队。服务团队不少于300人，其中保证核心服务人员不少于20人（具备高级工程师（数据库应用或计算机信息管理方向），ITIL认证服务工程师，信息安全保障人员认证（包含风险管理和安全集成方向）证书，提供最近一个季度依法缴纳社保费的证明，原件彩色扫描件），客户响应及运营人员不少于20人（提供最近一个季度依法缴纳社保费的证明，原件彩色扫描件）。项目经理具有相关管理资质（提供资质证书原件彩色扫描件）。提供主要技术管理人员资质情况（资质证书原件彩色扫描件）。投标方在中标后遵照招标方《大数据中心数据运营服务外包人员管理细则（试行）》的管理要求，实施对服务供应商的监管要求、履行对进场服务的外包服务人员管理责任。落实现场服务厂商签订《保密承诺协议》等协议及工作规范，确保进场的外包服务人员的知情、认可招标方的各项管理流程制度及工作规范，并在服务过程中严格遵守。外包人员在招标方的驻场办公地点工作期间需遵守招标方的出入管理、行为规范、安全管理、出勤管理等相关规定。投标方需实施定期考核评估工作。若外包人员因违反保密义务、工作规范或有其他重大违规行为而被要求退场的，则不得再次使用。若因能力上不符合要求，而被要求退场的外包人员则两年内不再使用。管理经费要求投标方针对数据运营服务拟定相应的运营管理经费管理办法。需要明确运营管理经费的构成、经费预算制定以及经费使用流程等内容。培训要求投标方具备提供大型专业培训服务的能力，能够根据数据运营服务的特点制定培训方案并提供培训，使相关人员在培训后能够独立开展工作，而不必依赖投标方现场指导。培训课程涵盖数据运营服务所涉及的系统使用、数据运营管理等培训，中标人负责安排专业培训讲师授课，并提供全套培训教材和培训课程计划表。培训总则投标方至少满足本章要求的培训服务。所提供的培训课程表随响应文件一起提交。培训授课人是经过厂家认证的工程师。投标方为所有被培训人员提供培训用文字资料和讲义等相关用品。所有的资料是中文书写。培训工作在合同生效后安排。每年安排不少于3次针对各委办局数据治理和开放运营、数据安全运营、政务云运营等内容的培训服务，规模不少于200人天。培训内容与课程要求投标方对项目中所有产品的基本知识、系统或参数配置、管理维护等提供相应的培训。投标方详细列明相应的培训课程内容、人数和时间安排。

项目服务技术方案整体运营服务方案服务目标服务目标是为客户方的政务数据的管理与运营工作打造体系化的运营服务体系，从数据治理、安全、政务云纳管几个方面实现对于数据平台建设的有效补充。数据治理和数据开放运营目标提供数据治理服务、数据开放应用和数据分析应用三大服务内容，实现公共数据采集与梳理、数据资源编目与管理、数据质量监管与优化、基础库升级优化与融合加工、数据分析应用、数据共享服务发布、数据开放服务监管与支撑、业务制度规范制定与完善等工作，通过构建完善的数据运营服务体系，有效支撑数据资源共享与开发利用，充分发挥数据价值。数据安全管理运营目标建立数据安全管理运营服务体系和长效工作机制，开展持续的安全运营服务，加强对重要信息系统的安全保障，凭借云资源连续性服务等质量管理、渗透测试、第三方风险评估、重保和应急响应、威胁情报、数据安全审计及合规性审查等服务保障数据的安全运营能力，实现全网信息安全。云管理运营目标实现对市云分中心以及区云的常规、统一的纳管，提高全市电子政务云的管理效能，优化其运营监控服务体系，并建立长效管理机制。服务工期本项目的服务周期为自合同签订之日，期限为三年。服务目录本期项目服务目录按照服务类别、服务子类、服务项进行三级划分，覆盖了数据治理和数据开放运营服务、数据安全服务、政务云运营管理服务3个方面。本项目数据运营服务内容主要包括以下服务目录：服务类别服务子类服务项计量单位数据治理和数据开放运营服务数据治理服务数据采集接入万条数据抽取运维万条数据标注服务万条作业调度运维个数据质量检查及异常处置万条数据开放与应用数据开放服务个数据开放运营个数据分析应用服务数据共享服务个数据融合加工个应用建模服务个可视化展现服务页面数数据安全服务市政务云安全监控服务云基础安全监测服务台云基础安全管理服务台市政务云上应用安全监控服务政务云上应用安全监测分析服务台政务云上应用安全检查评估服务台政务云上应用安全渗透测试服务台政务云上应用安全基础管理服务台威胁情报服务台政务云上应用安全重保管理服务台公共数据安全服务数据安全评估服务万条数据安全审核服务万条数据安全控制服务万条数据历史归档及销毁服务万条政务云运营管理服务云纳管服务分中心云纳管个区云纳管个服务内容数据治理和数据开放运营服务数据治理服务数据采集接入数据采集模块主要提供了数据源管理、数据接入、数据接入控制等功能，以及数据格式工具等。数据源管理1、数据源状态管理2、平台根据需要提供不同的数据传输调度机制，主要分为定时和实时两种任务调度模式。3、流程管理用来管理数据在多个节点之间的流转。4、数据源日志用来管理服务器中的日志。数据采集前置服务1、适配器前置子系统通过接入适配器提供给应用系统接入。图：适配器技术协议适配图：技术协议适配框架数据库适配图：数据库适配文件适配图：文件适配数据适配图：数据适配格式转换流程图：数据适配格式转换配置工具空间适配器设计在线视频适配器设计业务应用适配器2、桥接管理前置子系统对外提供了WebServices、WMQ、TLQ、JMS、SMTP、FTP、文件等桥接服务。被动桥接方式中应用系统与前置子系统的桥接机制如下图所示：图：被动桥接方式主动桥接方式如图：图：主动桥接方式3、增量数据抽取对于业务系统增量数据的抽取，平台的前置子系统提供了基于业务标识、变化日志等多种解决方案。基于业务标识方案是根据业务系统数据的特性，如交换日期、交换标识等，从而识别出本次所需要交换的增量数据。4、数据转换处理数据转换处理的设计主要是为将来整个系统的扩展而考虑设计的。在这一层定义了应用系统之间进行交换数据的格式标准，该格式标准将遵循通行的工业标准XML，利用XML来定义和描述各应用系统之间以及应用系统和底层架构之间的交互信息。消息转换技术基于XML的交换数据格式基于标准的数据转换数据采集管理数据采集管理是系统提供的基于WEB的管理模块，集中对平台、交换节点、资源统一管理，是交换体系的控制中枢。监控管理负责进行平台运行参数的配置及对数据交换过程的实时监控。根据监控对象的不同，监控管理主要分为业务监控、服务监控、节点监控和故障监控四个监控模块，同时为了支撑这些模块的运行，监控管理还包括安全中心、对外接口和基础构件这些基础模块。1、节点注册管理在平台上注册各级的交换节点，然后进行交换节点的部署。2、节点部署管理只有拥有安装注册号才能进行节点安装。安装注册号与节点前置机MAC地址绑定，有且只能安装在指定节点服务器上。3、用户权限管理对用户及其权限的管理。使用此功能来完成对管理控制台登录账号的维护管理以及权限控制。每一种类型的账号对应着一组可访问的资源。4、配置管理配置管理器用于管理交换中心的相关配置，包括性能限制、用户选项等。有了配置管理器，用户可以动态调整服务器的配置，而不需要重新启动服务器才能使新的配置生效。5、节点运行监控管理对交换节点的运行进行远程控制，主要包括启动、终止、挂起、关闭服务。对交换节点的运行状态进行查询。提供当前交换节点下所有连接（包括应用客户端连接类型和消息中间件连接类型）状态、消息数据采集输出流量的查询，并对查询结果进行分析。数据抽取运维抽取抽取步骤负责将大数据处理平台所需的数据从各个业务系统数据源中提取出来，由于各个数据源内的数据及其质量各不相同，因此针对每个数据源可能需要建立各自独立的抽取流程。抽取流程的目的在于将数据源抽出并通过一组通用接口传送给数据存储模型中的清洗与转换步骤。具体功能要求包括：1、批处理任务启动批处理任务启动负责开始抽取流程，这一程序应该包括以下几项功能：任务调度监控，通常由ETL工具或者第三方任务调度工具负责执行，此程序能够按照预先定义的启动时间自动开始或者重启抽取功能，并且对批处理程序运行进行完善的监控。触发监控，负责在抽取过程中不停检查各个触发器的运行情况。变更数据捕获，通过读取系统审核日志或者比较大数据平台与源系统间的数据值来识别数据发生的变化，并且在发生数据变更的情况下为其他抽取步骤发出提示。2、源数据适配器数据抽取应该提供源数据适配器使得抽取流程可以与业务系统数据源相连接。数据适配器应该能够支持通过JDBC、ODBC或者XML等方式与业务数据库取得连接。应该注意的是，源数据适配器主要用于大数据平台与同级业务系统进行横向数据库连接，而大数据平台与下级业务数据系统之间的纵向连接应该由数据访问平台提供支持。3、过滤与排序在与业务系统数据库获得连接后，抽取流程应该考虑根据需要对所获得的数据进行排序和过滤。例如，将不能对外界披露的信息加以排除等。一般来说，数据过滤任务应该由电子政务系统所有者（即相关委办局）完成。当然，这是理想情况，根据朝阳区政府和各个委办局的实际情况，并不是说有电子政务系统都有能力自行完成数据过滤和排序工作，因此，抽取服务应该能够在满足一下要求的前提下帮助电子政务系统完成数据过滤和排序工作：仅提取大数据处理平台需要的数据尽快进行数据过滤能够支持操作系统级数据过滤与排序，因为类似于Unix等操作系统提供的系统函数对于文本文件的处理效率要高于抽取过程。4、数据类型标准化通常而言，数据元素存放在各个源系统内，并且与大数据处理平台的数据标准并不相同。例如：日期类型的数据在不同电子政务系统中存储的形式可能各不相同（可能是“yyyy-mm-dd”或者是“yy-mm-dd”等）。这样一来，抽取过程就应该负责将不同格式的数据进行标准化。在进行标准化的过程中，程序应该特别注意，因为数据类型转换而可能导致的数据丢失问题。例如，将数据类型为浮点数的数据转换为整数类型时，会丢失小数点以后的数据。清洗清洗流程负责对数据进行清洗与确认，使之与大数据处理平台所要求的数据标准与质量符合。数据清洗流程的设计可以划分为两类：一类是针对特定业务源系统编写的专用清洗程序，另一类是适用于各类业务源系统以及大数据平台清洗需求的通用程序。由于从源系统抽取的数据都存在不同程度的不一致，因此，可以通过使用相关规则来监察和改善数据质量。此外，由于很多电子政务系统的清洗规则和处理流程基本相同，因此应该讲关键的清洗功能设计为通用函数（通过变化参数来满足不同电子政务源系统的清洗需求），以提高其可重用性。清洗流程的目的在于动态监控数据质量问题，并且根据工作人员制定的规则来清洗其中已知的不一致性问题。由于电子政务系统源数据经常会发生变化，因此审核日志是编写清洗流程最重要的参考。通过分析这些日志，开发人员可以建立新的业务逻辑以此来提高大数据处理平台的数据质量。数据清洗流程一般应具备如下功能：解析：通过从数据记录、文档或者数据条目表中抽取单独元素来确定每个数据域的结构域内容的过程。更正：使用成熟的算法以及附加数据源来更改数据以检查和验证信息的程序。标准化：将信息按照一致的性质进行重组，例如：抽取电话号码中的“.”或者“-”等符号。匹配：完成以上几步之后，清洗流程还需要取出所抽取数据中存在的重复，如使用匹配标准和特定规则来识别某些记录是否表示同一名用户。合并：将匹配过程中发现的重复数据进行合并，并形成单独的整合数据视图。在清洗的过程中，应注意一下问题：解决空数据问题对于那些需要清洗的数据，必须为其设置默认值以避免在源系统数据不可用时出现空值的情况。2、数据管控除非经过各委办局容许，业务数据均应该置于源系统内，而数据清洗工作应由相应所有者负责完成，使之能够控制数据清洗的业务规则。转换转换步骤负责对源电子政务系统所抽取数据进行操作或者放大。转换流程是数据在进入大数据处理平台前的最后一次进行修改的环节。事实表的聚合以及关键指标的计算都在这一步完成。数据转换流程通常需要完成两方面任务：对数据进行算术运算以及通过加入外部源系统和各种文本操作对数据进行放大。其中，数据放大可以根据实际需求选择是否在转换步骤中提供此功能，以此容许系统为数据集合加入额外事实与描述。为了保障进入大数据处理平台数据的正确性，整个ETL流程都应该建立审核系统来记录所有发生的数据变更。此外，不论是在清洗还是在转化流程中发生的数据变更，系统都应该保存原始数据以供系统审核使用。在下一次加载以前，转换流程非常需要设置缓冲区来存放数据快照。在转换的过程中应该注意如下问题：1、错误/审核日志所有数据键都应该被数据日志详细记录，此外，在大数据处理平台中还应该使用自然键，并且只有在加载过程中才使用代理键替换自然键，否则会引起主键重复问题。2、映射设计模式由于在每一次转换的过程中，进行映射的数据往往都存放在系统内存中，因此仅仅选择需要的数据域而不要在转换过程中把整张数据表均提取出来，以此降低对系统内存的损耗。例如，在计算公务员平均年龄的转换过程中，最好仅提取人员信息表中人员的年龄以供计算使用，而非将人员信息表整个提取之后再计算。加载作为ETL流程的最后一步，加载流程负责将数据加载到最终的数据结构中，这些结构可以是维度表，也可以是事实表或者事物表等。加载步骤中的关键组件式代理键管道，代理键管道主要用于将加载完成的数据表内自然键替换成代理键。在代理键管道内，维度表的主键与外键仍然得到保留，但是为了提升系统性能，在加载结束之后，一些约束条件将被去除而仅保留自然键进行。数据在经过清洗与转换流程之后即可进行加载。加载流程最重要的职责在于按照数据的逻辑关系进行组织，经过重新组织，所抽取数据即可加载到目标表中，并且使用所生成的代理键替换其中的全部自然键、主键和外键。对于缺失或者无效的自然键，加载流程应该以“不可用”或者“不适用”作为该记录在维度表内的代理键。此外，加载流程应该具备容错和审核日志功能，同时能够在出现问题后继续执行其他程序。键替换应该在数据写入表前按照步骤进行。由于性能的原因，代理键是不能再数据写入数据表后再产生的。在加载过程中应该注意一下问题：数据键生成策略由于在各个特定数据库管理系统内数字序列的产生方法各不相同，因此数据键不应该使用数据库提供的数字序列，而应该由ETL提供专用的键值生成程序。为了满足数据键生成策略的需要，可以再数据库中维护应急使用过的最新数据键列表，而在产生新的代理键以前均通过查询此列表来确定新的数据键值。当然，随着代理键生成的不断增加，存放已生成键值的列表将会逐渐增大。因此，在扫描较大的数据表时，键值生成的效率可能会因此受到影响。此外，大数据处理平台还应该提供数字序列生成器，可以让各个服务器使用。2、数据库性能建议为了保障ETL流程的效率，应该在数据加载前将目标数据表索引和回滚日志等功能禁用，直至ETL流程结束。数据库向一张具备索引的表插入数据的过程是非常耗时的，这种情况应该避免。此外，由于大多数数据库管理系统都会预设最大事务处理数，因此，ETL流程一般不需要记录回滚操作日志。而当偶然事件发生时，将由失败回复流程负责处理，而此服务由ETL加以控制。缓存点在ETL抽取过程中，缓存点的功能主要在于设定任务重启点以及分析数据前后沿袭关系。数据缓存既可以使用平面文件实现也可以使用数据表存放，但是通常不直接镜像目标数据表的数据结构。设置缓存点时应该注意，至少应该在数据抽取和加载两个环节任务完成后放置数据缓存。当然，是否建立缓存点还依赖于ETL架构，在综合性的大型数据处理平台建设时，设立独立的数据缓存点是整个大数据处理平台的性能和可用性都是非常重要的，而对于那些为满足专门需求而建立的小型数据处理平台则不必建立缓存点。当然，是否建立缓存点应该由设计和开发人员决定，而非取决于业务需求。在数据ETL的过程中，如果要进行以下工作，则应考虑建立缓存区：预提交点实时ETL选项ETL断点回复数据沿袭分析辅助调试工具增量分析全过程跟踪数据测试ETL流程在缓存点设计的过程中应该注意以下问题：使用平面文件还是数据表缓存数据将缓存写入平面文件具备一定的优势，但通常来说，为了保障大数据处理平台的效率，应该尽量减少系统I/O。最新的分布式数据库技术已经能够高效操作大数据表。同时，尽管将数据写入平面文件的效率非常高，但是更新平面文件内的数据却非常困难，甚至是不能实现的任务。然而，对数据库表进行相应修改操作却效率高很多。另外一个需要考虑的因素是缓存点开发测试和审核的便捷性，从这方面考虑，从数据库中查询某些数据要远远简单于解析整个缓存文件。缓存点设计尽量简单缓存表和文件必须保持格式一致，并尽量保持简单。数据标注服务利用标签管理功能，按照标注要求对于数据进行标注服务。基础标签管理以列表形式和智能推荐形式将平台中设置的基础标签进行呈现。列表形式是将所有的基础标签一一列出，并可以按照热度进行排序。智能推荐形式是指根据最近时间段内的标签的访问频率、搜索频率等，以轮播的形式循环展现热门标签。另外，提供标签收藏功能，用户可以将自己感兴趣的标签加入到收藏夹。标签关系展现指按标签类编制的图集，采用JavaScript结合Html5技术，通过标签将相关联的数据目录关联在动图中展现给用户，形成丰富数据盛筵的展示效果，做到通过一张图就可以将某一条数据的关联数据、以及数据之间的关系全部展示出来。在此功能中，用户可以任意选择基础标签库中的标签，与此相关联的数据目录会以立体图的形式展现出来。标签云标签云模块通过标签访问次数统计出热门标签，让平台运维人员了解哪些标签是访问频率高的、是符合用户访问习惯的，并结合用户的搜索记录，优化标签设置，使之更通用和人性化。通过对市级数据库共享数据访问指数的综合分析，可以得出哪些部门的哪些类型的数据是数量丰富、是质量良好的，也可以得出哪些部门共享开放的哪类数据是使用率较低的。通过将政府部门共享开放数据指数公开化和部门之间的对比分析，推动政府各部门主动的、积极的开放更多的、更优质的数据资源。作业调度运维运维概览主要用来展示调度任务的指标数据情况，目前包括任务完成情况、任务运行情况、任务执行时长排行、调度任务数量趋势、近一月出错排行、任务类型分布、30天基线破线次数排行。数据运维监控监控运维为数据开发者和维护者提供一站式的数据运维管控能力，可自主管理作业的部署、作业优先级、以及生产监控运维平台提供数据监控运维、任务运行情况监控、异常情况告警、日常运维数据统计等功能。运维任务管理可视化展示调度任务DAG图，极大地方便运维管理；1)支持任务运行状态监控告警；2)支持单任务重跑、多任务重跑、kill、置成功、暂停等操作；3)支持列表和DAG两种模式；4)可以针对周期运行。数据质量检查及异常处置数据质量检查针对实时流数据需要提供数据质量管理功能，即提供对实时流的数据质量规则的设置、维护、调度、优化等规则的管理功能，以及对实时流数据源接口关键数据、数据实体和处理过程的监控告警，辅助数据质量管理人员快速定位问题的原因及处理方案，并定期生成针对实时流数据的数据质量评估报告的功能。数据质量定制化开发通过自定义扩展规则能力，灵活方便的自定义扩展能力，可以灵活定制质量监控的规则、问题数据的检测规则和问题数据的清洗回收的方式。数据异常管理主要针对在市级数据库在形成和使用过程中，每个数据处理环节出现的技术异常问题发现及处理的功能。主要包括异常规则管理、异常问题列表、人工处理管理、系统处理管理、异常处理统计分析等功能。异常对接管理对接数据交换总线、数据集成总线、数据服务总线系统中异常日志模块，对各子系统相关异常管理信息进行集成，异常对接管理对相关子系统接口进行管理维护。异常问题列表展示异常问题信息，按等级进行分类或主动推送，同时对异常问题进行归类整理，并定义规则进行选择性忽略或提醒。人工处理管理人工处理管理是记录针对异常信息，人工处理所登记的台账信息，可按照异常分类进行分类授权，实现指定问题的指定人员处理，同时，构建台账信息也为未来实现统一的运营管理平台预留相关服务接口。系统处理管理系统处理管理是针对异常信息集成的各子平台系统处理结果的收集，该类信息往往不需要人工干预，比如数据自动重发等。异常处理统计分析按照异常分类、处理情况、时间、等级等维度进行分类统计，以图表的形式展现便于管理人员汇总分析。数据分析应用服务数据共享开放服务资源订阅和订阅审批资源订阅是指用户可以订阅某个目录下的所有资源,并对已经产生的订阅申请单具有查看，编辑和撤消操作。申请订阅审批通过后，点击目录后，出现“查看数据实体”按纽，可以查看该目录资源的数据实体。资源订阅审批功能主要实现订阅申请单审批状态的查看、查询和资源订阅申请审批功能。平台管理员可以进行的审批操作包括：受理、驳回。审批用户可以进行的审批操作包括：通过、未通过。具有权限的订阅用户只能够查看自己订阅资源的审批状态。实体资源查看资源实体查看是指平台管理员和具有查看权限的用户，对数据资源实体进行查看的功能。平台管理员用户可以查看所有已发布的资源实体数据。其他用户必须通过授权或对该用户订阅且通过审批的数据资源进行查看。资源实体查看的显示内容，根据用户选择的资源目录提供相应的数据资源实体信息列表查看功能，同时资源实体查看具有查询功能。共享目录管理交换目录中关联元数据和接口服务，便于目录数据的管理和查看。具体包括：交换单位新增、修改、删除、排序；业务系统分类新增、修改、删除、排序；业务系统新增、修改、删除、排序；元数据的建立、排序；接口服务新增、修改、删除、排序共享接口服务管理接口管理功能对平台中涉及到各种数据交换接口进行管理，提供数据接口的维护功能，提供灵活的数据接口定义，方便系统扩展。用户根据自己单位的交换业务进行分类，然后在相应分类中注册交换业务系统，交换业务系统根据定义的元数据，发布接口服务，在接口服务中确定接口类型和接口地址。在收集已建和待建的众多应用系统的数据交换接口信息后，提供面向应用系统开发接口，制定数据交换接口规范，已有或是待建的应用系统可根据接口规范把接口信息加入到接口管理中。系统整合的开发总的原则：对于接入到数据交换平台需要进行数据交换的系统，一方的程序不直接操作另一方的数据库，而是调用另一方的提供的标准数据接口。被整合的业务系统要提供的接口和开发的程序：共享目录的接收地址；业务类型接口配置地址；消息通知接口；调用并解析数据的程序；状态返回程序；中间状态返回接口。数据落地数据落地需要进行数据交换的数据，根据数据形态不同，容量不同，会有不同的存储需求。从中心平台的角度，数据量较大的数据，从数据提供者处获取到中心平台后，应该进行落地存储，这样可以保证同时为多个数据使用