![云计算数据管理平台总体方案设计_第1页](http://file4.renrendoc.com/view/afbb52861d3b34ec44d6d2ae2323212a/afbb52861d3b34ec44d6d2ae2323212a1.gif)
![云计算数据管理平台总体方案设计_第2页](http://file4.renrendoc.com/view/afbb52861d3b34ec44d6d2ae2323212a/afbb52861d3b34ec44d6d2ae2323212a2.gif)
![云计算数据管理平台总体方案设计_第3页](http://file4.renrendoc.com/view/afbb52861d3b34ec44d6d2ae2323212a/afbb52861d3b34ec44d6d2ae2323212a3.gif)
![云计算数据管理平台总体方案设计_第4页](http://file4.renrendoc.com/view/afbb52861d3b34ec44d6d2ae2323212a/afbb52861d3b34ec44d6d2ae2323212a4.gif)
![云计算数据管理平台总体方案设计_第5页](http://file4.renrendoc.com/view/afbb52861d3b34ec44d6d2ae2323212a/afbb52861d3b34ec44d6d2ae2323212a5.gif)
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、 云计算数据管理平台总体方案设计目录 TOC o 1-3 h z u HYPERLINK l _Toc41160195 1.项目需求理解方案 PAGEREF _Toc41160195 h 5 HYPERLINK l _Toc41160196 1.1.项目现状理解 PAGEREF _Toc41160196 h 5 HYPERLINK l _Toc41160197 1.1.1.项目背景 PAGEREF _Toc41160197 h 5 HYPERLINK l _Toc41160198 1.1.2.前期建设成果 PAGEREF _Toc41160198 h 5 HYPERLINK l _Toc411
2、60199 1.1.3.项目承接内容 PAGEREF _Toc41160199 h 7 HYPERLINK l _Toc41160200 1.2.项目目标理解 PAGEREF _Toc41160200 h 8 HYPERLINK l _Toc41160201 1.3.项目内容理解 PAGEREF _Toc41160201 h 9 HYPERLINK l _Toc41160202 1.3.1.云平台数据管理升级完善及运维工作 PAGEREF _Toc41160202 h 9 HYPERLINK l _Toc41160203 1.3.2.机构改革涉及云平台调整优化工作 PAGEREF _Toc41
3、160203 h 12 HYPERLINK l _Toc41160204 1.3.3.其他优化需求 PAGEREF _Toc41160204 h 13 HYPERLINK l _Toc41160205 1.4.项目范围理解 PAGEREF _Toc41160205 h 13 HYPERLINK l _Toc41160206 1.5.项目需求分析和响应 PAGEREF _Toc41160206 h 13 HYPERLINK l _Toc41160207 1.5.1.总体需求分析 PAGEREF _Toc41160207 h 13 HYPERLINK l _Toc41160208 1.5.2.具体
4、需求分析 PAGEREF _Toc41160208 h 15 HYPERLINK l _Toc41160209 1.5.3.各需求间的逻辑关系及实施先后关系 PAGEREF _Toc41160209 h 54 HYPERLINK l _Toc41160210 1.5.4.项目的需求建设思路及原则 PAGEREF _Toc41160210 h 55 HYPERLINK l _Toc41160211 1.6.云平台数据管理项目基础架构和应用场景的理解 PAGEREF _Toc41160211 h 57 HYPERLINK l _Toc41160212 1.6.1.云平台数据管理项目建设的主体思路理
5、解 PAGEREF _Toc41160212 h 58 HYPERLINK l _Toc41160213 1.6.2.云平台数据管理项目基础架构理解 PAGEREF _Toc41160213 h 60 HYPERLINK l _Toc41160214 1.6.3.总体业务架构理解 PAGEREF _Toc41160214 h 61 HYPERLINK l _Toc41160215 1.6.4.云平台数据层技术架构 PAGEREF _Toc41160215 h 63 HYPERLINK l _Toc41160216 2.总体设计方案 PAGEREF _Toc41160216 h 67 HYPER
6、LINK l _Toc41160217 2.1.总体要求 PAGEREF _Toc41160217 h 67 HYPERLINK l _Toc41160218 2.1.1.对业务理解和创新优化的要求 PAGEREF _Toc41160218 h 67 HYPERLINK l _Toc41160219 2.1.2.对项目工程和建设风险的要求 PAGEREF _Toc41160219 h 68 HYPERLINK l _Toc41160220 2.1.3.对项目管理的要求 PAGEREF _Toc41160220 h 68 HYPERLINK l _Toc41160221 2.1.4.对工作质量监
7、督的要求 PAGEREF _Toc41160221 h 69 HYPERLINK l _Toc41160222 2.1.5.对税收信息化建设的整体要求 PAGEREF _Toc41160222 h 69 HYPERLINK l _Toc41160223 2.1.6.时间要求 PAGEREF _Toc41160223 h 69 HYPERLINK l _Toc41160224 2.1.7.其他要求 PAGEREF _Toc41160224 h 70 HYPERLINK l _Toc41160225 2.2.业务设计 PAGEREF _Toc41160225 h 70 HYPERLINK l _T
8、oc41160226 2.2.1.云平台数据管理项目日常运维及优化完善设计 PAGEREF _Toc41160226 h 71 HYPERLINK l _Toc41160227 2.2.2.机构改革软件服务设计 PAGEREF _Toc41160227 h 125 HYPERLINK l _Toc41160228 2.3.技术设计 PAGEREF _Toc41160228 h 139 HYPERLINK l _Toc41160229 2.3.1.设计目标 PAGEREF _Toc41160229 h 139 HYPERLINK l _Toc41160230 2.3.2.设计原则 PAGEREF
9、 _Toc41160230 h 139 HYPERLINK l _Toc41160231 2.3.3.平台设计 PAGEREF _Toc41160231 h 141 HYPERLINK l _Toc41160232 2.3.4.统一工作平台设计 PAGEREF _Toc41160232 h 151 HYPERLINK l _Toc41160233 2.3.5.应用设计 PAGEREF _Toc41160233 h 229 HYPERLINK l _Toc41160234 2.3.6.数据设计 PAGEREF _Toc41160234 h 232 HYPERLINK l _Toc41160235
10、 2.3.7.网络设计 PAGEREF _Toc41160235 h 291 HYPERLINK l _Toc41160236 2.3.8.部署设计 PAGEREF _Toc41160236 h 301 HYPERLINK l _Toc41160237 2.4.安全设计 PAGEREF _Toc41160237 h 303 HYPERLINK l _Toc41160238 2.4.1.安全要求 PAGEREF _Toc41160238 h 304 HYPERLINK l _Toc41160239 2.4.2.安全评测 PAGEREF _Toc41160239 h 306 HYPERLINK l
11、 _Toc41160240 2.5.系统架构标准和实现约束 PAGEREF _Toc41160240 h 308 HYPERLINK l _Toc41160241 2.5.1.标准规范 PAGEREF _Toc41160241 h 308 HYPERLINK l _Toc41160242 2.5.2.实现约束 PAGEREF _Toc41160242 h 371 HYPERLINK l _Toc41160243 2.6.与原项目的无缝衔接设计 PAGEREF _Toc41160243 h 372 HYPERLINK l _Toc41160244 2.6.1.应用衔接 PAGEREF _Toc4
12、1160244 h 372 HYPERLINK l _Toc41160245 2.6.2.服务衔接 PAGEREF _Toc41160245 h 374 HYPERLINK l _Toc41160246 2.6.3.数据衔接 PAGEREF _Toc41160246 h 375项目需求理解方案项目现状理解项目背景云平台数据管理项目基于大数据技术和理念,以云平台为基础,集中、拓宽和整合内外部数据资源,统一规范数据应用范畴,为各需求主体提供更为全面丰富的决策和参考支持,构建开放协作的税务数据生态环境。项目自开工建设以来,始终以“用数据服务征管方式转变”为建设主线,在大数据算法应用、海量用户支持、关
13、系云图、风险动态积分、用户画像等方面进行了积极探索、实践,出色完成了设定任务,达到了预期效果。目前,云平台数据管理项目已从验证阶段转为生产应用阶段,实现了以数据为中心,以技术基础平台为依托,以分析类应用实现为目标,涵盖数据“采、存、通、用”全生命周期的一体化生态系统,是大数据、互联网、云计算等理念、方法论、技术手段和解决方案的集成展现。在云平台数据管理项目建设完成的基础上,总局云平台数据管理升级完善及运维和机构改革软件服务工作的主要任务是:以云平台数据管理项目建设内容为基础,做好现有硬、软件运行维护与优化升级;进一步拓宽数据集成范围、拓展数据应用、深度挖掘数据价值;根据机构改革后云平台数据管理
14、工作的新内容、新要求,对数据层、应用层进行调整、优化,保障云平台平稳运行;有力加强数据治理、提高数据质量,满足当前数据管理工作需要,支撑各类型数据应用工作需求,助力推动征管模式变革和各项税收政策改革,最终形成推动数据管理思维变化,营造良好税收数据生态。前期建设成果云平台数据管理项目以云平台为基础,以云服务器软件、负载均衡软件SLB、对象存储软件OSS、大数据计算服务软件ODPS、数据可视化引擎DataV等18款大数据产品为依托,构建了以数据治理为核心、以一体化云平台为载体、满足各类用户需求的税收大数据平台。主要完成平台层、数据层、应用层的建设:1.平台层建设。主要包括计算存储和网络设备、系统软
15、件工具集、安全及运维监控管理的建设,从硬件和技术层面有效解决传统技术结构不足以支撑海量数据及非结构化数据分析应用需求的矛盾,搭建灵活、可随时调用计算资源的数据云环境,并构建完整的三层服务模式。通过建设IaaS层,为全国数据大集中环境提供包括CPU、内存、存储、网络、操作系统等基础设施资源,提高资源的利用率,降低采购成本;通过建设PaaS平台,基于IaaS提供的能力,以服务的方式提供计算平台和软件组合,为最终用户提供云环境下的应用开发、部署和运行平台,解决应用软件开发的规范化问题,降低系统运行维护成本;通过建设SaaS层,全国数据大集中环境为总局、省局、纳税人、相关部门提供个性化的数据服务。2.
16、数据层建设。通过构建数据治理体系和开展数据分析处理,将云平台和工程规划范围内的其他数据平台集于一体,使金三生产系统数据、总局保留软件数据和多来源的外部交换数据相互贯通。(1)基础层完成了对税务数据、外部数据和互联网数据三类数据的集成,共集成了六千余张表,同时完成了数据清洗、数据标准化以及非结构化数据转结构化数据等操作。(2)中间层完成了四大主题库和标签体系的建设。四大主题库分别是:组织库(法人和法人分支机构),涉及模型近200个;自然人库,涉及模型近百个;税务机关库,涉及模型近200个;关系库(单位纳税人之间、单位纳税人与自然人之间),涉及模型几十个。同时构建了企业、自然人、税务机关标签体系,
17、包含:企业标签(一般纳税人标签、小规模纳税人标签、千户集团标签)、自然人标签、税务机关标签。(3)模型层完成了面向应用的数据模型构建。在建设模型层的过程中,以构建面向应用类数据模型和构建分析挖掘类分析模型为原则,基于税收动态监控、票流分析、关系云图、增值税发票查询分析系统等应用共设计数百个数据模型,上千个指标口径。3.应用层建设。基于全务数据,建立多层次、多类型、多渠道的数据服务体系,为总局各司局和省局不同类型用户提供多维数据服务,满足各级税务机关在决策、管理、执行、研究等方面的工作需求。应用层前期建设立足于税收业务特点、现状和需求状况,重点选取部分应用进行验证性和示范性开发。已开发用户画像、
18、票流分析、纳税人关系云图、纳税人关系分析、增值税发票查询分析系统、风险情报系统、单管户查询、企业信息自助查询、数据资源需求管理、数据质效考核、税收动态监控大屏版、税收动态监控桌面版、云平台访问监控以及涉税专业服务动态监控等应用。4. 数据治理工作主要从五个方面开展:元数据管理、数据资产管理、数据标准管理、数据质量管理和数据安全管理。在数据标准方面继承了标准化内容,把控数据建设标准。同时结合业务需要积累并整理了核心征管系统业务表单和物理表的对照关系,形成了包含:核心征管系统、个税系统、防伪税控系统、外部交换系统、出口退税系统等业务系统的数据字典。在数据质量方面制定数据质量规则指标二百多项,推动全
19、国数据质量持续优化。5.数据服务云平台数据管理项目运行一年以来,为总局多个业务司局提供数据加工服务;承接总局稽查局的选案工作;承接纳税服务司纳税信用等级评定指标调整测算工作,为信用评价指标调整提供数据依据等;开展新办企业预警模型、非正常户预警模型、进销不匹配模型等指标设计测算工作。项目承接内容云平台数据管理升级完善及运维和机构改革软件服务项目是在云平台数据管理项目建设成果基础上,做好云平台数据管理升级完善及运维工作与机构改革涉及云平台调整优化工作两项内容:云平台数据管理升级完善及运维工作1.以云平台数据管理项目的建设内容为基础,对整个云计算支撑环境和大数据平台提供运行维护,包括日常巡检和监控,
20、故障综合分析及应急处理、性能持续优化等服务,从而保障云平台平稳运行,提供高质量高标准的数据服务,实现对数据资源的全面采集、统一存贮、有效管理、深度挖掘和创新应用的目的。2.运行维护云平台系统,包括应用问题处理、应用功能完善、应用支撑、新增功能需求开发等,以保障总局应用系统和向全国各省局开放大数据应用系统平稳运行和完善升级。3.在云平台数据集成范围及链路基础上,扩大数据采集集成范围,改善数据集成链路,进一步提高云平台数据的完整性、及时性与准确性。4.基于数据应用需要,设计数据存储和计算模型,进行大数据量、复杂的计算,利用计算能力挖掘数据潜在价值。5.落实云平台数据治理工作规范、要求,做好元数据管
21、理、数据质量管理、数据资产管理、数据安全管理等工作,开发和优化配套数据治理工具,为开展数据治理工作提供支撑。机构改革涉及云平台调整优化工作根据税务机构改革后各税收业务系统变化、税费数据范围扩大等情况,及时调整、优化云平台数据管理项目有关内容,确保云平台的平稳运行,为各需求主体提供丰富、全面、准确的数据服务和数据应用。项目目标理解我们通过对本项目招标文件的认真分析,理解到本项目旨在根据税务总局业务需求,对平台层、数据层、应用层实施有效的运行维护,完成云平台整体升级优化完善,并根据机构改革要求及进程完成云平台调整优化各项工作,保障云平台平稳运行。项目需达到以下三方面目标:1.做好云平台数据管理项目
22、升级完善工作,包括:基于云平台开发、开放更多数据应用,丰富优化云平台的现有功能应用场景,创新应用功能,提升云平台数据管理项目的应用价值和潜能等内容。根据与各省局需要,做好云平台应用的增加及数据开放范围的扩大工作。对各司局的迁移软件,做好技术及软件方面的对接工作,满足其数据库创建、扩容、变更等需求。2.做好云平台数据管理项目的运行维护与数据治理工作,包括应用系统日常巡检和监控、故障综合分析及应急处理、性能持续优化等服务,以保障云平台数据管理项目平稳运行。对云平台的硬件扩容提供相应的技术支持,做好对机器的版本升级和应用的性能测试等工作,保障数据处理和各类应用能够正常适应新的硬件平台。按照税务总局关
23、于数据治理组织机构、流程制度以及配套支撑工具等要求,做好元数据管理、数据标准、数据模型,数据质量、数据安全等工作,强化数据治理能力,提高数据管理水平,确保整体数据环境可靠、高效、安全,有力支撑征管改革和税制改革。3.做好机构改革涉及云平台调整优化工作,根据制定的国合并改革方案,在完成金三系统合并、调整与地方税费全国集成基础上,完成云平台数据层、应用层的相应调整优化与功能开发工作,以保障数据及时、准确集成至云平台,并按照最新的需求展示和供应数据。项目内容理解我们对本项目招标文件进行了分析,深入理解到本项目主要包括以下内容:云平台数据管理升级完善及运维和机构改革软件服务工作,重点需要完成对云平台数
24、据管理项目的运行维护、对已有功能的优化完善及新增数据需求、应用功能的处理与设计开发以及机构改革涉及云平台调整优化有关工作。重点包括但不限于以下内容:云平台数据管理升级完善及运维和机构改革软件服务项目是在云平台数据管理项目建设成果基础上,做好云平台数据管理升级完善及运维工作与机构改革涉及云平台调整优化工作两项内容。云平台数据管理升级完善及运维工作平台层优化完善及运维负责对硬件资源、云计算支撑环境和大数据支撑平台提供优化完善及运维,包括但不限于:日常巡检和监控、故障综合分析及应急处理、性能持续优化等服务,以及硬件设备、数据库、底层工具、云平台环境、云平台扩容优化完善及运维,并提供相应的高级技术支持
25、,以保障云平台平稳运行。数据层优化完善及运维包括但不限于以下内容:1.实现基于统一运维监控管理系统的优化完善及运维,对云平台的云资源需求变更申请、用户权限管理、数据安全审查等工作进行统一维护管理。2.对数据源采集的方式和内容进行审核、规范,以及对算法模型的探索提供技术支持等,以保障系统规范性、安全性开发及发布,满足总局各司局、各省局在平台上开展更多应用创新的需求。运维内容包括数据平台运行及优化、日常数据服务、探索空间支持、新增数据需求等。3.新增需求建设、运行维护、优化完善,主要包括但不限于以下内容:(1)根据招标方需求搭建或者完善数据支持环境,例如扩大数据范围或者建设新数据模型等。(2)根据
26、招标方需求集成新的数据源,调整数据集成方式等。功能应用优化完善及运维功能应用优化完善及运维工作包括但不限于以下内容:统一工作平台、税收动态监控桌面版、税收动态监控大屏版、风险情报、增值税发票查询分析、用户画像、票流分析、纳税人关系云图、单管户查询、数据资源需求平台、数据超市、涉案企业信息自助查询、数据治理管控平台等应用的运行维护与优化。新增应用需求的开发建设、运行维护,主要包括但不限于以下内容:全国普通发票查询、全国普票票流分析、宏观分析、智能分析、互联网情报查询、征管区域协作、自主查询。数据治理数据治理主要包括但不限于以下内容:1.根据数据治理各项规章制度、工作规范和工作模板内容,开展数据治
27、理工作,包括但不限于元数据管理、数据质量管理、数据资产管理、数据安全管理等工作。2.监测代码标准和衔接,负责数据治理管控平台运维工作。3.加强对数据的风险控制、评估审核、安全管理,按需定期撰写数据治理报告。4.分析数据治理各个环节可能出现的问题,分析问题根源,从根本上解决数据治理中出现的各种问题。应用支撑应用支撑包括但不限于以下内容:根据云平台接入规范和管控标准,我公司需对迁入至云平台的其他司局的各类应用及服务,提供包括培训、咨询、技术支持及运维等服务,组织协调各方完成基于云平台开发应用的工作,保障此类应用在过渡期的平稳运行,并通过制定数据申请、模型开发等流程规范,做好应用接入的把关、管控。数
28、据服务数据服务主要包括但不限于以下内容:1.我公司在项目进行期间按照招标方需求完成日常数据服务,包括但不限于云平台现有数据。日常数据服务是指我公司为招标方日常数据需求提供数据服务,满足各司局日常数据查询和统计需求,支持日常数据分析工作开展。日常数据服务包括服务实施、数据核对和成果物整理交付。2. 我公司在项目进行期间按照招标方需求完成专项数据分析,包括但不限于云平台现有数据。专项数据服务是指按照招标方专项数据分析需求开展需求分析,确定数据范围和计算口径,采集加工并实施数据服务。我公司按照要求编写专项数据分析报告,负责利用数据校验方法进行数据核对,对所有的专项数据分析成果物进行交付和管理。3.我
29、公司在数据服务过程中应保证数据服务的准确性和数据安全并不断优化提升现有数据供应水平。机构改革涉及云平台调整优化工作数据集成改造主要包括开展源端系统调研,新增数据集成方案、数据集成改造方案制定,新增数据集成链路、数据集成链路改造技术方案制定、脚本优化、调整实施等工作。基础层调整优化与新增主要包括数据归集方案的制定,数据归集脚本的开发、调整、验证核对以及异常数据处理等内容。中间层调整优化与新增主要包括主题库脚本的梳理、新增主题数据模型设计、指标需求口径的确认、模型脚本的开发、调整以及表数据的核对等内容。模型层调整优化与新增主要包括模型变化的梳理、新增数据模型的设计、数据准确性的验证、数据脚本的配置
30、、任务的发布与数据同步等内容。算法模型调整优化与新增主要包括模型指标的测算、优化调整与新增等内容。应用层调整优化与新增主要包括用户画像、税收动态监控、票流分析、纳税人关系云图、增值税发票查询、风险情报、涉案企业信息自助查询、风险模型查询反馈、贫困地区税收分析数据统计、涉税专业服务机构信息统计查询、组织收入监控决策等功能应用的优化调整与地方税费数据相关的动态监控、用户画像、风险管理等功能应用的新增。数据治理调整优化主要包括数据治理平台功能的调整,数据治理规则的制定、优化调整与脚本编写等内容。新增数据分析新增管户数据分析、税收数据分析、发票数据分析、风险数据分析、地方税费数据分析以及其他数据分析等
31、。其他优化需求招标方基于提升云平台数据管理项目的运行效率、性能参数、用户体验提出的其他优化需求。项目范围理解通过对本项目招标文件的研读,我方承诺,将满足以下项目范围:(1)升级完善及运维部分:自合同生效之日起一年,完成云平台的所涉及项目应用的运行维护、优化完善、新增需求的设计开发和数据治理等工作。(2)机构改革软件服务部分:自合同生效之日起,至最终验收合格之日止,完成云平台所涉及项目应用的合并改造、调整工作。项目需求分析和响应总体需求分析云平台数据管理项目实现了税收征管数据的全国集中和规范管理,为各级税务机关提供了强大计算处理能力,有机整合大数据技术,全面集成内部数据、积极拓展外部数据、强化数
32、据治理能力,实现了数据的过程监控;建立了税务数据的资产化管理模式,并以用户为核心提供差异化的数据服务,形成了开发协作的税务数据生态环境。同时,加强外部数据交换,实现了税务数据与外部门数据的有效共享整合,为国家信息共享化建设提供了税务方案。云平台数据管理项目升级完善及运维和机构改革软件服务项目以云平台数据管理项目的建设内容为基础,根据税务总局的业务需求和国合并工作要求,对平台功能进行持续性升级完善,集中、拓宽和整合内外部数据资源,统一规范数据应用范畴,提升数据治理能力,为各需求主体提供更为全面丰富的决策和参考支持,并提供必要的基础运维,保障云平台正常运行。因此,我方承诺将满足以下要求:一、充分理
33、解国家财税体制改革、税务系统服务与管理创新的要求,不断适应新技术的发展,充分考虑用户实际使用过程中提出的优化建议和要求,不断完善和优化应用系统。二、工程各应用系统项目业务关系复杂、建设周期较长,在项目实施过程中面临多种部署方式、项目变更等风险,我公司对此充分认识,采取有效措施,规避风险,确保本项目按期按质完成。三、建立完善的项目管理机制,做好运维和优化之间的有效衔接,并就合同范围内运维和优化内容提供完整的文档资料。四、不定期对项目实施情况和工作质量进行评价,我公司对工作评价中的意见和建议及时进行答复,并提出相应的改进方法和措施。五、遵守税收信息化建设的整体要求,满足税务系统业务、技术、数据、安
34、全、运维和项目管理等各项要求,服从招标人的管理。六、严格按照招标人要求完成运维保障和优化完善工作,招标人有权根据实际情况对工作计划进行调整。七、一般情况下,对超出工作量的情况,招标人不再另行支付费用;如遇重大业务和信息化变革需求,招标人另行安排,不纳入本项目范围。八、我方已在投标文件中针对以上需求提出了具体的系统运行维护和优化完善方案。详见“10.优化完善和运维方案”。九、时间要求:合同签订12个自然月内按照需求要求完成项目优化及运维实施、故障综合分析及应急处理、性能持续优化等工作;自机构改革实施后,按照时间要求,重新进行全国数据加载、归集、对云平台数据层、应用层进行调整优化,及时准确集成数据
35、至云平台,并按照机构合并并要求展示和供应数据,保证云平台平稳运行。招标人有权根据实际情况对上述计划进行调整;项目验收前完成优化和质量保障工作。 十、招标人有权根据政策变化、项目执行效果及评价结果等情况提前终止合同。具体需求分析我们通过对本项目招标文件的仔细研读,对本项目具体需求进行了分析,并深入理解到本项目主要包括云平台数据管理项目日常运维及优化完善、机构改革软件服务两方面的需求内容。具体请参见以下内容:云平台数据管理项目日常运维及优化完善平台层优化完善及运维硬件设备运行维护硬件设备运行维护包括但不限于以下内容:1.服务器运维负责对平台机器中磁盘、内存条、机器主板和硬盘背板等硬件定期进行巡检,
36、并针对出现的磁盘故障、内存故障、主板故障等情况联系硬件厂商人员到机房更换,配合更换前的停服务、关机、下电等工作。2.网络运维负责定期巡检机器的网卡、网络情况,并针对网口松动、网卡故障、网线故障、网络波动等状况等情况联系硬件厂商人员到机房更换或插拔,配合更换前的停服务、关机、下电等工作。大数据产品运维及优化(1)云服务器软件ECS运维及优化云服务器(Elastic Compute Service 简称ECS)是一种简单高效,处理能力可弹性伸缩的计算服务。能快速构建更稳定、安全的应用,提升运维效率,降低IT成本。云平台云服务器软件(ECS)的运行维护及优化工作包括但不限于服务器运行情况的监控、故障
37、处理、云服务器资源的分配与收回、云服务器的性能优化等。(2)负载均衡软件SLB运维及优化负载均衡软件能对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。云平台的负载均衡软件(SLB)的运行维护及优化工作包括但不限于负载均衡软件运行情况的监控、故障处理、负载均衡软件资源分配与收回、负载均衡软件的性能优化等。(3)云数据库RDS运维及优化关系型数据库服务(Relational Database Service)是一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。具有多重安全防护措施和完善的性能监控体系,并提供专业的数据库备
38、份、恢复及优化方案,使应用开发能够更稳定可靠。云数据库RDS运行维护及优化工作包括但不限于云数据库的运行情况监控、故障处理、云数据库资源的分配与收回、云数据库的性能优化等。(4)安全云盾运维及优化云盾产品用于对流量进行安全监控,具备千万级恶意规则库,能够对黑客攻击行为进行ms级分析及处置;支持主机入侵防护,包括网站后门查杀、恶意文件基本查杀、黑客账户检测、账户异常登录保护、账户暴力破解拦截等功能。针对云安全软件的运行维护及优化工作包括但不限于软件安全的监控、云平台安全报告的产出、云安全软件对应数据库的优化、升级完善等。(5)虚拟专有网络软件VPC运维及优化VPC(Virtual Private
39、 Cloud)是自定义私有网络, 不同的专有网络之间二层逻辑隔离,云平台在专有网络内创建和管理云产品实例,比如ECS、负载均衡、RDS等。针对虚拟专有网络软件(VPC)的运行维护及优化工作包括但不限于虚拟专有网络软件运行情况监控、故障处理、资源分配与收回、软件升级维护及优化等。(6)监控管理软件运维及优化监控管理软件用于对云产品的统一监控和管理,并支持图形化管理界面,用户能对各种云服务资源进行统一管理和配置等。监控管理软件的运行维护及优化工作包括但不限于监控管理软件的日常监控、性能优化、故障处理、升级维护及优化等。(7)对象存储软件OSS运维及优化对象存储软件基于海量、安全、低成本、高可靠的云
40、存储服务,提供高度的数据可靠性。使用RESTful API 可以在互联网任何位置存储和访问,容量和处理能力弹性扩展,多种存储类型供选择,全面优化存储成本。对象存储软件(OSS)的运行维护及优化工作包括但不限于对象存储软件的运行情况监控、故障处理、资源分配与收回、软件性能优化等。(8)数据治理套件DQC运维及优化数据治理套件支持离线数据质量监控,可通过配置监控规则,提供报警服务;提供数据质量评估、数据监控、数据诊断等功能;提供生产调度任务监控告警和诊断功能;支持对项目空间的生产作业运行情况、资源消耗情况、数据资产、数据流转、数据消费、数据存储、数据应用、数据价值等全局可视化展现;包含数据地图、数
41、据血缘、数据生命周期管理、数据权限管理、基础元数据管理等数据管理功能。数据治理套件(DQC)的运行维护及优化工作包括但不限于数据治理套件的任务优化、失败任务处理、数据质量检查规则的维护和配置等。(9)数据可视化引擎DataV运维及优化数据可视化引擎用于支持文本可视化、网络(图)可视化、时空数据可视化、多维数据可视化等,并支持可视分析的人机交互方式;针对大屏幕类的展示提供了各类模板,在视觉、色彩和特效上进行了特定的优化;支持多种表现形式图表,包括数据表、条形图、折线图、饼图、气泡图、散点图等。数据可视化引擎(DATAV)的运行维护工作包括但不限于数据可视化引擎软件运行情况的监控、故障处理、软件升
42、级维护优化等。(10)服务能力开放平台CSB运维及优化服务能力开放平台(CSB)是一个基于高可用分布式集群技术构建的服务API开放平台,实现跨技术平台、跨应用系统、跨组织的业务能力互通,并进一步支持业务能力统一数字化管理和控制。数据能力开放平台(CSB)的运行维护工作包括但不限于数据能力开放平台的运行监控、故障处理、软件升级维护、数据服务开发平台中各种服务的新增、发布、删除以及相关优化等。(11)BASE平台运维及优化BASE平台是大数据开发套件,基于统一的元数据服务来提供数据资源管理视图;支持数据库对象结构导出(包含表、函数等);支持数据同步,支持各种异构数据平台之间数据迁移、转换等功能。B
43、ASE平台的日常运维及优化包括但不限于针对BASE上的18项服务、8套数据库系统提供日常运维、参数优化及扩容支持,保障其平稳运行。(12)ODPS系统运维及优化ODPS系统是分布式的海量数据处理平台,提供了丰富的数据处理功能和灵活的编程框架,将不同场景的各种计算任务统一在同一个平台之上,为来自不同用户需求的各种数据处理任务提供统一的编程接口和界面。ODPS系统的日常运维及优化包括但不限于对云平台ODPS上所涉及的项目和服务器的CPU、内存、网络等基础环境提供资源分配、系统维护优化等管理服务;对ODPS所涉及的项目、权限、数据源、同步数据等提供技术支持,针对ODPS上的PB级的数据量进行管理;O
44、DPS中的项目空间运维、云平台账户创建和权限管理。(13)ADS产品运维及优化ADS是分析型数据库,可针对千亿级数据进行毫秒级的多维分析透视和业务探索,以快速发现数据价值,服务税收工作。ADS产品运维及优化工作包括但不限于对ADS服务器、数据库的系统运维优化;对ADS数据库所有建表、删表、用户管理、权限管理、数据同步任务等提供技术支持和运维;ADS数据库创建、扩容操作,ADS集群扩容服务及系统参数、建表、数据等优化工作;为ADS任务及服务报错、扩容缩容、调整优化等提供高级技术支持。(14)OTS产品运维及优化OTS(表格存储)是构建在飞天分布式系统之上的NoSQL数据存储服务,提供海量结构化数
45、据的存储和实时访问。以实例和表的形式组织数据,通过数据分片和负载均衡技术,实现规模上的扩展。应用通过调用表格存储 API / SDK 或者操作管理控制台来使用表格存储服务。OTS产品运维及优化包括但不限于OTS数据库建表、数据同步、任务报错处理,云平台账户OTS相关赋权和回收权限等工作,OTS存储资源管理、回收站管理等相关工作,OTS服务器和后台多台docker多个服务运维和优化等工作。(15)DTBOOST产品运维及优化DTBoost(大数据应用平台)具备快速支撑数据应用开发的功能,用于内部共建共享,协同开发。DTBoost产品运维及优化包括但不限于DTBoost后台服务升级和相关服务器数据
46、库docker虚拟机变更、运维等操作,DTBoost相关账户赋权等管理操作以及针对TBOOST系统参数进行运维优化工作。(16)I+产品运维及优化I+产品运维及优化包括但不限于I+服务变更、系统升级,I+架构优化、系统参数调优,I+系统变更、升级、集成等运维工作。(17)StreamSQL产品运维及优化StreamSQL提供分布式数据流式处理服务,采用先进的分布式增量计算框架,以SQL的形式提供流式计算服务。StreamSQL产品维护包括但不限于流计算服务异常报错、架构层问题技术支持(后台服务报错、未知bug等),流计算服务参数调优、系统升级、系统变更技术支持,全国副本库和表DATAHUB同步
47、进程的运行维护,云平台流计算相关账户赋权创建数据源等。云计算支撑平台运维及优化完善云计算支撑工具包括DTcenter、天目平台、Alimonitor平台、杜康平台、神农平台、Armory平台、DMS-AG、CMDB、罗网等多个工具,从多方位为云平台各渠道获取的数据的采集、清洗、处理、加工提供大数据计算处理服务,满足云平台业务需求。云计算支撑平台运维包括但不限于用于实现云平台所需的分布式云操作系统、安全等软件的运维。(1)DTcenter运维及优化DTcenter(云管控平台)是将分散的计算资源实现统一融合管理,构成一个统一的资源池,实现资源的按需分配,确保闲置、高性能资源得到充分利用,提高资源
48、利用率。DTcenter运维是面向各个项目应用的不同需求分配合适的ECS、RDS、SLB、OSS、VPC、云盾、监控管理软件等服务器资源,并针对运维已分配的服务器资源进行监控运维,包括磁盘报警、内存报警、CPU报警以保证系统的稳定运行;针对已分配的ECS服务器制定快照备份策略及定期删除不需要的快照备份,防止系统故障导致的数据丢失;平台内监控系统的定期巡检包括CPU、内存和磁盘的监控,并对告警信息进行处理,及时为新分配的资源添加报警规则;面向Dtcenter登录的多个账户密码权限管理与新用户分配等工作。Dtcenter优化需要解决反应缓慢、数据不全、账号体系单一、快照无法定期自动删除等问题。针对
49、RDS产品进行优化,包括解决RDS存储上限瓶颈问题,无法分配PGSQL数据库的问题,CPU、内存可供选择规格较少的问题,业务RDS查询慢等问题。针对ECS产品进行优化,包括操作系统的不同版本的兼容性,分配的操作系统上rpm软件包版本的定制化,制作兼容不同版本操作系统的yum源等。针对SLB产品进行优化,包括同一个实例中的一个端口无法转发后端服务器多个端口,HTTP协议配置健康检查失败等问题。针对Dtcenter上的监控系统进行优化,包括监控系统数据不足,新分配资源需要手动安装监控插件,不同时间下产品监控图表失真等问题。针对Dtcenter上的账号体系目前存在的操作繁琐、无法自定义创建与授权等问
50、题进行优化。当前平台随着资源分配导致访问速度明显变慢, Dtcenter平台本身需要进行升级优化。(2)天目平台运维及优化天目平台运维及优化主要包括针对平台内的docker物理机, docker容器进行日常巡检与问题处理,当发现管控docker的异常报警时提工单咨询原厂人员定位、处理问题;针对业务的需求以及官方变更需求对Docker容器进行的下线、扩容、上线等操作,对当前管控节点资源紧张与服务不稳定等问题需要进行持续的升级与优化完善。天目平台的前端页面显示散乱,存在部分业务项没有异常却出现告警,部分异常容器节点的查看日志功能无法提取有用信息的情况,部分管控节点状态不稳定,造成对应的服务异常或者
51、中断,需要对存在问题的管控节点进行优化扩容,以及对天目平台进行优化完善。(3)Alimonitor平台运维及优化Alimonitor平台运维及优化主要针对Alimonitor平台上的物理机监控项中的报警项及时处理,保障平台稳定;对当前业务实际情况在Alimonitor平台上新增机器与产品对应的特色化、定制化的告警服务,第一时间反应平台瓶颈问题;针对监控项进行适应性的参数调整,并对当前有问题的监控项采取关闭、删除等措施。(4)杜康平台运维及优化杜康平台运维及优化主要包括针对当前已分配的RDS与未来可能更多的RDS数据库的使用情况与负载压力进行监控,并及时通过压力告警、资源扩容、查杀SQL等方式解
52、决告警问题;针对杜康平台每天凌晨设定的数据备份任务进行任务监控与失败任务的原因定位、任务重跑、任务优化等操作;针对RDS集群中的服务器监控,对物理机资源使用不平衡等的情况进行ReBalance、数据库迁移等操作;针对当前已分配的RDS与未来可能更多的RDS数据库发生的数据不一致问题通过同步数据、备库重搭等方案处理。杜康平台上的部分功能无法使用,如慢SQL、大表优化、索引缺失、统计信息无法显示以及账号体系与权限管理不完备等问题,需要对杜康平台进行升级完善。(5)神农平台运维及优化神农平台运维及优化主要包括针对物理服务节点进行CPU、内存、I/O等方面进行持续性监控,并在业务高峰期重点关注,同时对
53、物理服务节点存在的问题进行处理,对高负载产品集群定位原因、业务优化、持续关注。针对神农内各产品集群,监控集群内各个视图指标,查看系统资源使用情况,对于高负载的产品做持续关注,分析原因,并提出解决方案。神农负责监控专有云各个集群的物理机资源使用情况,存在监控数据图表经常中断的情况,定时重启才能获取监控数据,需要对神农平台的监控服务进行优化。(6)Armory平台运维及优化Armory平台运维及优化主要包括针对集群内部物理机器之间的资源调配腾挪,更新同步硬件变更配置信息,定期同步涉及到的管控节点的详细信息与对应配置数据库中的信息。(7)DMS-AG运维及优化DMS-AG运维及优化主要包括针对可以通
54、过SSH连接到全平台产品和所有服务器的运维物理机进行每日严格监控,并高优先级处理运维机发生的问题。(8)CMDB运维及优化CMDB运维及优化主要包括同步天目管控节点变更信息,针对所有管控节点的配置变更,定期在配置管理库上进行同步操作。(9)罗网运维及优化罗网运维及优化主要包括罗网数据导出技术支持,FTP、WEB、REDIS等组件运维,USB-KEY连接性运维,数据库运维等。具体包括定期巡检罗网系统数据库,配合开发处理数据库问题,包括数据的查询以及数据库的优化;针对罗网爬虫爬取数据的摆渡内网指定方案,并编写数据导出、FTP上传、数据导入等脚本;定期巡检罗网系统机器,配合开发处理罗网系统出现的问题
55、,包括数据库参数调整,FTP服务优化等工作;针对巡检或反馈的罗网VPN连接失败问题,联系南海相关人员排查原因,进行调试,解决USB-KEY的连接性问题。(10)其他针对平台产品的实际使用情况,在机器内部进行物理机的资源调配、产品的扩容缩容等操作;针对所有管控与服务节点定期进行配置信息搜集、配置信息比对、配置信息固化数据库的操作;针对所有管控与服务节点的网络配置新增、变更操作,以及其所在的物理宿主机的服务重启、配置优化、日志收集等工作;面向平台产品在日常使用中遇到的常见操作问题、故障问题、优化问题进行二线工单咨询与处理;面向平台产品进行定期升级官方发布的补丁升级及BUG修复的版本升级。云平台扩容
56、实施维护云平台的扩容实施内容主要是新增服务器,云平台扩容实施维护指对新增硬件提供配套的管理及保障工作,主要包括:对云平台的机器进行扩容,对云平台版本进行升级和升级完成后进行功能测试等。具体内容为在平台扩容工作中配合原厂人员进行平台的升级相关工作;当前平台升级完成之后需要将新购置机器扩容到当前集群,配合原厂人员进行平台的扩容相关工作;升级扩容工作完成后将测试之前已有产品的可用性与新特性,并对新部署的相关产品工具进行测试。对于后续进一步的云平台扩容,我公司根据招标方要求做好相关的配套工作,保障云平台的持续发展。我公司具备但不限于以下能力要求:1.我公司提供高质量的实施交付成果及服务,对云平台中出现
57、的各类问题进行分析定位、提出解决办法并及时解决问题。2.我公司组织技术服务团队,提供详细的服务期内技术支持和服务方案。提供工程师驻点服务。驻场工程师受招标方管理,并且能提供724小时的服务响应,遇任务繁重时及时加派人手,以保证业务的正常运作及开展。驻场工程师未经招标方同意,不得私自撤离和随意更换。对于技术水平低、服务态度差、工作不认真、责任性不强的驻场人员,在招标方提出更换要求下,需立即予以更换。3.我公司为本项工作配置相应的专职人员,所提供人员不能胜任的,我公司按照招标人要求更换或者增加人员。云平台环境运维(1)基础环境运维云平台基础环境运维工作是指面向云平台建立全方位的巡检运维工作体系,规
58、范云平台运维工作流程,对平台问题的处理进行全方位跟踪,高效快速解决在监控巡检过程中发现的问题及风险,保障平台内部724小时的稳定、高效运行。具体需要包含但不限于以下内容与形式:1.运维咨询。通过热线电话、网络通信工具接收各司局、各省用户及各厂商提出的平台运行中的问题,提供咨询服务,对于操作问题直接进行解答,对属于常见或突发故障问题快速定位并控制影响范围,对当前无法彻底解决的问题要求统一记录归档,并持续跟踪问题情况。2.问题处理。对接收到的各类平台问题进行问题确认、问题分析和定位,对有解决方案的问题编写详细解决方案,及时处理反馈;对暂无法解决的问题给出替代解决方案。3.日常运维管理。接收并完成总
59、局安排的其他日常运维相关工作,包括平台问题处理情况统计、平台资源统计、数据安全检查报告、编制周报、月报等。(2)定期健康检查我公司提供最小频率为1个月的云平台定期健康检查,并提交健康检查报告,根据报告的内容对云平台进行针对性优化。健康检查的内容应包括但不限于以下内容:1.容错检查,检查并分析系统运行日志及跟踪文件,发现并排除云平台及应用系统的错误隐患。2.监控云平台性能、云计算大数据产品运行状态、运行效率、是否存在安全隐患,发现并排除云平台系统错误隐患。3.检查云平台系统是否需要更新到新的版本、是否需要补丁升级等。4.检查云平台资源的使用情况,协助进行云平台资源的规划管理与调整优化。5.检查云
60、平台数据备份情况及数据完整性,备份方式是否合理、备份数据是否可恢复、数据是否存在丢失的风险等。(3)应用环境运维1.生产环境、预生产环境已上线系统日常监控日常监控统一工作平台、查询平台、税收动态监控、数据治理平台、关系云图、风险情报、用户画像、增值税发票查询分析、票流分析、定时任务、稽查选案等应用及数据源状态。2.生产环境、预生产环境已上线系统的环境日常运维根据服务器应用系统后台日志和启动日志分析、定位问题,配合开发人员调试税收动态监控、货劳发票、用户画像、关系云图、风险情报等应用,负责稽查选案、单管户查询、定时任务等应用集成到总局云平台的相关工作,各应用系统不满足需求时进行ECS节点增加工作
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 人教版八年级物理下册各单元测试题
- 社区教育资源在老年教育中的有效利用
- 生产流程优化与领导力的融合策略
- 《路程、时间与速度(第1课时)》(教学设计)-2024-2025学年四年级上册数学北师大版
- 知识产权的商业化运营与价值评估
- 班级文化与学习氛围的融合
- 11《百年孤独》教学设计 2024-2025学年统编版高中语文选择性必修上册
- 工会拓展培训方案
- 6《将相和》(教学设计)2024-2025学年部编版语文五年级上册
- 知识付费背景下的职业选择与路径规划
- 老年人误吸与预防-护理团标
- 《“白山黑水”-东北三省》示范课课件(第2课时)
- 个人述职报告:职业发展与晋升规划课件
- 心力衰竭业务学习护理课件
- 《汽车发电机》课件
- 青少年网络安全教育课件
- 2021年全国统一高考英语试卷(新课标Ⅰ)(原卷版)
- 中药热奄包在消化系统疾病中的应用探讨
- 春节的起源历史-古代历法与新岁之首的关联活动方案
- 耳鼻喉培训学习课件
- 中医护理中药封包课件
评论
0/150
提交评论