重庆对外经贸集团

重庆对外经贸集团大数据智慧门户系统需求说明书2018年12月目录TOC\o"1-3"\h\u1.背景目标 51.1大数据智慧门户建设背景 51.2大数据智慧门户建设目标 51.2.1数据目标 51.2.2系统及应用目标 61.2.3数据管理目标 61.2.4安全体系建设目标 71.2.5平台扩展目标 72.大数据智慧门户咨询规划 72.1访谈调研 72.2整理分析 82.3初步方案 82.4建设方案 92.5建设要求 102.5.1总体架构设计要求 102.5.2模型设计要求 112.5.3数据标准的有关要求 122.5.4ETL的有关要求 122.5.5安全方面有关要求 132.5.6智慧门户及数据业务应用相关要求 143.数据资产管理（数据标准建设） 143.1数据资产管理咨询规划 143.1.1数据资产管理工作目标 153.2数据资产管理 183.2.1数据质量管理工作目标 183.2.2数据标准管理工作目标 183.2.3元数据管理工作目标 193.2.4数据规划管理工作目标 193.2.5数据安全管理工作目标 204.底层大数据系统 204.1数据模型设计要求 204.2数据模型具体分类 214.2.1数据缓存层 224.2.2近源模型层 224.2.3主题模型层 224.2.4共性加工层 234.2.5应用集市层 244.3完成基础数据平台实施 244.4源系统（数据）接入 244.5数据任务调度及系统监控 244.5.1数据任务调度 244.5.2系统监控 254.6数据统一交换系统 264.7数据存储 274.7.1数据库技术 274.7.2数据备份及恢复 274.7.3数据安全 274.7.4网络和系统安全 285.智慧门户及数据深化应用 285.1智慧门户 285.1.1大数据智慧门户入口 285.1.2大数据智慧门户功能 295.2数据深化应用 295.2.1总体需求 295.2.2领导专属驾驶舱建设 315.2.2工作流可视化系统 375.2.3集团贸易项目风险分析 385.2.4集团贸易伙伴及客户追溯 385.2.5各国税率利率汇率的数据搜集与展示 385.2.6各国重要商品价格的数据搜集与展示 395.2.7集团业务报表中心 395.2.8集团数据需求中心 406.区块链应用咨询规划 406.1区块链技术特征 406.2区块链业务应用及技术方案 417.非功能性需求 427.1可靠性管理 427.1.1软件要求 427.1.2服务要求 427.2系统运行管理 437.2.1日常监控 437.2.2故障处理 447.2.3运行问题管理 447.3性能和扩展性 457.4项目边界 467.4.1数据接入需求及任务开发 467.4.2数据应用需求及任务开发 467.4.3数据报表及可视化开发 467.4.4智慧门户 47

背景目标1.1大数据智慧门户建设背景近年来，集团本部及所属各级企业相继建设一些零散的信息化系统，但存在如下问题：一是缺乏数据管理的有效手段，并未沉淀良性的数据资产；二是缺乏统一的数据标准，各业务和应用系统间的数据未能进行有效的对话；三是缺乏信息传输骨干网络，本部与所属企业、企业内部、总部部门间信息孤岛现象突出。为完成统一数据管理和可视化展现，保证集团主要领导能第一时间把控经营数据和工作流程，保证各业务系统的建设和数据共享均有据可循，拟建议一套大数据智慧门户系统。1.2大数据智慧门户建设目标1.2.1数据目标1、建立集团全局范围内统一共享的大数据基础平台。2、制定集团业务数据标准，组织实施落地并监控执行。3、以主题模型层模型为基础，建立共性加工层数据模型，提高数据访问效率，搭建基础数据和应用层数据之间的桥梁。4、根据业务需求和分析的需要，建立应用层数据模型或数据集市，高效支持业务功能的实现。5、OA协同办公系统、NC财务系统、贸易系统（在建）等内部系统数据接入大数据平台；采集采购外部诸如国内、全球贸易统计数据接入大数据平台。1.2.2系统及应用目标1、完成集团大数据平台架构设计，搭建集团大数据仓库，完成相应的集成和实施工作。2、建立科学、有效、易于扩展的ETL策略，按照基础数据模型完成现有业务数据到主题模型层的数据加载，同时形成共性加工层数据和应用集市层数据。3、支持若干基于大数据平台的数据应用，实现业务功能，并提供相应的开发规范。业务应用类型主要包括领导专属驾驶舱、经营管理综合看板、集团贸易项目风险分析、集团贸易伙伴风险分析、各国税率利率汇率的数据搜集与展示、各国重要商品价格的数据搜集与展示、集团业务报表中心、集团数据需求中心等。通过项目建设，形成大数据平台建设开发规范和实施方法论，支持业务分析应用的可持续发展。4、完成集团大数据智慧门户PC端开发建设。支持集团用户单点登陆、一键跳转、统一展示等功能。1.2.3数据管理目标实现对集团大数据仓库的有效管理，加强数据处理流程各个环节的管控，包括数据标准管理、元数据管理、任务调度及系统监控等。梳理数据管理组织架构、岗位职责、工作流程及规范等。制定符合企业业务规则的数据标准，并逐步在集团内部推广。1.2.4安全体系建设目标通过设计合理的数据共享和安全访问策略，实现对大数据仓库的数据的访问控制，满足安全等级保护三级的要求。1.2.5平台扩展目标在项目建设实践过程中，需充分考虑平台技术扩展性，重点关注业务全面化、流程规范化、数据标准化、数据安全化、接口服务化等目标。为平台能够更好的步入以区块链技术为基础的“价值互联网”时代做准备。2.大数据智慧门户咨询规划项目建设需要有的放矢，因此必要的咨询调研工作是必不可少的。咨询阶段的工作步骤及需要留存或交付的资料如下。2.1访谈调研集团应用系统资料收集，现状的IT访谈，调研问卷设计及发放。工作提交内容：《应用系统资料》；《调研问卷》；《访谈记录》。2.2整理分析该阶段工作主要为整理访谈记录。收集整理个应用系统调研结果，展开补充调研工作。讨论复盘分析理解应用系统现状及规划。对应用系统问题、数据流向、系统关系、架构、可能的优化情况进行讨论分析。工作提交内容：《问题列表》；《调研答卷》；《应用系统分析文档》；《应用架构和阶段分解初稿》。2.3初步方案该阶段工作主要为编写设计方案初稿、制定业务访谈计划和提纲。工作提交内容：《大数据平台实施路径报告》；《大数据平台应用体系设计报告》初稿；《大数据平台数据体系设计报告》初稿；《数据平台调研及分析报告》初稿；《数据平台需求调研方法初稿》；《数据平台需求管理方案》初稿；《业务部门访谈计划/问题/提纲》；《大数据智慧门户应用系统用户需求说明书》初稿；《管理驾驶舱需求说明书》初稿；《应用系统数据报表需求说明书》。2.4建设方案该阶段工作带着初稿问题及方案，与各业务部门进行访谈，收集问题，调整方案。工作提交内容与初步方案类似，主要为完善和修正初步方案的缺失与不足。完成方案评审、修改、定稿。进而进入分批次进入实施阶段。包括：《大数据平台应用体系设计报告》（包含数据补录方案）；《大数据平台数据体系设计报告》（包含数据清洗方案）；《数据平台调研及分析报告》终稿；《数据平台需求调研方法》终稿；《数据平台需求管理方案》终稿；《大数据智慧门户应用系统用户需求说明书》终稿；《管理驾驶舱需求说明书》终稿；《应用系统数据报表需求说明书》终稿。2.5建设要求2.5.1总体架构设计要求1、投资保护原则：总体架构设计需要充分考虑系统的投资和收益比例，以较高的性价比实现既定的业务目标，使资金的产出投入比达到最大值。2、统筹规划原则：按照集团信息化发展整体规划的要求，从整体性、全局性角度出发进行系统的规划和设计，建设集团统一的大数据智慧门户平台。3、先进性原则：总体架构设计应充分借鉴国内外同类系统的先进理念和方法，采用业界先进、成熟的技术体系架构和相关技术，并在国内有成功实施案例。4、开放性原则：系统架构设计应具有较好的开放性，各个层次之间有较好的兼容性，遵循业界统一的标准或规范，能支撑基于大数据仓库之上的各类应用开发或相关软件工具的使用。5、可扩展性原则：系统总体设计应具有一定的可扩展性，随未来业务发展引起的数据源变化或数据量增长可以在不更改系统整体架构的前提下，方便地支持系统扩充。6、高可靠原则：系统架构设计应确保系统具备长期、稳定运行的能力，最大限度地保护信息化投资的有效性。7、安全性原则：充分考虑系统运行安全、网络安全、数据安全等问题，具备系统容错、抗干扰、抗故障的能力，符合信息系统安全等级保护的相关要求。2.5.2模型设计要求1、针对性。基础数据模型的设计要紧密结合集团管理业务的特点，从集团管理的客观现实出发，对业务进行深入地分析研究，并进行必要的抽象和概括，设计形成有针对性的逻辑模型。2、高效性。数据模型将承载海量数据的加工和存储，因此务必充分考虑基于模型的数据加工和汇总的效率，减低汇总算法的复杂程度，同时能满足大数据条件下对明细数据查询效率的要求。3、实用性。数据模型的设计要做到使用效率高，实用性强，避免对系统资源的浪费。4、易用性。数据模型的设计要简单、清晰，有较强的逻辑性和可读性，容易理解和接受，能快速实施。5、完备性。数据模型是集团管理大数据仓库的核心，模型设计应涵盖所有外汇业务，做到全面、完备，有利于支撑多变的业务应用。6、稳定性。数据模型是对外汇业务的高度抽象和概括，应具有一定的稳定性，不因数据源的变动而产生较大的变化。7、可扩展性。数据模型的设计要坚持可扩展性原则，有较好的灵活性，能支撑业务未来发展的需要和对数据模型调整的需要。在扩展业务或改变规则时，模型通过简单的调整和扩展即可适应。2.5.3数据标准的有关要求1、前瞻性。数据标准设计应有一定的前瞻性，充分考虑到业务未来发展变化的需要，适度前瞻。2、全面性和客观性。数据标准设计能反映集团客观现实需要，涵盖集团全部业务且能符合业务分类，并做到清晰、明了。3、可实现性。数据标准应具有较好的可实现性，标准制定科学、合理，定义清楚，可执行性较强。2.5.4ETL的有关要求1、合理性。ETL设计要能确保业务逻辑的合理性和正确性。2、高效性。具备处理海量数据的能力，能在规定的批处理时间窗口内能够高效地完成数据抽取、转换和加载工作，满足日常数据加载的性能需求。3、完整性。除了具备对初始数据的加载外，能确保对数据源的动态跟踪和增量捕获。4、易维护性。减少系统维护的复杂性，支持后续新增数据或功能的开发工作。5、影响最小原则。充分考虑现有业务系统的实际情况，设计合理的ETL策略，缩短源系统的占用时间，做到对源业务系统的影响最小。2.5.5安全方面有关要求1、网络安全满足对安全等级保护三级要求中对网络安全的基本要求，对网络进行安全管理，在网络层对系统访问端口进行设置，防止对系统的非法连接和登录。2、数据安全对数据库中的对象设置安全的访问策略，建立数据库访问用户，并对用户访问权限加以设计和控制，将直接操作数据库信息权限限制在最小范围，以防止外界对数据的非授权访问和非法访问。在数据库层面建立数据访问必要的日志记录和审计功能，建立对非法访问的追踪机制。对系统主要的信息实行自动备份，以保证系统的异常情况的补救，对系统开发和维护人员无意地造成数据信息破坏的情况，也必须给予必要的防范措施。3、应用访问安全支持用户的安全认证的统一接口。建立跟踪日志，对进行关键性操作用户的用户名、权限级别、进入时间、退出时间、执行的操作及操作对象进行记录，以便事后进行责任跟踪。对所有的操作进行追踪调查、记录并进行分类，具有日志记录和日志审计功能。4、安全编码保证系统代码开发过程中的安全问题，制定严格的编码规范，尤其要注意非法输入检查、数据输入校验、以及通用错误处理等基本安全编码规范，避免出现安全漏洞；在系统开发结束后，利用安全性评估软件或者由专业的安全测评机构对系统的安全性进行测试评估。2.5.6智慧门户及数据业务应用相关要求1、针对大数据平台不同应用类型，形成相关开发规范，并提供合理的技术路线、合适的产品选型和可行的实施方案。2、能实现不同层级、权限的用户对数据范围访问的要求，并有效控制数据访问权限。3、应用开发平台或产品选型应具有一定的通用性和开放性，能满足各类数据应用的需要，支持业务应用可持续发展的需要。4、不同类型的应用能通过集团大数据智慧门户平台统一接入。5、系统操作界面布局合理、简单清晰、美观大方，便于操作，友好性强，易于接受和掌握。3.数据资产管理（数据标准建设）3.1数据资产管理咨询规划数据资产管理框架可以定义成用于企业数据资产管理决策的制定的体系。数据作为企业重要资产，用来达到企业竞争优势的目的。数据资产管理框架可以提供如下策略：决策的制定如何与数据相关联，谁来做出决策，谁来担负责任，决策的结果如何度量和监控。基于数据资产管理框架，企业内的每一个角色都具有一定形式的数据资产管理职责。3.1.1数据资产管理工作目标数据资产作为企业的核心资产已经成为大数据时代企业共识。大数据平台、及数据应用应当在科学的数据资产管理框架下进行。本期大数据智慧门户项目建设阶段同步进行数据资产管理建设的基本目标。3.1.1.1明确数据资产管理目标建立一个企业数据管理和控制的科学体系，内容涵盖对分级组织结构、岗位责任、周期性的处理流程、相关技术环境和其它支持环境的定义和设计，使企业的数据处于整体有序管理状态，具体可以分列如下：提升企业整体视角的数据环境规划能力；建立企业视角的通用数据标准提升统一有序的业务系统和信息管理系统的管理能力；建立统一有序的大数据平台管理能力；提升企业信息数据的质量（可访问性、可用性、正确性、一致性等）；提升数据的安全性（数据、硬件、软件、应用系统、使用者）；提升企业内部不同职能部门之间的共享数据和协同工作能力。3.1.1.2数据资产管理组织架构数据资产管理工作是一项系统工程，涉及到业务和技术层面，需要多个部门、多个环节通力协作，才能保证项目的顺利实施并达到预期效果。因此需要结合集团内部实际情况，建立一套有效的数据置产管理组织架构。主要角色及职责：高层领导办公室：推动集团数据资产意识和文化的变更；数据资产管理最终决策；解决数据资产管理的政策及组织问题等。筹划指导委员会：推动组织内部数据资产意识和文化的变更；确保数据资产管理与企业战略及规划一致；确定组织内部数据资产管理工作优先级；推动组织内部数据资产管理工作进行，排除障碍。业务及技术小组：定义具体数据资产管理相关工作的业务范围或技术选型；定义阶段性项目范围；帮助制定数据定义及业务规则；相关工作具体实施人员及测试人员。3.1.1.3制定建设集团业务数据标准与集团相关部门共同制定集团业务数据标准。包括收集、整理业务属性定义、技术属性定义、取值范围、遵循的业务规则等，形成数据标准。本期项目预计制定3~5个主题的数据标准体系，并推动在大数据平台或业务系统落地。根据集团业务和行业特点，实现以人力资源、财务、风控为主题的基础通用数据标准，实现以国际贸易、国际工程、泛金融为主题的基础业务数据标准。数据标准是对业务所涉及数据的规范化定义和统一解释，可以增强业务部门和技术部门对数据定义和使用的一致性，对信息资源共享具有重要意义。数据标准从分类上看，包含基础数据标准和指标数据标准两个方面的内容。基础数据标准是从外汇管理业务的客观需要出发，在信息调研的基础上，对各类业务的基础数据进行全面详细的归类整理，对业务含义加以清晰的定义，并进行统一和规范。分析类数据标准是指对按一定的逻辑加工处理过的数据进行的定义，包括指标计算的方法，数据来源，维度划分等。数据标准建设的内容主要包括在数据管理层面的业务规则定义(业务属性)和在数据应用层面的业务规则定义（技术属性）。数据的业务属性：数据业务含义的统一解释及要求、数据的业务含义解释、数据的分类、数据之间的制约关系、数据在相关业务环境中产生过程的描述、数据产生过程中所要遵循的业务规则等。数据的技术属性：业务应用环境中对数据的统一技术要求、满足业务需要的字段长度、格式、缺省值要求、数据处理与检查要求（时效性、安全性等）、数据的安全需求等。3.1.1.4本期数据资产管理具体工作内容本期数据资产管理工作主要围绕数据质量管理、数据标准管理、元数据管理三个核心目标进行，同时在工作过程中，为集团梳理数据规划管理、数据安全管理等数据资产管理工作内容。3.2数据资产管理3.2.1数据质量管理工作目标制定数据质量管理工作制度及流程，提供《数据质量管理办法》。实现闭环数据质量管理工作，包括：数据质量评估、数据质量问题管理、数据质量问题分析、数据质量问题解决方案管理、数据治理及数据清晰策略及任务、数据质量检查任务及监控、数据质量报告。主要功能点：提供数据质量检核规则制定的功能；提供数据质量问题登记的功能；提供数据质量问题统计报告功能；检查业务系统数据质量等。3.2.2数据标准管理工作目标制定数据标准管理工作制度及流程，提供《数据标准管理办法》。实现闭环数据标准管理工作，包括：数据标注设计梳理、数据标准落地推广、数据标准检查监督（结合数据质量管理功能）等。数据标准可分为业务数据标准、技术数据标准等，数据标准范围包括公共代码标准、通用数据标准、共享数据标准及特定数据标准等。主要功能点：提供数据标准的浏览查询功能:支持多检索条件模糊查询；提供数据标准的访问统计分析。3.2.3元数据管理工作目标制定元数据管理工作制度及流程，提供《元数据管理办法》、《数据字典管理办法》。实现元数据生成、获取、存储、维护、共享查询等功能。实现业务元数据与及技术元数据的管理维护工作，实现数据字典管理等功能。主要功能点：梳理集团源业务系统的元数据，通过采集功能装载到元数据管理系统中。大数据平台中涉及到的元数据采用分批分步的方式梳理与装载。元数据系统配有多种采集适配器以适应实际情况与需求：如数据库、ETL工具、EXCEL模板、报表工具、建模工具等;元数据展现与检索：元数据系统可以展现当前元数据的各种属性信息，并可根据不同的查询条件检索出所需元数据。对于存在组合关系的相关元数据，能够全方位的展现其相关信息;提供元数据的访问统计分析。3.2.4数据规划管理工作目标制定数据规划管理工作制度及流程。提供《数据需求管理办法》、《数据报表管理办法》。实现数据架构、数据分析、数据需求、逻辑及物理模型建模、模型版本管理等工作。3.2.5数据安全管理工作目标制定数据安全管理策略。设定数据保密标准、用户和用户组管理、数据访问权限管理、密码策略和标准、用户授权、数据安全审计。4.底层大数据系统根据集团的实际情况从总体上规划一个企业级的数据平台，此平台将由基础数据平台、数据任务调度监控、数据统一交换系统等组成。按此规划，大数据平台将成为集团唯一的BI系统数据的来源和供应方。4.1数据模型设计要求主要包括业务模型、主题模型设计、逻辑模型设计和物理模型设计等几部分。在全面分析集团业务的基础上，建立集团主题模型和逻辑数据模型，建立稳定的基础数据层，从而更好地体现和统一业务规则，保持业务的连续性和稳定性，更好地支持跨部门、跨系统的分析。在逻辑模型设计的基础上，完成物理模型的设计。充分借鉴行业建模方法和思路，从集团的客观现实出发，将业务进行合理的划分，进行必要的抽象和概括，建立业务模型。并在此基础上，将数据按照一定的逻辑重新加以组织，建立集团数据逻辑模型，并在设计中坚持逻辑合理，高效易用的原则，保持模型的稳定性、连续性和可扩展性，使其成为服务各类业务统计、监测、分析功能统一的数据基础。逻辑模型和物理模型均应包含基础数据、汇总数据和业务应用数据三部分。模型设计的成果应具有可实现性和较强的落地性。主要工作包括：1、建立业务模型，具体内容包括确定业务范围、流程、业务数据分类、数据建模的范围界定。2、建立主题模型：完成业务或主题的划分，概念的定义、主要分类，重要实体及其之间的相互关系。3、建立逻辑数据模型：业务概念实体化，并考虑其具体的属性。事件实体化，考虑其属性内容，进行属性设计。4、建立物理数据模型：对逻辑模型进行具体化，完成物理模型设计，并最终形成可执行的建表脚本或SQL语句。建模工具或相关要求：模型设计工具使用Erwin、Word、Visio、excel或powerdesigner等软件工具，数据模型设计工具能自动生成相应的逻辑数据模型及相关的模型文档。能通过模型设计工具对逻辑模型和物理模型进行管理，保持逻辑模型和物理模型之间的一致性。4.2数据模型具体分类对集团数据进行整合，完成数据的统一加工和存储，为集团的各类分析型应用提供统一的数据支持，是整个体系架构中的核心部分，包括数据缓存层、近源模型层、主题模型层、共性加工层、应用集市层。4.2.1数据缓存层数据缓冲层需要保持源系统的原貌，不对数据进行大量的改造和调整，只进行一些常用的标准化处理。数据保留3~6个月。4.2.2近源模型层近源层采用拉链算法保存历史，并根据实际的需求保留长周期的历史数据，并且和源系统的表结构基本一致，为进行一些初步的加工和处理，如币种等。4.2.3主题模型层借鉴数据仓库数据模型的建设思路进行主题层模型层的设计。主题层模型采用面向主题的设计方法，有效组织来源多样的业务数据，使用统一的逻辑语言描述集团业务，保证了数据的一致性。在此基础上可以进行多种不同应用的开发设计，满足不同部门的业务需求和不同的数据访问方式，真正实现数据一次导入，多次使用。本期项目实现3~5个主题模型，应包括：参与人：即集团各业务系统中的主体，包括国内外法人机构、国内外个人、各业务企业、金融企业等。账户：记录监控主体的账户及其相关信息。交易以及凭证：记录各主体的相关经济活动信息。经常项目（进出口货物、进出口服务、报酬收益）金融资本项目（资本项目、直接投资、证券投资、其他投资）组织机构：记录集团及其分支机构的内部组织信息。宏观经济指标数据：记录宏观经济指标数据信息。区域地址信息：记录区域划分及地址信息。公共代码信息：记录公告代码信息，如性别、行业等。4.2.4共性加工层共性加工层不是依赖于源系统的数据范围，而是依赖于其下游应用的需求，是需求驱动的。通过提炼下游应用系统数据共性，获得其需求，并对其进行提炼。在提炼过程中，需要遵守结合实际、突出重点的原则，否则会发生提炼程度太高失去共性的意义，或个性化程度太高导致其共享性不够。共性加工将加工大量的不同粒度数据（如账户级、客户级、产品级和机构级等），为了便于使用和管理，可根据数据汇总加工的粒度不同，明确其分层分类方法，使其层次清晰。公共加工层的建设是一个循环往复的过程，不可能一步到位。随着应用的增加和对应用理解的深入，公共加工层会不断的丰富和发展，逐步提升其业务价值。4.2.5应用集市层应用集市以多维主题模型设计理论为主，遵循一致性维度、一致性事实、总线架构等设计原则，在全面分析理解业务需求的基础上，规划集团统一、完整的主题模型。对于数据量较大的主题表，应规划设计聚集主题模型，并结合其他一些数据库优化方法，实现快速的前端展现。4.3完成基础数据平台实施根据集团选定的基础软硬件平台环境完成大数据平台的搭建和具体实施工作。主要包括大数据仓库环境的搭建、多节点的划分和设计、数据库及相关对象的创建，系统软硬件资源的分配及性能优化等工作。4.4源系统（数据）接入初期预计接入系统为OA协同办公平台、NC财务系统、贸易业务系统，并包含其数据字典的所有内容。以及外部我国及全球贸易统计数据、我国及全球经济发展统计数据等。数据接入频率以实际需求调研报告为准。4.5数据任务调度及系统监控4.5.1数据任务调度在实施过程中，要根据表间依赖关系和数据处理流程的要求，定义ETL任务执行的先后顺序，避免造成不同任务之间的冲突和混乱。不同的ETL作业流之间应能并行执行，以提高ETL任务的处理性能和效率。对各ETL任务的执行情况进行监控，并记录下执行结果，方便系统维护人员对ETL的运行情况进行监控和管理。负责整个大数据平台所有数据加工、传输任务的统一调度和监控，任务调度的内容后续将是整个平台非常重要的一部分内容，整个分析平台可能都会基于同一个调度平台来实现调度内容,实现的功能应包括：接收事件触发作业调度反馈完成信息作业依赖控制调度优先级控制调度计划控制调度算法资源申请和释放作业派发执行4.5.2系统监控系统监控服务是集成现有的数据库系统资源及大数据环境监控平台，建立全面、高效、规范、稳定的一体化信息系统监控管理体系。通过系统监控平台，可以对本系统进行准确、有效、实时的监控，并将监控的数据通过不同的方式展现给系统运维人员，运维人员可以在第一时间发现系统异常，避免故障发生，从而实现系统运维从“被动管理”向“主动管理”转变。4.6数据统一交换系统建立数据源与数据模型之间的映射关系，根据数据建模的结果，按照一定的处理规则将各业务源系统的数据，采用统一的ETL数据处理技术，经过清洗、转换、加载等环节抽取到大数据仓库中，形成数据缓冲层数据、近源模型层数据、主题模型层数据、共性加工层数据和应用集市层数据。ETL是指数据的抽取（Extract），转换（Transform）和加载（Load），是基础数据平台实施的一个非常重要的环节，在项目实施的第一阶段中是项目实施的工作重点，建立一套完整、正确、高效的数据抽取、转换和加载机制，是基础数据平台的基础性目标。在项目实施过程中，Extract和Load部分既可以采用已有ETL工具如Kettle、Sqoop、Automation等，亦可自行开发的脚本，最后在进行转换（Transform）时采用Java、Perl等开发语言+SQL脚本实现。制定合理的ETL数据更新策略，实现数据T+X的增量更新。降低对源系统的占用时间，如有必要，需满足对源系统数据进行在线提取的需要。该ETL架构充分考虑在大数据查询、大批量大数据文件加载、卸载处理情况下，系统仍能保证高效、稳定的运行。4.7数据存储4.7.1数据库技术采用开源技术为主。结合关系型数据库及非关系型数据库自身特点进行设计，包括但不限于：Mysql、MongoDB、HadoopHDFS等。运用的数据库技术包括但不限于关系型数据库处理技术JDBC、HIVE、FLUME等。4.7.2数据备份及恢复为保证数据资产的长期保存和有效使用。本期项目中需要制定实现数据备份及恢复策略。4.7.3数据安全数据平台的一个主要业务目标是提供竞争优势，希望自己的业务胜过其他竞争对手。因此系统开发的业务处理流程是一种知识资产，这些流程必须得到保护，并且充分利用已有的资金开发并增强这些流程。从技术层面来看，这里所说的安全有两层含义，一是指对于数据的保护，以防止数据的意外损坏或丢失；二是指对于用户权限的控制，只让适当的人得到他应该看到的数据，以防止数据信息泄漏，造成不必要的损失。根据数据安全的需求，所有数据平台组件都包括以下的安全功能:用户认证、业务用户访问控制、数据访问控制、数据保护、用户锁定等工作内容。4.7.4网络和系统安全在网络安全和系统安全方面，本项目中设计了多层次的安全机制来保护信息的私密性和安全性，包括：1、应用安全2、软件工具安全3、数据库安全4、操作系统安全5、网络安全5.智慧门户及数据深化应用5.1智慧门户5.1.1大数据智慧门户入口智慧门户及数据应用于PC端办公需求。主要目标为统一用户体系和单点登录。大数据智慧门户入口位于集团官网二级目录下，大数据智慧门户与集团内部全部业务系统实现单点登陆、统一入口。集团内部全部成员均可使用统一账户在大数据智慧门户页面登陆，并支持与其他业务系统无缝连接跳转。5.1.2大数据智慧门户功能智慧门户主要功能并包括：资源及业务系统单点登陆“一键”跳转。实现与已有及未来即将建设业务系统，如：OA系统、财资系统、贸易系统等无缝对接。实现与已有及未来即将建设的数据应用系统，如：集团管理驾驶舱、集团业务报表中心系统等系统无缝对接。实现与集团数据管理类系统，如：数据资产管理平台、数据任务监控平台等系统无缝对接。账号管理能力。提供用户账号的新建、生效、冻结、激活、注销等管理能力。权限集成能力。提供账号关联管理，用户管理、机构管理、角色管理、资源授权在内的权限管理功能。并实现数据以及访问控制，支持分级授权，实现单点登录，并支持外网手机验证码登录方式。外部相关资讯推荐阅读。如：商务部、海关总署、一带一路官网等国家相关机构所发布的政策、公告、重要资讯等；支持集团日常工作管理。如：集团通告、待办事宜、邮件处理、工作分配等基础能力。5.2数据深化应用5.2.1总体需求依据集团数据应用的不同类型，设计相应的解决方法和实施方案，实施方案需重点考虑支撑某一类应用的可行性、通用性和可持续性，使今后新增的应用分析需求能按照统一的技术路线可持续发展，从而节约开发成本，提高开发效率。在可行的技术方案下，借助相关的BI工具实现具体的业务需求或功能。总体来说，需满足以下几类应用的需要：1、固定报表类。运用BI工具实现综合分析报表。2、自定义报表类。满足用户自行定制灵活报表的需要，包括自行选择数据要素，业务指标，选取报表生成的条件和数据范围等，根据用户选定的条件自行生成报表，实现1-2个灵活报表的应用。能提供数据或指标点击量的统计和排名功能。3、OLAP分析类。宏观分析或汇总数据要能按照不同维度和方向展开，满足用户不断进行深入地挖掘和钻取的需要。能支持挖掘钻取到逐笔明细数据。4、查询分析类。通过开发相应的软件功能，实现面向特定主题、特定领域或某一主体的数据分析和查询应用。5、灵活分析应用类。通过建立数据集市或提供灵活查询数据的方法和手段，能根据自定义的主体范围开展数据的灵活分析，满足用户自行开展数据分析的需要。6、异常情况分析类。通过灵活设置异常指标和条件，能对异常情况进行预警，便于业务人员及时发现问题，做进一步的分析和查询。5.2.2领导专属驾驶舱建设本期实现董事长驾驶舱、总经理驾驶舱、监事长驾驶舱、工程分管领导驾驶舱、贸易分管领导驾驶舱、财务总监驾驶舱、党委副书记驾驶舱、纪委书记驾驶舱的建设。5.2.2.1董事长驾驶舱董事长驾驶舱中应展示的内容包括：财务状况：资产总额、负债总额、净资产、期末资产负债率、期末流动比率、总资产周转率及同比情况；应收账款数及分布；营业总收入、利润总额、净资产收益率、盈余现金保障倍数等相关数据及同比情况；经营状况：进出口总额、进口额、出口额，贸易板块利润状况；海外工程新签合同额、营业收入、在手项目总额、工程板块利润情况；类金融板块营业收入、利润、应收款项等等。党建及人力资源数据：党委数量、党总支数量、党支部数量、海外党组织数量；党员数量、在职党员和离退休党员占比、海外党组织数量；三会一课和主题党日召开情况、党费缴纳情况；员工总数及分布、男女情况、职称情况、年龄情况等等。5.2.2.2总经理驾驶舱总经理驾驶舱中应展示的内容包括：财务状况：资产总额、负债总额、净资产、期末资产负债率、期末流动比率、总资产周转率及同比情况；应收账款数及分布；营业总收入、利润总额、净资产收益率、盈余现金保障倍数等相关数据及同比情况；经营状况：进出口总额、进口额、出口额，贸易板块利润状况；海外工程新签合同额、营业收入、在手项目总额、工程板块利润情况；类金融板块营业收入、利润、应收款项等等。贸易业务数据：进出口总额、出口额、进口额、全市进出口占比、全市一般贸易进出口占比及同比情况；贸易类别（如进出口/转口/国内/跨境/人力资源）分布、各子分公司（国际/香港/进口/繁盛/渝欧/渝贸通）贸易额占比、各贸易品类占比（如机电/化工/农副产品/食品/奶粉/服饰）；工程业务数据：中标国内外工程合同额、国内工程合同额、国外工程合同额、完成产值情况、合同存量及同比情况、完成年度计划、滞后进度计划；房建总面积数、市政总公里数；承包方式分布、资金支付方式、合同签订时间分布、中标日期分布、合同工期分布；类金融数据：业务规模、营业收入、税前利润；小贷公司经营数据；保理公司经营数据；基金公司经营数据；融资租赁公司经营数据；担保公司经营数据；5.2.2.3监事长驾驶舱监事长驾驶舱应展示如下内容：财务状况：资产总额、负债总额、净资产、期末资产负债率、期末流动比率、总资产周转率及同比情况；应收账款数及分布；营业总收入、利润总额、净资产收益率、盈余现金保障倍数等相关数据及同比情况；经营状况：进出口总额、进口额、出口额，贸易板块利润状况；海外工程新签合同额、营业收入、在手项目总额、工程板块利润情况；类金融板块营业收入、利润、应收款项等等。类金融数据：业务规模、营业收入、税前利润；小贷公司经营数据；保理公司经营数据；基金公司经营数据；融资租赁公司经营数据；担保公司经营数据；法律事务：法律事务工作人数、法律资格证人数、法律事务机构数；评审本部合同数、制度会审数、参与会审重大决策数、审核率；全集团签订合同数、制订和修订制度数、重大决策数及相关审核率。诉讼案件数、主诉数、被诉数；监事会事务：列席董事会次数、列席党委会次数、列席总经理办公会次数、议案会审数量、提出建议数量、出具整改评价意见数、督促整改数、追责问责数、收回债券总额、调整账务总额。召开监事会次数、审议议案数量、形成决议数量；5.2.2.4工程分管领导驾驶舱工程分管领导驾驶舱中应展示的内容包括：财务状况：资产总额、负债总额、净资产、期末资产负债率、期末流动比率、总资产周转率及同比情况；应收账款数及分布；营业总收入、利润总额、净资产收益率、盈余现金保障倍数等相关数据及同比情况；经营状况：进出口总额、进口额、出口额，贸易板块利润状况；海外工程新签合同额、营业收入、在手项目总额、工程板块利润情况；类金融板块营业收入、利润、应收款项等等。工程业务数据：中标国内外工程合同额、国内工程合同额、国外工程合同额、完成产值情况、合同存量及同比情况、完成年度计划、滞后进度计划；房建总面积数、市政总公里数；承包方式分布、资金支付方式、合同签订时间分布、中标日期分布、合同工期分布；安全工作：安全检查次数、查出安全隐患数、治理安全隐患数、开展安全生产职工培训数、召开安全生产会议次数、投入安全生产资金量；5.2.2.5贸易分管领导驾驶舱贸易分管领导驾驶舱中应展示的内容包括：财务状况：资产总额、负债总额、净资产、期末资产负债率、期末流动比率、总资产周转率及同比情况；应收账款数及分布；营业总收入、利润总额、净资产收益率、盈余现金保障倍数等相关数据及同比情况；经营状况：进出口总额、进口额、出口额，贸易板块利润状况；海外工程新签合同额、营业收入、在手项目总额、工程板块利润情况；类金融板块营业收入、利润、应收款项等等。贸易业务数据：进出口总额、出口额、进口额、全市进出口占比、全市一般贸易进出口占比及同比情况；贸易类别（如进出口/转口/国内/跨境/人力资源）分布、各子分公司（国际/香港/进口/繁盛/渝欧/渝贸通）贸易额占比、各贸易品类占比（如机电/化工/农副产品/食品/奶粉/服饰）；5.2.2.6财务总监驾驶舱财务总监驾驶舱中应展示的内容包括：财务状况：资产总额、负债总额、净资产、期末资产负债率、期末流动比率、总资产周转率及同比情况；应收账款数及分布；营业总收入、利润总额、净资产收益率、盈余现金保障倍数等相关数据及同比情况；经营状况：进出口总额、进口额、出口额，贸易板块利润状况；海外工程新签合同额、营业收入、在手项目总额、工程板块利润情况；类金融板块营业收入、利润、应收款项等等。授用信：银行总授信数、实际用信数、平均融资成本及同比情况；授信银行分布；资金集中结算：集中决算总量、日归收集率；境内外汇资金累计情况；审计工作：配合外部审计次数、完成下属企业审计数；5.2.2.7党委副书记驾驶舱党委副书记驾驶舱中应展示的内容包括：财务状况：资产总额、负债总额、净资产、期末资产负债率、期末流动比率、总资产周转率及同比情况；应收账款数及分布；营业总收入、利润总额、净资产收益率、盈余现金保障倍数等相关数据及同比情况；经营状况：进出口总额、进口额、出口额，贸易板块利润状况；海外工程新签合同额、营业收入、在手项目总额、工程板块利润情况；类金融板块营业收入、利润、应收款项等等。人力资源：从业人员总数、国内人数、劳务派遣人数、劳务外包人数；国外人数、外派劳务人员数、当地聘用人数；因公出差批次及人数、工资总额、福利总额、五险一金总额、人工成本利润率；各二级三级企业领导人员数量、中层管理人员数量；行政工作：召开股东会、董事会、党委会、总经理办公会次数及议案审议数；收文总数、国资委来文数、市委市政府来文数、所属企业来文数、上行文下行文比例、会议纪要数、工作简报数；党建及人力资源数据：党委数量、党总支数量、党支部数量、海外党组织数量；党员数量、在职党员和离退休党员占比、海外党组织数量；三会一课和主题党日召开情况、党费缴纳情况；员工总数及分布、男女情况、职称情况、年龄情况等等。5.2.2.8纪委书记驾驶舱纪委书记驾驶舱中应展示的内容包括：财务状况：资产总额、负债总额、净资产、期末资产负债率、期末流动比率、总资产周转率及同比情况；应收账款数及分布；营业总收入、利润总额、净资产收益率、盈余现金保障倍数等相关数据及同比情况；经营状况：进出口总额、进口额、出口额，贸易板块利润状况；海外工程新签合同额、营业收入、在手项目总额、工程板块利润情况；类金融板块营业收入、利润、应收款项等等。纪检监督情况：诫勉人数、组织调整和处理人数、党纪处分人数、通报批评人数、责令检查人数、党内警告人数、党内严重警告人数、受理信访举报数、处置问题线索数、立案数、结案数、司法机关立案人数；接待群众人数、制作反邪教图片次数；5.2.2工作流可视化系统实现OA协同办公、NC财务系统、贸易业务系统中相关工作流流程的实时可视化查询功能。可对每一条工作流设置时间提醒功能，并能够连通用户的手机进行短信通知。可以进行人员视角查询，如查询某员工的工作清单和完成情况，并可以点击某条工作流查看详情，实现穿透。5.2.3集团贸易项目风险分析通过内部数据和行业权威数据的融合与建模分析，有效实现贸易项目风险分析，推动业务发展。具体实施上，本期应选择不少于两个贸易品类，完成基于欧美、非洲和东南亚不少于五个国家的数据搜集和信息化展示。在后续项目中（不含在本期），需结合我国及全球经济发展情况，我国及全球相关品类的进出口贸易统计数据、我国及全球经济发展水平数据、货物进出口报关单状态信息进行，并建立起一套切实可用的模型。5.2.4集团贸易伙伴及客户追溯通过内部系统和外部权威数据（如工商、法院、海关）的融合分析，识别出贸易伙伴及客户的风险和特点，予以提示并给出建议。具体实施上，本期应尽可能抓取企业信用信息公示系统数据、中国执行公开网、中国裁判文书网等企业公开的工商及其他可公开免费获取的信息，完成自动化数据搜集和信息化展示。在后续项目中（不含在本期），需结合内部数据、海关权威数据、舆情信息和其他非公开数据资产进行融合分析预警，并建立起一套切实可用的模型。5.2.5各国税率利率汇率的数据搜集与展示实现跨境联动。通过收集各国税率、利率、汇率等数据，通过预测分析，提出在当前状态下最优的贸易解决方案。具体实施上，本期选择不少于十个指定贸易国的税率、利率、汇率的收集，并用可视化看板进行展示。在后续项目中（不含在本期），需实现预测分析功能，对集团的贸易业务的决策提供支撑，并建立起一套切实可用的模型。5.2.6各国重要商品价格的数据搜集与展示实现重要商品价差的反馈。收集集团关注的重点商品的价格信息，进行计算和预测，可提前预测贸易过程中因商品价差波动造成的违约风险和收益损失风险。具体实施上，本期选择不少于十个重要商品价格在不少于十个指定贸易国的的价格进行收集，并用可视化看板进行展示。在后续项目中（不含在本期），需预测贸易过程中因商品价差波动造成的违约风险和收益损失风险，并建立起一套切实可用的模型。5.2.7集团业务报表中心根据《数据需求管理办法》、《数据报表管理办法》的要求，为集团各个业务部门提供报表下载和在线打印等能力，保证报表指标口径一致性、准确性。包括在5.2.2中提到的八个领导驾驶舱中的财务状况、经营状况、现金流状况、贸易业务数据、工程业务数据、类金融数据、党建数据、纪检监督情况、法律事务、监事会、人力资源、审计工作、安全工作、授用信、资金集中结算、行政工作等16类工作约200个指标。5.2.8集团数据需求中心根据《数据需求管理办法》的要求，集团执行数据资产集团化管理策略。对于各部门对于集团内部已有数据提出需求，由大数据平台根据数据安全级别及权限向需求方提供数据接口或数据报表服务。对于新的外部数据需求，由相关数据需求部门提出业务及技术需求后，大数据平台统一梳理需求，外采数据，并提供给数据需求部门，保证数据标准统一、口径一致，避免出现数据孤岛及数据资源的浪费。6.区块链应用咨询规划区块链是一种以密码学算法为基础的点对点分布式账本技术，可以在多中心的系统中构建不可篡改、不可伪造，并保证系统中各个节点所拥有账本的动态一致性。6.1区块链技术特征区块链有四个基本特征：去中心、开放性、自治性、信息不可篡改和匿名性。去中心，由于使用分布式核算和存储，不存在中心化的硬件或管理机构，任意节点的权利和义务都是均等的，系统中的数据块由整个系统中具有维护功能的节点来共同维护。开放性，系统是开放的，除了交易各方的私有信息被加密外，区块链的数据对所有人公开，任何人都可以通过公开的接口查询区块链数据和开发相关应用，因此整个系统信息高度透明。自治性，区块链采用基于协商一致的规范和协议（比如一套公开透明的算法）使得整个系统中的所有节点能够在去信任的环境自由安全的交换数据，使得对“人”的信任改成了对机器的信任，任何人为的干预不起作用。信息不可篡改，一旦经过验证并添加至区块链，信息就会被永久的存储起来，除非能够同时控制住系统中超过51%的节点，否则单个节点上对数据库的修改是无效的。因此区块链的数据稳定性和可靠性极高。匿名性，由于节点之间的交换遵循固定的算法，其数据交互是无需信任的（区块链中的程序规则会自动判断活动是否有效），因此交易对手无需通过公开身份的方式让对方产生信任，对信用的累积非常有帮助。6.2区块链业务应用及技术方案基于区块链技术特征优势，区块链技术在支付业务、合约交易、金融交易、公共记录、证书证照、资质资产、行为信用、业务或产品追溯等众多业务场景中有着很强的业务瓶颈突破潜力，并且在社会各行业中有越来越多的实践案例。在本项目实施过程中，需要梳理适合重庆对外经贸集团业务需求的区块链应用落地场景规划(例如