软件项目标书

软件工程标书(总25页)-CAL-FENGHAI.-(YICAI)-CompanyOne1-CAL-本页仅作为文档封面，使用请直接删除中国外汇交易中心数据仓库一期工程建议安讯软件〔上海〕xxxxxx月xx日01名目\l“_TOC_250033“工程目标 3\l“_TOC_250032“技术解决方案 3\l“_TOC_250031“系统总体架构 3\l“_TOC_250030“规律架构 3功能层面〔上侧面〕 3非功能层面〔右侧面〕 4\l“_TOC_250029“设计层面 4ETL数据抽取 4报表设计 4报表呈现 4报表应用 4\l“_TOC_250028“物理架构 4\l“_TOC_250027“数据架构 5\l“_TOC_250026“系统技术实现方案 5\l“_TOC_250025“总体技术实现方案 5\l“_TOC_250024“高效的ETL处理 6ETL总体处理流程 6数据仓库模型设计 7\l“_TOC_250023“数据质量治理 7数据仓库对数据质量的要求 7数据质量改进目标 7数据质量改进方法 8\l“_TOC_250022“报表平台设计 8敏捷的报表查询 8先进的报表开发模式 8高效的报表消费 9老系统统计报表移植 9\l“_TOC_250021“认证治理 9\l“_TOC_250020“系统牢靠性及可扩展性 9\l“_TOC_250019“非功能性设计 10性能需求 10灾备设计 11可获性设计 13易用性设计 13安全性设计 13\l“_TOC_250018“工程治理 15\l“_TOC_250017“沟通治理 15\l“_TOC_250016“工程会议制度 15定期会议 15不定期会议 15\l“_TOC_250015“工程状态周报制度 16\l“_TOC_250014“沟通手段 16\l“_TOC_250013“配置治理 17\l“_TOC_250012“配置治理原则 17\l“_TOC_250011“配置库治理 17\l“_TOC_250010“变更治理 17\l“_TOC_250009“发起变更 17\l“_TOC_250008“评估变更 18\l“_TOC_250007“审批变更 18\l“_TOC_250006“执行变更 18\l“_TOC_250005“变更执行评估 18\l“_TOC_250004“质量治理 18\l“_TOC_250003“质量规划 18\l“_TOC_250002“质量保证 19\l“_TOC_250001“质量检查 20\l“_TOC_250000“工期进度 2010其次册技术局部工程目标CFETS对信息进展利用和治理，对外供给统一的数据视图和综合决策分析支撑环境，为目标如下：技术目标建立数据仓库根底架构建立自动数据抽取／转换／加载〔ETL〕机制建立多维分析和数据查询工具和界面已经分析报表生成和展现框架业务目标实现一期经营分析的多维分析、查询和报表，供给CFETS各部门所需报表供给下游系统所需要的统计数据供给中心内部用户以Ad-Hoc方式查询所需数据格式实现用户访问的门户界面并建立相应的访问安全和权限机制报表统计结果的全都性〔上海〕提出如下技术解决方案来实现本工程的技术目标和业务目标。技术解决方案系统总体架构规律架构总体规律架构如下：功能层面〔上侧面〕ETL数据存储固定统计报表统一用户界面及Portal认证治理非功能层面〔右侧面〕设计层面ETL通过成熟的ETL工具，实现从不同的数据源中抽取出所需要的信息，同时通过数据的加工和格式化，对外供给应其他系统使用。报表设计，技术人员设计好根本的报表后，可供给应业务人员使用。报表呈现。报表应用人员也能同报表进展交互，检索出自己需要的数据。物理架构物理架构说明：本外币数据库向仓库供给对应的数据仓库为对应的报表效劳器供给统一的视图。权限报表效劳器部署到同一机器上。数据架构数据流说明：首先从本外币或者其他系统获得对应的数据.经过ETL对数据进展加工，清洗和标准化。件。数据仓库对外暴露数据模型和数据视图以及sql接口。数据仓库为报表治理系统和下游系统供给所需要的数据报表治理系统呈现对应数据的报表。系统技术实现方案总体技术实现方案充分考虑到CFETS系统存在在本外币等多种数据源，且数据源分散，多分散子ETL成数据仓库和报表系统两大局部。以下是我们建议的系统架构概念图：系统包含一个双机组成的数据仓库，和一个双机组成的报表效劳平台。数据仓7x24OracleIBMActuate9。过增加硬件的方式扩容，以支持越来越多的用户和应用。总体方案通过以下步骤实现数据到可用信息的转换：通过ETL手段对不同的数据源数据进展抽取，转换，清洗，数据格式化。通过ETL转化后的数据统一进入数据仓库，形成统一的数据视图。进入数据仓库的数据模型可以为报表平台供给对应的数据来源。通过认证的用户可以登陆报表平台消费和设计对应的报表。ETLETL总体处理流程ETL从本币数据源或其他数据源中抽取需要的数据。ETLETL产生LDM落地数据文件。落地数据文件下发到下游系统，同时进展数据入库。整个ETL处理过程进展特别处理及监控。ETL实施我们建议承受成熟的ETL工具，所选ETL工具需要满足如下根本要求：技术架构支持全部的主流平台模块化的架构设计，可按需进展模块添加和扩展具有错误恢复规律的功能支持并行处理核心功能支持本地数据访问模式支持星型模式支持打包应用〔例如SAP〕支持根本处理〔例如SQL〕具有数据自动转换和清洗功能ETLETL具有自动错误预警功能开发环境图形化界面支持命令行便于调试和维护具有代码版本掌握功能ETL支持集中治理ETLETL我们信任商业ETL工具中INFORMATICA会是一个很好的选择，开源ETL产品KettleINFORMATICA数据仓库模型设计数据建模建模过程：〔以常用会计报表为例〕用户需要查看基于时间、机构和科目的报表。建立以数据事实表为中心，需要时间、机构和度量作为其维度。建立好如上的星型模型后，可觉察模型具有如下优点。敏捷的数据查询，可基于时间查询对应的日报，月报和季报。效率最优化，需要查询机构信息，则通过机构和事实表关联即可完成。数据质量治理数据仓库对数据质量的要求数据仓库对数据质量的要求总体上归纳为：数据完整性，包括数据源是否完整、数据取值是否完整、维度取值是否完整等。数据准确性，包括数据源是否准否全都，源数据与抽取的数据是否全都，数据仓库内部各处理环节数据是否全都额、时长、次数的规律关系是否满足等。数据时效性，包括数据处理〔猎取、整理、加载等〕的准时性，数据特别检测的准时性，数据处理回退的准时性等。有意义的。数据时效性假设得不到保证，就可能延误了市场人员的分析，失去商机。从数据仓库的建设过程来看，它本身修复数据以提高数据质量的力量并不是很问题，将数据问题反响到业务支撑系统中，由后者做数据修正。数据质量改进目标数据质量改进的目标是清理、标准化、提高和匹配现有数据。据，并使共享信息数据效劳于经营分析，为生产系统的改进供给标准。建立数据整合流程，实现流程定义、流程配置和流程管控。建立数据整合的规章制度，落实数据质量的分级负责。建立起数据整合队伍，使数据质量能够得以持续改进。数据质量改进方法数据质量掌握要从技术、流程和治理三个方面进展。数据清洗；同时需要对源数据做稽核，如总量稽核和重量稽核。需要很多步骤来完成，这就需要将过程流程化，并且流程可通过配置来实现。由生产系统保证源数据的完整性、准确性、全都性、时效性。ETLETL报告。但需要明确的是，很多状况下，很多数据问题在ETL之前都无法知道，只能ETLETL报表平台设计建立报表查询门户，供给各类信息报表的查询，统一查询渠道，统一数据口统。BI通过全都的展现环境猎取报表信息。具体设计如下：敏捷的报表查询表效劳器进展交互，查看到需要的报表。先进的报表开发模式，业务人员依据自己需要通过简洁的拖动则可形成自己需要的报表。高效的报表消费来源等信息，其只要依据自己的业务需要，通过简洁的拖拽即可完成对报表的定制，猎取到自己需要的信息。老系统统计报表移植对于老系统的统计报表，我们将实行重写的方式移植到统一的报表平台上面。不全都对治理决策带来的负面影响。老系统报表迁移的一个难点是如何保证数据仓库系统中的报表统计结果与原需要选择统计口径，使报表能够到达业务人员的预期。以确定问题的根源到底是在数据，还是报表规律。认证治理具有对应角色的用户才能访问对应的报表。系统牢靠性及可扩展性虑了这两个因素。针对牢靠性，我们的设计是在系统包含一个双机组成的数据仓库，和一个双机中的每个功能节点设计都含冗余度，保证系统不存在单一失败点，满足供给7x24统性能统计、分析、优化以及部件更换就能够在不影响应用系统功能的前提下完成。而全部关键部件能够保证在不停顿数据共享效劳的前提下供给热插拔力量。对于可扩展性，使用我们建议的报表效劳平台安讯iServer，系统架构会有很强的可扩展性，用户可以通过增加硬件的方式扩容，以支持越来越多的用户和应载平衡技术，将任务平均安排到各台效劳器上。安讯iServer具备精彩的可扩展D9iServer能够通过对主机的线性扩展得到满足。非功能性设计性能需求容量设计依据1994-2023年的全部交易数据总容量为10Gbyte，或许每年的数据容量2.5G响应设计高的响应能给用户带来效率上的提升，加快了工作效率，削减了等待时间，响应：间关联检索，能大大提高系统数据的响应时间。IO，利用集群功能，合理安排负载，充分利用各主机的CPU,内存等硬件资源。优化报表设计，削减报表生成所需要的系统资源。充分利用报表系统的缓存功能，把报表生成任务安排到非顶峰时段。充分利用报表系统的对查询的缓存功能，削减对数据源的实时访问。灾备设计灾备级别中：系统需要的资料数据。低：与系统关系不大，间或系统需要使用到的数据。由此可见，对于高，中级别的数据，需要进展对应的备份。备份策略份、联机备份和远程备份功能：磁盘备份：通过镜像(mirrored)工干预。联机备份：供给24*365天的备份机制，用户可以基于调度来运行备份，可以Oracle10g或IBMDB2数据库，都支持热备份；Actuate9iServer据仓库的数据和报表效劳器的报表，可以每天进展一次热备份。远程备份：供给应付灾难性的系统失败的有效方式。远程备份把数据存放到地据，拷贝到远端备份存储效劳器。份前一天的备份数据，包括数据仓库和报表效劳器的数据。当地备份建议保存30天；远程备份建议保存7天。备份可以保存在磁带库、或光盘库。本地备份耗时目标是2小时；远程备份耗时目标是12小时。恢复策略常规的数据恢复流程设计如下：重启系统的全部效劳器和存储设备如必要，恢复系统备份恢复数据仓库和报表系统数据恢复系统效劳常规数据恢复一般是在文件系统失败〔包括磁盘设备失败〕导致数据无法使用Oracle数据库的恢复过程分两步进展，首先将把存放在重做日志文件中的全部重做运回滚到之前的某一个时刻。数据库的特别、错误可以分为以下几类：线程失败实例失败假设发生前三种失败，不需要人为干预，系统会自动进展恢复。对于用户操作〔如误删除数据〕，系统实行的补救措施主要有导入最的规律备份或进展(TSPITR)，全恢复。当错误操作觉察比较准时而且数据量不大的状况下也可以考虑使用logminerSQL。文件变为不行用，我们先将数据库所涉及到的文件进展一个划分，主要可分为：数据库掌握文件数据文件归档日志文件后只能依靠操作系统备份将其恢复。SCN、检查们之间互为镜像，当其中任何一个发生故障，只需将其从ini文件中注释掉故障数据文件就可重将数据启动。当全部掌握全部失效时，可以在Nomount模式下执行redolog，datafile，文前运行过alterdatabasebackupcontrolfiletotrace或alterdatabasebackupcontrolfileto‘xxx’对掌握文件作备份，恢复时可使用生成的脚原来重建或用备份文件掩盖，假设使用了旧的掌握文件在恢复时要使用recoverxxxusingbackupcontrolfileresetlogs库。可获性设计系统包含一个双机组成的数据仓库，和一个双机组成的报表效劳平台。数据仓余度，保证系统不存在单一失败点。此外，高可获性来自于我们建议的软件系统Oracle,IBMDB2,或Actuate9,都支持失败转移等高级集群功能，满足7x24易用性设计在软件的易用性方面，我们将充分考虑用户的体验性，简洁性，高效率性为客用户界面友好、同时易操作。界面风格，术语统一。合理的组织操作菜单供给友好的联机帮助界面。安全性设计身份认证系统供给身份认证功能。使用系统的用户必需先要经过申请审批治理流程，通统，进展权限范围内的操作。在系统登录界面中，只有输入正确的用户名和密码，才能进入系统，进入系统步供给系统的身份认证安全性。用户权限掌握设置用户的、操作权限、数据权限。通过用户、用户组及权限治理功能，可依据机构、部门、用户类别等建立用户授权。用户组、用户的权限可以针对机构、业务数据的范围、功能范围等进展授权，实现系统应用的数据安全。关键数据加密存储在其它任何软件环境中都无法猎取明码。系统操作处理日志系统对用户登录状况，如登录用户、进入时间、退出时间、操作功能项等进展据范围、执行状况等也自动记录日志，以便出问题时跟踪追查审计。系统日志还可用于系统操作的防抵赖。安全治理机构和制度建设明确系统的安全治理机构/部门、人员及职责，负责治理系统安全保密工作。治理，实现统一的访问掌握策略，确保系统的安全运行、安全审查。在外部安全上，企业级的防火墙可以为本系统供给一个安全的运行环境。在系统内部，本系统用户众多，机构、角色、权限各不一样，因此必需具有较高的安全性，防止用户越权访问以及窃取数据。用户的每个动作都要经过身份验标。操作授权：对不同使用部门使用产品的授权和其中不同级别的用户使用产品功需系统授权。工程治理沟通治理工程会议制度工程会议是效劳于工程工作的，是为了更好的加强工程沟通、解决工程实施过上传版本库中。工程组依据工程实际状况拟设立定期会议和不定期会议，分别阐述如下：定期会议工程周例会源；对工程提出建议，问题的解决方法，行动打算。14:00参与人员：乙方工程经理；甲方工程经理；工程经理指定的其他成员。；工程状态信息，时间进度表等；问题，风险，依靠条件〔技术和管发会议记录，将会议记录上传到版本库中，并负责下一步行动打算。不定期会议工程状态会议会议目标：使工程全体人员明确目前工程的状态、问题、解决方法。日期与时间：依据实际需要确定。参与人员：全部工程人员。工程领导组会议会议目标：审核下阶段工程打算；复查工程状态和里程碑；对工程中的重日期与时间：依据工程进展实际状况安排。的人员。会议记录上传到版本库中，并负责下一步行动打算。重大问题汇报会议会议目标：汇报工程重大问题，并争论打算实行何行动。日期与时间：重大问题消灭时。参与人员：问题发起人；工程经理；高层领导等。主要议程及责任：汇报工程重大问题，找出解决方案，打算行动打算。工程组内部争论/沟通会议会议目标：对工程组内部遇到的问题进展争论，找出解决方案，并争论打算实行何行动。日期与时间：依据开发的状态。参与人员：问题发起人；沟通相关人员等。主要议程及责任：争论消灭的各种相关问题，找出解决方案，打算行动打算。工程状态周报制度〔上海〕工程经理汇总后提交给甲方工程经理；甲方工程经理依据工程状态，总结工程周报，形成工程组的状态周报，并于每周一下午4点之前上传到版本库中的周报名目上。沟通手段开会或直接交谈结果，重要问题争论必需有书面会议记录。或会议人员，则需要利用会议的方式进展争论，沟通。电子邮件建立工程组电子邮件系统及与外界联系的电子邮件系统。配置治理配置治理原则供给的配置环境中进展，全部人员都必需按甲方的配置治理制度进展工作。配置库治理基线。经测试以及审核后提交产品库，文档与产品由甲方统一治理，未经甲方同意，不得对任何项进展任何更改。变更治理程质量的掌握。〔甲方人数＝乙方＋1〕，由甲方指定人员任变更掌握委员会主任;2/3委员会主任有最终拒绝权。请提交工程治理高层进展裁决。发起变更提出变更要求必需填写《变更申请表》〔参见附件C“变更申请表”所附表和变更的必要性，打算拒绝变更申请或者要求乙方对申请的变更进展评估。评估变更响，进展全面的评估，在五工作日内，填写变更评估表〔C“变更申请表”所附表样〕，以书面形式提交甲方。审批变更批单，有效变更审批间必需在审批结论中明确是否通过变更申请。审批。执行变更度，重安排资源，对变更开放工作，并指定变更执行评估人员。。变更执行评估估跟踪，并将结果向变更掌握委员会主任报告。质量治理质量规划质量目标开展质量治理活动：90%以上质量治理原则预防优于检查治理层的责任持续改进的方法、工具、记录与跟踪等，便以此为根底，有效地开展质量治理活动。测试要求求：在需求分析阶段，出具用户测试打算，以保证需求的可测试性在概要设计阶段，出具集成测试打算、集成测试案例在具体设计阶段，出具单元测试打算、单元测试案例经理确认集成测试打算需经评审通过集成测试必需有两轮以上