软件项目标书

1、软件工程标书Company Document number：WUUT-WUUY-WBBGB-BWYTT-1982GT中国外汇交易中心数据仓库一期工程建议安讯软件上海20225 4 日名目其次册 技术局部工程目标CFETS期望通过数据仓库系统的建设，可以有效地整合各市场业务数据，统一对信息进展利用和治理，对外供给统一的数据视图和综合决策分析支撑环境，为CFETS各部门所需的报表应用、统计分析及信息挖掘供给根底支持平台。具体建设目标如下：技术目标建立数据仓库根底架构建立自动数据抽取转换加载ETL机制建立多维分析和数据查询工具和界面已经分析报表生成和呈现框架业务目标实现一期经营分析的多维分析、查询和

2、报表，供给 CFETS各部门所需报表供给下游系统所需要的统计数据供给中心内部用户以 Ad-Hoc方式查询所需数据格式实现用户访问的门户界面并建立相应的访问安全和权限机制报表统计结果的全都性上海提出如下技术解决方案来实现本工程的技术目标和业务目标。技术解决方案系统总体架构规律架构总体规律架构如下：功能层面上侧面依据 CFETS对应的功能需求，对应的功能层面上需要建立如下功能：ETL数据存储固定统计报表Portal认证治理非功能层面右侧面易用性响应性牢靠性扩展性安全性设计层面ETL数据抽取过数据的加工和格式化，对外供给应其他系统使用。报表设计，技术人员设计好根本的报表后，可供给应业务人员使用。报表

3、呈现。报表应用人员也能同报表进展交互，检索出自己需要的数据。物理架构物理架构说明：本外币数据库向仓库供给对应的数据仓库为对应的报表效劳器供给统一的视图。权限报表效劳器部署到同一机器上。数据架构数据流说明：首先从本外币或者其他系统获得对应的数据.ETL对数据进展加工，清洗和标准化。件。sql接口。数据仓库为报表治理系统和下游系统供给所需要的数据报表治理系统呈现对应数据的报表。系统技术实现方案总体技术实现方案CFETS系统存在在本外币等多种数据源，且数据源分散，多分散库架构的建立、ETL机制的建立、以及报表分析架构的建立和报表实施。系统可以分成数据仓库和报表系统两大局部。以下是我们建议的系统架构概

4、念图：系统包含一个双机组成的数据仓库，和一个双机组成的报表效劳平台。数据仓7x24不连续效劳的要求。OracleIBM的技术。报表技术建议使用Actuate9。过增加硬件的方式扩容，以支持越来越多的用户和应用。总体方案通过以下步骤实现数据到可用信息的转换：ETL手段对不同的数据源数据进展抽取，转换，清洗，数据格式化。ETL转化后的数据统一进入数据仓库，形成统一的数据视图。进入数据仓库的数据模型可以为报表平台供给对应的数据来源。通过认证的用户可以登陆报表平台消费和设计对应的报表。ETLETL总体处理流程ETL处理流程：从本币数据源或其他数据源中抽取需要的数据。ETL对抽取到的数据进展必要的增量处

5、理，生成一天的增量数据。ETL对增量数据进展技术性检核、标准化、转换。产生 LDM 落地数据文件。落地数据文件下发到下游系统，同时进展数据入库。ETL处理过程进展特别处理及监控。ETL工具需要满足如下根本要求：技术架构支持全部的主流平台模块化的架构设计，可按需进展模块添加和扩展具有错误恢复规律的功能支持并行处理核心功能支持本地数据访问模式支持星型模式支持打包应用SAP支持根本处理SQL具有数据自动转换和清洗功能ETLETL具有自动错误预警功能开发环境图形化界面支持命令行便于调试和维护具有代码版本把握功能ETL治理支持集中治理ETL运行报表ETL自动和手工调度功能ETL产品 Kettle则是 I

6、NFORMATICA之外一个很好的备选。数据仓库模型设计数据建模建模过程：以常用会计报表为例用户需要查看基于时间、机构和科目的报表。建立以数据事实表为中心，需要时间、机构和度量作为其维度。建立好如上的星型模型后，可觉察模型具有如下优点。机敏的数据查询，可基于时间查询对应的日报，月报和季报。效率最优化，需要查询机构信息，则通过机构和事实表关联即可完成。数据质量治理数据仓库对数据质量的要求数据仓库对数据质量的要求总体上归纳为：数据完整性，包括数据源是否完 整、数据取值是否完整、维度取值是否完整等。数据准确性，包括数据源是否准 否全都，源数据与抽取的数据是否全都，数据仓库内部各处理环节数据是否全都

7、额、时长、次数的规律关系是否满足等。数据时效性，包括数据处理猎取、整 理、加载等的准时性，数据特别检测的准时性，数据处理回退的准时性等。有意义的。数据时效性假设得不到保证，就可能延误了市场人员的分析，失去商机。从数据仓库的建设过程来看，它本身修复数据以提高数据质量的力量并不是很问题，将数据问题反响到业务支撑系统中，由后者做数据修正。数据质量改进目标数据质量改进的目标是清理、标准化、提高和匹配现有数据。实数据质量的分级负责。建立起数据整合队伍，使数据质量能够得以持续改进。数据质量改进方法数据质量把握要从技术、流程和治理三个方面进展。数据清洗；同时需要对源数据做稽核，如总量稽核和重量稽核。需要很多

8、步骤来完成，这就需要将过程流程化，并且流程可通过配置来实现。生产系统保证源数据的完整性、准确性、全都性、时效性。ETL架构设计中我们会包括数据ETL流程中，分为技术检查和业务规章检ETL流程，等待解决，但低级别的错ETL过程。在这个过程中，全部的错误都会进展记录，最终生成数据ETL之前都无法ETL的规章把握中去。报表平台设计建立报表查询门户，供给各类信息报表的查询，统一查询渠道，统一数据口 统。BI工具产生的通过全都的呈现环境猎取报表信息。具体设计如下：机敏的报表查询在报表的查询过程中，可以通过扫瞄器直接扫瞄报表，同时，用户也可以通过简洁表效劳器进展交互，查看到需要的报表。先进的报表开发模式，

9、业务人员依据自己需要通过简洁的拖动则可形成自己需要的报表。高效的报表消费来源等信息，其只要依据自己的业务需要，通过简洁的拖拽即可完成对报表的定制，猎取到自己需要的信息。老系统统计报表移植对于老系统的统计报表，我们将实行重写的方式移植到统一的报表平台上面。不全都对治理决策带来的负面影响。老系统报表迁移的一个难点是如何保证数据仓库系统中的报表统计结果与原需要选择统计口径，使报表能够到达业务人员的预期。我们将会承受严格的测试手段来保证报表与老报表统计结果的全都性。测来掩盖足够多的“任何状况”。对有差异的报表，我们会作进一步的数据集比照，以确定问题的根源到底是在数据，还是报表规律。认证治理有对应角色的

10、用户才能访问对应的报表。系统牢靠性及可扩展性虑了这两个因素。针对牢靠性，我们的设计是在系统包含一个双机组成的数据仓库，和一个双机中的每个功能节点设计都含冗余度，保证系统不存在单一失败点，满足供给 7x24 统性能统计、分析、优化以及部件更换就能够在不影响应用系统功能的前提下完 成。而全部关键部件能够保证在不停顿数据共享效劳的前提下供给热插拔力量。对于可扩展性，使用我们建议的报表效劳平台安讯 iServer，系统架构会有很强安讯 iServer可以运行在由多台效劳器组成的集群上，利用任务把握与自动负载平衡技术，将任务平均安排到各台效劳器上。安讯 iServer具备精彩的可扩展性，用D9系统性能白

11、皮书”。在集群系统中，安讯 iServer 可以通过不同的故障转移模(Failover)式来保障 iServer各项效劳的可用性。对系统可扩展性的考虑能充分保证用户不在初期的线性扩展得到满足。非功能性设计性能需求容量设计1994-202210G byte，或许每年的数据容量在800M 左右，沉着量和可扩展性和灾备等多方面综合考虑，建议每年的数据量安排在左右。响应设计应：间关联检索，能大大提高系统数据的响应时间。有效利用数据库的缓存功能，对于经常访问的数据，可将数据缓存于数据IO，CPU,内存等硬件资源。优化报表设计，削减报表生成所需要的系统资源。充分利用报表系统的缓存功能，把报表生成任务安排到

12、非顶峰时段。充分利用报表系统的对查询的缓存功能，削减对数据源的实时访问。灾备设计灾备级别高: 内部系统核心数据，包括全部连机和脱机数据，需要高级别的备份。中：系统需要的资料数据。低：与系统关系不大，间或系统需要使用到的数据。由此可见，对于高，中级别的数据，需要进展对应的备份。备份策略份、联机备份和远程备份功能：(mirrored)磁盘矩阵, 对每一个写到磁盘的字节，作实时的预。24*365天的备份机制，用户可以基于调度来运行备份，可以Oracle10gIBMDB2数据库，都支持热备份；Actuate9 iServer , 数据和报表效劳器的报表，可以每天进展一次热备份。远程备份：供给应付灾难性

13、的系统失败的有效方式。远程备份把数据存放到地据，拷贝到远端备份存储效劳器。份前一天的备份数据，包括数据仓库和报表效劳器的数据。307天。备份可以保存在磁带库、212小时。恢复策略常规的数据恢复流程设计如下：重启系统的全部效劳器和存储设备如必要，恢复系统备份恢复数据仓库和报表系统数据恢复系统效劳常规数据恢复一般是在文件系统失败包括磁盘设备失败导致数据无法使用Oracle数据库为例，说明一下可以考虑的恢复措施。数据库的恢复过程分两步进展，首先将把存放在重做日志文件中的全部重做运回滚到之前的某一个时刻。数据库的特别、错误可以分为以下几类：SQL语句失败线程失败实例失败用户操作失败存储设备失败假设发生

14、前三种失败，不需要人为干预，系统会自动进展恢复。对于用户操作如误删除数据，系统实行的补救措施主要有导入最的规律备份或进展(TSPITR)，全恢复。当错误操作觉察比较准时而且数据量不大的状况下也可以考虑使用logminerSQL。文件变为不行用，我们先将数据库所涉及到的文件进展一个划分，主要可分为：数据库的系统文件，指数据库的运行文件，各种应用程序数据库把握文件数据库联机重做日志文件数据文件归档日志文件后只能依靠操作系统备份将其恢复。SCN、检查ini文件中注释掉故障数Nomount模式下执create controlfileredo log，data file，文件名MAXLOGFILES，M

15、AXDATAFILES，MAXINSTANCES等信息。如果失败之前运行过 alter database backup controlfile to trace 或 alter database backup controlfiletoxxx对把握文件作备份，恢复时可使用生成的脚原来重建或用备份文件掩盖，假设使用了旧的把握文件在恢复时要使用 recover xxx using backup controlfileresetlogs选项来翻开数据库。可获性设计系统包含一个双机组成的数据仓库，和一个双机组成的报表效劳平台。数据仓Oracle,IBMDB2,Actuate9,都支持失败转移等高级集群

16、功能，满足7x24不连续效劳的要求，能够保证满足任何时候系统的可获性需求。易用性设计在软件的易用性方面，我们将充分考虑用户的体验性，简洁性，高效率性为客WEBIE、Firefox作为客户端的扫瞄工具。用户界面友好、同时易操作。界面操作符合扫瞄习惯。界面风格，术语统一。机敏的页面布局，支持标签页。合理的组织操作菜单查询等消灭错误时供给友好的提示。供给友好的联机帮助界面。安全性设计身份认证系统供给身份认证功能。使用系统的用户必需先要经过申请审批治理流程，通统，进展权限范围内的操作。在系统登录界面中，只有输入正确的用户名和密码，才能进入系统，进入系统步供给系统的身份认证安全性。用户权限把握设置用户的

17、、操作权限、数据权限。通过用户、用户组及权限治理功能，可依据机构、部门、用户类别等建立用户授权。用户组、用户的权限可以针对机构、业务数据的范围、功能范围等进展授 权，实现系统应用的数据安全。关键数据加密存储在其它任何软件环境中都无法猎取明码。系统操作处理日志系统对用户登录状况，如登录用户、进入时间、退出时间、操作功能项等进展据范围、执行状况等也自动记录日志，以便出问题时跟踪追查审计。系统日志还可用于系统操作的防抵赖。安全治理机构和制度建设明确系统的安全治理机构/部门、人员及职责，负责治理系统安全保密工作。 治理，实现统一的访问把握策略，确保系统的安全运行、安全审查。在外部安全上，企业级的防火墙

18、可以为本系统供给一个安全的运行环境。标。操作授权：对不同使用部门使用产品的授权和其中不同级别的用户使用产品功需系统授权。工程治理沟通治理工程会议制度工程会议是效劳于工程工作的，是为了更好的加强工程沟通、解决工程实施过上传版本库中。工程组依据工程实际状况拟设立定期会议和不定期会议，分别阐述如下：定期会议工程周例会源；对工程提出建议，问题的解决方法，行动打算。日期与时间： 每周四 14:00 开头。；工程状态信息，时间进度表等；问题，风险，依靠条件技术和管发会议记录，将会议记录上传到版本库中，并负责下一步行动打算。不定期会议工程状态会议会议目标： 使工程全体人员明确目前工程的状态、问题、解决方法。

19、日期与时间：依据实际需要确定。参与人员： 全部工程人员。主要议程及责任：工程状态，存在的问题及解决方法；下阶段工程打算。工程领导组会议日期与时间：依据工程进展实际状况安排。的人员。主要议程及责任：工程经理汇报工程状态和下阶段工程打算；工程领导争辩会议记录上传到版本库中，并负责下一步行动打算。重大问题汇报会议会议目标： 汇报工程重大问题，并争辩打算实行何行动。日期与时间：重大问题消灭时。参与人员：问题发起人；工程经理；高层领导等。主要议程及责任：汇报工程重大问题，找出解决方案，打算行动打算。工程组内部争辩/沟通会议会议目标：对工程组内部遇到的问题进展争辩，找出解决方案，并争辩打算实行何行动。日期

20、与时间：依据开发的状态。参与人员：问题发起人；沟通相关人员等。主要议程及责任：争辩消灭的各种相关问题，找出解决方案，打算行动打算。工程状态周报制度上海工程经理汇总后提交给甲方工程经理；甲方工程经理依据工程状 4点之前上传到版本库中的周报名目上。沟通手段开会或直接交谈结果，重要问题争辩必需有书面会议记录。 或 会议人员，则需要利用 会议的方式进展争辩，沟通。电子邮件建立工程组电子邮件系统及与外界联系的电子邮件系统。配置治理配置治理原则供给的配置环境中进展，全部人员都必需按甲方的配置治理制度进展工作。配置库治理基线。经测试以及审核后提交产品库，文档与产品由甲方统一治理，未经甲方同 意，不得对任何项

21、进展任何更改。变更治理程质量的把握。甲方人数乙方1，由甲方指定人员任变更把握委员会主任;2/3人数通过为表决通过，变更把握委员会主任有最终拒绝权。请提交工程治理高层进展裁决。发起变更提出变更要求必需填写变更申请表C“变更申请表”所附表和变更的必要性，打算拒绝变更申请或者要求乙方对申请的变更进展评估。评估变更响，进展全面的评估，在五工作日内，填写变更评估表C “变更申请表”所附表样，以书面形式提交甲方。审批变更批单，有效变更审批间必需在审批结论中明确是否通过变更申请。审批。执行变更度，重安排资源，对变更开放工作，并指定变更执行评估人员。变更执行评估估跟踪，并将结果向变更把握委员会主任报告。质量治

22、理质量规划质量目标开展质量治理活动：100%满足业务需求要求的正确性与准确性90%以上质量治理原则客户满足度优先预防优于检查治理层的责任持续改进质量保证打算：合同生效后，甲乙双方应在质量方针、质量目标、质量原则及的方法、工具、记录与跟踪等，便以此为根底，有效地开展质量治理活动。测试要求求：全部测试必需有适用的测试治理流程，得到质量把握小组确实认在需求分析阶段，出具用户测试打算，以保证需求的可测试性在概要设计阶段，出具集成测试打算、集成测试案例在具体设计阶段，出具单元测试打算、单元测试案例经理确认集成测试打算需经评审通过集成测试必需有两轮以上的测试，每轮测试必需有集成测试报告为完成在集成测试完成

23、后的程序修改应有足够的回归测试工作，并得到工程质量控制小组确实认质量保证甲乙双方在工程实施期间应进展以下质量保证活动：规章的培训与指导标准、工具与模板的使用培训。文档治理文档标准文档需遵循肯定的标准，由双方参照相关国际与国家标准协商制定，需经甲方工程质量把握人员审核通过。文档标识方法必需有统一的文档编号;文档应具有相关的定位信息与参考信息等，如：文档作者、完成日制等文档 全部文档必需经工程经理或质量保证人员的审核通过，正式提交件必需经过相关评审认可，参见提交件治理局部。文档的存储与检索：配置治理平台上进展。文档的流通与检索：经审核的文档必需按时流通到指定收件人;保证副本的有效、准确、保密性。文档保密、包括文档的废止：严格依据文档类型的限制访问;