数据库存储系统的相关设计及解决方案

1、数据库存储系统的相关设计及解决方案【摘要】设计数据库的目的是为了管理大量的数据，对数据的管理既涉及到数据操作机制的提供，又涉及到数据存储。如果把数据库管理系统看成是一个仓库，在仓库里存放着各种各样的的物品，另外还有一个仓库保管员，这个保管员负责不同物品的搬进、存储、搬出，这里的仓库就类似于存储数据的“文件”。【关键词】数据库系统；存储系统设计；数据库仓库一、系统设计及解决方案实现的背景纵观券商it发展现状，首先企业级业务应用越来越多，分工也越来越细，而企业级的业务应用需求和要求都越来越高，单个业务产品满足不了企业级应用需求，以下是目前券商主要面临的企业级应用需求：1 .面向上级监管部门的数据报

2、送2 .企业级合规管理和风险控制要求越来越高3 .实时动态业务风险监控4 .企业决策支持平台5 .客户营销管理二、数据中心目标定位概括而言，数据中心一方面是现有营业部柜台交易系统、总部清算系统、稽核系统等业务系统的数据采集者和管理者，同时也是营销管理、稽核监控、风险管理、数据挖掘和多维分析系统的数据提供者。（一）产品定位。企业数据标准中心，据交换中心，据服务中心。（二）功能定位。致力于企业业务数据的管理方法和管理工具研发，包括业务数据组织架构规划、数据规范管理、数据质量管理、数据发布管理以及数据的复用性管理等方面的系统性工程。（三）存贮设计定位既要考虑高并发高效率的oltp服务处理，也要考虑大

3、数据量访问的olap统计分析要求，基于未来5年到10年的数据存贮容量测算，以此来考虑系统的主机、存储架构设计以及数据处理技术应用等技术研究工作的方向。三、系统设计原则数据中心项目技术解决方案的设计原则体现在以下六个方面，使得有限的资源以较有效的协作方式共同发挥效用：（一）可扩展性数据模型：设计模型时，尽可能满足未来可能要上线的业务系统数据模型，同时还需制定一套合理的模型设计规范。数据分发平台：在设计时应考虑，随着分发数据规模的扩大和分发节点的增多，对分发处理和传输处理的性能要求会越来越高。（二）高性能分发平台：需考虑大数据量条件下的文件传输效率，主要体现在特殊日期及特殊情况下的全量文件传输。数

4、据库设计：同时要考虑分析类型的大批量数据或频繁访问需求，还要满足实时监控类的高并发访问要求。（三）可管理性数据质量管理：报告的可读性，标准的可维护性，问题处理流程的可操作性。数据分发平台：需要充分考虑数据分发任务易于配置，传输结果易于监控。（四）高可用性数据模型的可用性：能屏蔽源系统结构的变化对数据中心系统带来影响。局部数据模型的扩展不会对其它数据模型产生大的影响。系统备份：生产系统出现异常时，备份恢复机制及时恢复处理。（五）安全性。一是防止数据中心系统的数据资源被恶意修改和盗取；二是防止数据在传输过程中被截留和篡改。（六）可重用性。可重用性是指尽可能避免数据中心项目的重复投入，应尽可能考虑包

5、括物理设备、系统软件、框架组件、规范方法以及业务应用等多个层面上的复用。四、数据库存贮方案设计1.1 数据各逻辑层级划分。为保证数据中心能提供多层次、多粒度、多特征的数据服务，并保证etl过程的清晰、可控、完整、准确，数据中心根据数据性质、处理阶段以及数据质量的不同分为原始层、标准层、模型层、数据集市层4个数据层，具体如下：1.2 数据库系统的硬件架构设计。根据系统分析得出的各项数据，即可得到相应的硬件配置要求。1.2.1 存储设备容量评估。本节提出的“存储容量规划”将支持过去5年以上的历史数据和未来10年的新增业务数据的存储空间要求。1.2.1.1 基础数据规模评估。根据调查，某券商2002

6、年以来（至2012年）的历史数据规模可按1.5t计算。我们以此次配置的存储“满足未来3-4年（从2012年算起）的业务正常运行”、“将考虑未来10年的业务运行的扩展能力”这两个条件来评估，得出的基础数据规模为：约=2.9t约=6.8t注：公式中的25%是增量数据因子。每次进行清洗时，通过一定的方法，将部分非增量数据丢弃（这75%的数据，我们通过比对法发现其与历史数据或存量数据有重复取值，将其载入后暂存待查或去除）的结果。1.2.1.2 逻辑数据存储规模评估。上节评估出的“基础数据规模（后称a）”，将是本系统进行逻辑数据存储规模（后称b）的依据。原始层数据的规模b1：按最后年度的1倍采集数据量计算。ods层数据的规模b2：考虑到原始数据被处理后的部分业务数据的重新组织和重定义，且会生成一定的聚集数据，应给予适当的冗余，此处的冗余因子设定为1.2。1.3 备份环境设计。根据证监会的相关要求，系统需要建设本地“备份和应用测试机”环境。但如果我们只是刻板的将“生产环境”克隆一下，将极不经济。我们需要按照应用特点、数据处理要求，来定制备机架构。本地“备份和应用测试机”需兼顾“数据备份和本地容灾”双重职能。1.4 数据备份需求评估。数据中心的数据必须建立可靠有效的备份机制，避免由于数据丢失。初步规划：将数据中心管理的数据分成3类并分别制定备份策略。这3类数据可以使用用户隔离、表空间隔