Sybase数据仓库在xx证券公司的应用方案

年4月19日Sybase数据仓库在xx证券公司的应用方案文档仅供参考Sybase数据仓库在XX证券公司的应用方案

在信息化浪潮的冲击下，为了处理大量的业务数据，快速地制定准确的决策，从而迎接未来的严峻挑战，处于许多行业的各类组织机构都在积极地部署自己的信息系统架构。在这种情况下，系统解决方案提供商就面临着艰巨的任务，她们需要更深入地了解各个行业的业务处理要求和决策流程的特点，从而提供性能卓越、适合需求的解决方案。当前，许多厂商都在不断的探索，并寻求积极的技术突破。在这方面，享有良好市场声誉的行业解决方案提供商Sybase公司走在了业界的前列，它向市场推出了众多优秀的解决方案，其范围涵盖传统数据库、Internet应用及电子商务等领域，特别是其行业解决方案，更是成为市场上一道夺目的亮点，成为众多机构系统部署的首选。在中国市场，在数据处理量庞大、信息化程度要求严格的证券领域，Sybase的数据仓库解决方案得到了广泛的好评。其中，国内著名的证券机构--XX证券就在其信息系统中部署了Sybase的数据仓库技术，为它的信息处理和决策制定提供强大的后台数据仓库和前端分析应用支持。XX证券的系统需求当前，中国的金融领域正在经历大幅度的变革。在宏观方面，我们的金融政策正进一步放宽，金融市场的开放程度日益扩大，其中证券业也将拥有开放程度更高、竞争更激烈而变化又更迅速的整体环境。从微观而言，许多金融业务不断诞生，用户的需求也不断变化，金融服务将占据举足轻重的地位。具体到证券业而言，它的业务处理和决策支持将面临前所未有的挑战。因此，除了提高自身的意识和能力水平外，证券业还需要部署先进的信息化系统，为新时代的金融竞争作好应战准备。正是鉴于严峻的市场形势和自身的发展需要，国内的大型证券商XX证券决定构建自己的高级信息系统，以处理庞大的业务，并为自己的决策提供支持。参考XX的业务模式和信息技术的发展趋势，XX证券在构建信息化系统时需要充分考虑到下列运作特点：（1）数据处理流量大。除了机构自身的投资业务外，XX证券还将处理来自大量用户的交易数据。由于业务的规模较大，而且当前中国的证券业也正处在高速发展的时期，上交所、深交所的上市公司不断增加，股民数量也不断增加，来自各方面的数据自然就呈猛增之势。而且随着股市的风云变换，牛市、熊市的交相更替，数据的处理量会呈现骤增骤减之势，其特点也难以把握，这将是信息系统需要解决的问题之一；（2）实时性强。在证券市场行情瞬息万变的今天，交易和决策的实时能力将成为至关重要的因素之一，只有对信息作出最快的响应，证券机构或是股民才可能在市场中抢占先机。这也是证券行业一个比较突出的特点；（3）安全性高。在信息（数据）的潜在价值难以估计的证券市场，数据的安全性相当重要。XX证券的信息系统必须保证确保进入的每一条信息的安全性，这样才能充分保证拥有这些信息的主人的利益，维护证券市场的秩序；（4）实现强大的分析功能，提供可靠的决策支持。证券市场的变幻无常导致决策者需要采取快速的应对措施，而这些措施并不是空穴来风，无根无据，它需要信息系统提供相应的数据分析，从而帮助决策者更好地把握未来的趋势。根据这些需求特点，XX证券的信息系统就需要强大的后台支持，也需要卓越的前端应用，以帮助它提供融合的应用，实时的处理，智能的决策支持等特性。总体而言，该系统需要准确了解和掌握公司业务的历史，及时掌握当前的运营状况，熟悉客户的情况和要求，科学评估投资和金融风险，并准确预测市场变化和未来走势。为了满足这些功能要求，在最终的数据系统选型中，XX证券借鉴了招商银行的成功经验，选择了Sybase的数据仓库解决方案，以帮助其成功地实现交易数据的集中处理和分析。XX证券的系统机构与功能在建设过程中，XX证券采用了三层结构的设计方式。其中第一层为业务处理层，包括各种业务处理系统的电子化，比如证券交易系统、电子商务系统和券银转账系统等。第二个层次即办公动化层，XX证券开发了电子邮件、公文审批、报表和公共信息等子系统，第三层为决策支持层，在这一层中Sybase的数据仓库发挥了卓越的特性。其结构如下图所示：【总体功能特点】

以Sybase的数据仓库为依托，XX证券拥有了强大的经纪业务分析系统，该系统提供众多经济业务功能，包括资金、证券、客户、资金交易和非资金交易。它采用两种客户端：浏览器（提供固定报表和OLAP)和专业客户端（提供更多功能的OLAP，固定报表和即席查询），从而可有针对性的高速响应不同用户的需求。总体而言，该系统采用的分析方法为多维表、多维图等分析方法。在多维表分析中，用户能够从多个角度，逐层察看到明细的详细资料，并可对这些资料做可视化分析。在可视化分析中，表现多种指标的图（柱状图、饼图及分布图等）与数据表等之间的内容是全部相关的，即无论在其中的任一图（表）选中一些内容，选中的数据在其它图（表）的情况也相应表现出来。同样，也可对指标的某段时间内的情况进行可视化分析。其具体分析子系统包括：●帐户的统计分析。按日（周、月、季、年）统计各营业部、各客户经理、各类客户、各市值区间客户以及各种货币的帐户数量、股东数量、资金余额、可用资金、冻结资金、股票市值等的总额；当期买入证券的成交金额、当期卖出证券的成交金额、盈亏情况、持仓比例和活跃度等情况

●托管股份统计分析。按日（周、月、季、年）统计各营业部、各客户经理、各类客户、各市值区间、各种货币以及深沪两个市场的各类证券的各种股份的持仓股数、冻结股数、未交收股数、股票市值、平均持仓成本、总的买入股数、总买入的成交金额、总的卖出股数、总卖出的成交金额、市场占有率，盈亏情况等。

●资金交易综合分析。按日（周、月、季、年）统计各营业部、各客户经理、各类客户、各市值区间、各种货币、深沪两个市场、各类证券、各种股份、各种交易方式的各种交易的笔数、交易金额。【核心组件的属性及优点】

在该系统和这些分析功能的背后，是Sybase数据仓库解决方案中的AdaptiveServerIQ在发挥强大的支持作用。该产品是Sybase特意设计的数据仓库存储与管理系统，它突破了传统技术的很多限制，能够为用户提供灵活的查询功能和快速的响应能力，从而支持多用户环境下的交互式分析。在XX证券的系统中，该产品技术体现出了以下独特的属性：◆纵向划分：AdaptiveServerIQ是按列而不是按行存储和访问数据的。大多数决策支持查询所访问的是相对少量的列，但要跨越大量的行。因此按列查询就消除了很多不必要的I/O操作。在这种处理方式下，最坏的情况是需要AdaptiveServerIQ扫描整个列的内容。相对而言，传统数据库系统则需要作整个表的扫描。凭借这项属性，XX证券的信息系统就可实现快速的响应。

◆数据压缩：按照AdaptiveServerIQ的存储方式，对同一批行数据，实际在硬盘上占用的空间只是传统存储方法所占空间的40%到50%，这样既大幅度减少了对存储空间的占用，又减少了查询处理中所需的I/O操作。

◆对超大数据库的支持：AdaptiveServerIQ使企业在处理能力上拥有极大的伸缩性，它能够同时支持从几百到几千个并发用户，一个表所拥有的行数能够高达281万亿行，一个表所拥有的列数能够高达16000个，能够支持总容量达128TB的超大数据库。这些特性对于用户身份复杂、信息来源多样的证券系统来说，无疑具有特殊的意义。

◆并行化处理：在数据和/或用户增加时，AdaptiveServerIQ系统具备了很强的伸缩能力。另外，为了更充分地利用能够得到的处理机资源，在加载数据或补充数据时，AdaptiveServerIQ进一步对加载过程实施并行处理。

◆预连接：AdaptiveServerIQ容许设计者在处理中充分利用表之间已知的连接关系，为此只需在相关的表之间预先定义好这类连接并建立索引即可。有这些连接索引，即可减少查询时所需的处理的总量。连接索引加上在查询执行中动态选择的各种连接算法，即可大幅度改进即兴式表连接的效率。

◆DSS查询处理器：这是一个查询处理的智能软件,它能够根据对每个查询的分析,选择最适合的存取方法与算法。AdaptiveServerIQ能很有效地对决策支持分析中大量典型而复杂的查询进行处理。因此，使用AdaptiveServerIQ时，已无须数据库管理员进行人工干预，或优化查询的执行过程，她们能够将精力放到更重要的事情上去。

◆多丛结构：AdaptiveServerIQ能够将多个NT节点和UNIX节点组织在一个应用系统中，它所提供的伸缩性和所花的代价只是海量并行处理机系统（MPP）或者其它查询方法的若干分之一。还有，具有多丛结构的AdaptiveServerIQ能够同时支持数千个用户，这是任何其它关系数据库系统都难以做到的事。在上述属性的支持下，XX证券的系统能够实现以下好处：高效而代价合理：将所需处理的数据结构减少到只及常规数据库所需处理量的20%左右，从而减少了硬盘开销。快速反应：I/O操作的大规模减少，消除了大多数决策支持查询处理中固有的瓶颈问题，同时提供了快速反应能力。快速反应查询灵活：存取方法只与数据有关而与查询无关,因此正确的数据结构在数据加载时就能够预期得到。因此，数据仓库的用户能够随心所欲地提出查询要求而无须数据库管理员作任何干预，并能确保快速地访问当前信息和实施快速而有效的加载与更新处理。数据仓库，为XX证券的信息系统提供应用源泉在XX证券的系统中，Sybase的数据仓库充分提供了信息整合、分析支持等强大功能。在实际的应用中，它在许多方面都体现了超强的优越性。在客户服务方面，该系统能够快速地完成用户的数据处理，提供及时的查询响应，从而达到完善客户服务的目的。而且该系统的统计功能设计非常贴近XX证券营业部的实际经营流程，能够随时反映它们的经营状况，并针对经营中出现的问题提供风险告警，协助有关人员防范经营风险。另外，该系统一个突出的应用特点是具有强大的分析功能，它能够随机应用多种股市模型和多种经济理论，并进行多种组合理论的分析。无论是客户的换手操作，还是机构自身的业务决策，该系统都能够提供全面而又完善的分析结果，而且这些