技术文件-pda建议书

客户需求概 项目建设背 客户需求分 项目建设目 解决方 Puredata 系统设 系统管 竞争优 Puredata 数据源数据处 平衡的大规模并行架 用于高级分析的平 简单 加快创新和性能提 线性扩 高可用 培训和方 培训方 48客户需求概项目建设背业务飞速来了难得的快速发展机遇。同时，日渐递增的数据增量、多的应用上线需求、更加及时准确灵活的报表需求，也给数据仓库平台的建设带来了的机遇和。随着数据量的快速增长和越来越多的“复杂”BI应用的上线需求，采用传统松耦合(即，数据库+服务器+)技术的组合配置在性能、稳定性、性方面越来越多的，难以适应业务发展需要和保持行业地位。因此，在新一代数据仓库平台建设项目中，决定结合行业技术发展及实际情况打造一个高性能、低成本、易管理和操作、并具有前瞻性的数据仓库平台以应对海量数据、复杂查询、即席查询、数据质量等技术和业务需求。能力，提供更好的客户服务。能对客户的贡献度、产品和的赢利能力、经营成本等进行准确、快速的计算，以及为市场的管理和分析、等提供有效的工具。为市场和客户分析提供基本的信息源和辅助工具，是提高市场竞争能力和客户客户需求分总体架构要数据仓库平台项目要建立稳定的数据模型，规范ETL过程，全面提升数据质量，进行的元数据管理，建成安全的、稳定的、赖的有特色的数据仓库平台，为各类系统提供丰富的数据支持。在数据仓库平台应用体系中，数据仓库平台应用通过数据集市向最终用户展现各类信息。数据仓库平台建设应对基于数据仓库平台的应用提出要求，提出集市建立的原则、数据的原则、数据加工的原则等，明确基于数据仓库平台的应用系统建设方法。系统的业务数据；数据模型层应结合我行业务现状，采用成数据模型进行客户化建设，分长期保存业务明细数据；加工汇总层采用星型模型设计，对数据模型层的数据进行加工汇总；应用集市层应采用易于的星型模型设计，按应用分类。原则上，应用可以数据仓库平台的贴源数据层、加工汇总层和应用集市层，数据模型层和历史归档层不直接对应用开放。平台建设要数据模型及接口要在数据仓库平台建设中，应建立各数据层建模规方法论，确保数据模型建设的可持续发展。在数据仓库平台各层中，根据数据和面向应用的不同，需要采用不同的建模规则。通常情况下，贴源模型层应尽量和源系统结构保持一致，数据模型层应采用业务数据模型理论，运用3NF的模式进行组织，加工汇总层和应用集市层往往采用易于的星型模型进行组织。数据仓库平台向应用提供数据功能，包括批量数据、复杂查询和短查询功能，其中批量数据可以在夜间和日间进行。通过数据仓库平台的建设，建立数据仓库平台应用标准，对应用的方式、的数据等进行规界定。ETL程要ETL的ETL，二类是数据仓库平台各层之间的ETL，三类是从数据仓库平台经数据缓冲层出仓的ETL。通过数据仓库平台的建设，要针对上述三类ETL建立高效机制及标准，明确系统、入仓、加工和出仓的规原则,同时构建调度平台，实现ETL过程的管控、集群协作和有序调度。ETL据主要是业务系统的增量数据，可以通过第取，出仓数据主要是数据仓库平台的发布数据，以数据表或数据文件形式存在，需要根据具体应用确定。ETL过程的设计应充分考虑到数据量增长的实际情况，保证ETL数据治理要元数据管理平台要元数据是描述数据的数据。元数据可以划分业务元数据和技术元数据。业务元数据从业务角度描述了数据仓库平台中的数据，它提供了介于使用者和实际系统之间的语义层；技术元数据是关于数据仓库平台系统技术细节的数据，是用于开发和管理数据仓库平台使用的数据。建立元数据管理平台，对元数据进行有效管理，记录和分析元数据之间的关系，有利于提高对数据仓库平台系统数据的使用效率。通过元数据管理平台，能有效实现业务数据的血缘分析和影响性分析。元数据管理应覆盖数据仓库平台各数据层（包括数据缓冲层）WORD数据标准管理平台要级的数据标准。在数据仓库平台建设范围内，结合数据模型，通过对数据的整合，数据质量管理平台要识别和数据质量问题的解决以及数据质量问题的。数据质量的解决流程涵盖了项目建设目本项目拟建设集中的数据仓库系统，规划、改造和提升数据中心的数据模型及架构，同时建立持续治理优化的机制。项目目标一是结熟数据模型和业务解决方IBM建议PureDataforytics系统的解决方案IBMPureDataforytics数据仓库设备通过构建的平台以简单的设化性能。大规模并行处理(MPP)将多核CPU与IBM独一无二的FPGAAcceleratedStreamingTechnology引擎相结合，由此交付的性能是比之价格昂贵Puredata ytics特简单PureDataforytics与传统架构的一个很大区别在于它的简单性。这种简安装与部署的简单从外部来看PureDataforytics跟IBM其他系列主机没什么区别，只需要给这个插上电配置好服务IP那它就可以对外提供服务了。相比较而言，传统的数据仓库，包括其他厂商提供的，往往需要花很大的心思在物理规划设计上。这包括规划、配置网络以及安装所需要的等等。管理和的简单PureDataforytics几乎不需要执行任何传统数据仓库DBA所执行的任没有索引不需要管没有dbspace/tablespace没有redo/physicallog没有表的page/block/extent无需临时表空间的分配与无需RAID无需配置操作系统内核参数以及建议的操作系统补丁级简单的数据分布策略（哈希或者随机分布式数据库与分布PureDataforytics是一个基于MPP架构的数据库，每张表的数据是均匀分布在所有的数据片上的。一条记录在哪个数据片上由分布键来决定。有两种如果指定了列作为分布键，Puredataforytics会根据所指定列用哈希算法算1Createtable（Column_name1data_type1,Column_name2Column_name3）[distributeon（column_name1,column_name2,…][distributeon分布键的选择对性能的影响是至关重要的，这也是Puredataforytics中Boolean关联操作只会在各个数据片发生。每个数据片都不会广播自己的数据到其它数据压与传统的数据仓库不同，在PureDataforytics中所有的用户数据都是经过压缩的，而并不像传统数据仓库那样可以选择不压缩进行，这也体现了Puredata forytics的简单性。数据仓库中性能的瓶颈往往出现在磁盘上，数据压缩的好处是可以减少磁盘的IO压力，FPGA引擎负责将数据解压缩成可读内容。PureDataforytics的压缩对用户来说是完全透明的，它支持所有的数据类型，不需要任何的调优和管理。压缩算法把记录根据列分成不同的数据列流，对每个列流独立的进行压缩，但在的时候保持行结构，这种具有专利的压缩算法极大的降低了磁盘IO的压力。区域地ZoneZoneMaps是PureDataforytics独特的技术，它可以使数据块在还没有被从磁盘上读出来之前就知道它是否包含查询中所包含的数据，如果不包含则直接IO，大大提高了查询的性能。传统的数据仓库则需要读出数据块然后再判断是否需要里面的数据。ZoneMapsPureDataforytics中数据是以数据块的方式在磁盘上的，对数据的读写操作的最小单位是数据块，每个数据块的大小是3MB。ZoneMaps81ZoneMapIOTradeTable3Data和Cust_ID的在每个数据块上的最大值和最小值。当语句“select*fromTradeTablewheredata=02”执行的时候数据库系ZoneMaps，ZoneMaps条件的记录，所以第一个和第三个数据块的数据不会被读入。ZoneMaps是自动的并不需要用户来进行干预。ZoneMaps会在以下的条件GENERATESTATISTICS用nzloadGROOMTABLE工作负载管理Workload这样的系统上不可缺少的一项功能。PureDataforytics提供了一套简单又灵源紧张的时候高优先级的查询会优先执行。PQE和GRA可以结合起来使用，即在过系统预留出一定数量的资源来实现的。Puredataforytics会根据生成2高可用HighPureDataforytics的各个部件都有冗余的备份，不存在单点失败的情SMP主机：PureDataforytics包含两台SMP主机，这两台主机是主备关系，其上面运行的LinuxHA可以保证在主机出现宕机的情况下，所有的服关键数据，而是采用了DRBD来同步需要共享的关键数据。S-Blades：S-BladesS-Blades出现问题的时候，Puredataforytics会自动的把失败的的S-112Blades会自动的去磁盘2上的镜像数据，系统仍能维持正常的运行。此外磁盘柜里的还有一些空闲磁盘他们不属于任何的数据片，当有磁盘发生故障1X会从磁盘2数据片1的镜像和数据片2的数据重新生成失败的磁盘1，这个过程需一些时间，在这个过程中S-Blades还是通过磁盘2来数据片1的数据。一旦这个过程完成S-Blades会通过新生成的磁盘来数据片1的数据，整个过系统设数据仓库平台整体架构设系统设计原IBM的数据仓库平台实施方法，以及IBM的软硬件产品架构，的系统设计符合以开放性与先进性：基于开放式标准并遵循国际标准，提供开放的数据接口，可以进行数据的转入和传出，实现系统间互连。采用先进成设备和技术，确保系统的技术先进性，保证投资的有效性和延续性。灵活性与可性：系统应易于扩展、升级和移植，并具备支持业务处理灵可扩展性与可伸缩性：具有开放的、可扩展的系统结构，允许系统与其它应用系统集成，新的功能模块可以被迅速增加或定制出来。完整性：对整个系统进行规划和设计，确保统计应用、数据仓库平台系统和第工具紧密集成，共同构成一个在数据、应用、服务、风格、操作安全性与可靠性：提供良好的数据安全可靠性策略，采用多种安全可靠的技术，保证系统及数据的安全与可靠。可用性和容错能力：系统具有安全运行的管理措施，当遇到组件故障时，能准确性与及时性：保证系统数据处理的准确性，提供数据，数据的传输要及时、准确、可靠和安全。易用性：系统设计面向最终用户，必须保证易操作、易理解、易控制，系统总体逻辑架源系统层：收集和操作数据以对业务现状进行分析数据源指于各系统中的数据及外部数据ETL：提取/Extract,换/Transform载/Load(ETL)ETL解决跨平台的第一步。抽取意味着并理解源数据，然后数据仓库平台所需要的部分。转换泛指使数据仓库适合于终端使用的过程。这一过程包括那些将源数据格式变为目标数据库格式的模块。一般而言，转换包括、、汇总、重排和排序等步骤。从源系统到数据仓库平台之间的ETL将需要完成对源数据的和整合，最终在数据仓库平台中形成企业范围内的的、一致的数据集；ETL还包括数据仓库平台到数据集市的分发。从数据仓库平台到各数据集市之间的ETL过程，主要是根据不同数据集市分析的需要，从数据仓库平台中提取数据经过转换，生成特定的数据集。这一部分的处理往往也是最企业级数据整合策略，或者称之为熟悉的ETL，不过这里的ETL是经过扩展的，数据处理的过程和更为丰富，整个数据流程的处理更有策略性。仓库层：数据仓库平台输入的数据和结果数据，数据仓库平台做为所有分析功能的单一数据源。数据仓库平台的数据要保持稳定性、灵活性、扩展性。一般的，数据仓库平台会采用成数据仓库平台模型进行构建。数据仓库平台中的数据按照数据模型分进行组织和存放，包括当期的和较长时间的历史数据。数据仓库平台的是企业级数据模型的规划和设计，是所有数据仓库的区域，以面向的方式，细粒度的保存原子数据，即数据源的多样性和变化，又可方便的为BI应用提供数据支持数据集市层：数据集市的数据为最终的前端分析、报告提供支数据集市的数据是面向最终应用的，比如报表报送、、经营查询等等。为特定用途而设计——数据集市设计的目的，是支持特定用户对数据子集的特定范围的查询。它以用户所要求的方式，提供企业数据仓库平台的细节汇总。优化——数据集市为了支持特定工具的而优化。根据工具、根据企业数据仓库平台提供的信息子集来设计数据集市，而不是让用户直接企业数虚拟或物理数据集市——数据集市可以是物理的实现，也可以是企业数据仓库平台表的各种视图。使用视图（虚拟数据集市）可以避免数据的多个数据集市，在设计的时候往往通过OLAP技术，利用数据仓库平台的数据根据用户需求建立的分析模型（立方体），模型以特定的文件方式，大大提高了前端查询的效率，用户能方便地实现灵活、动态、快速、多角度、多层次地分析企业数据。同时，也可以通过定制灵活的OLTP查询来了解明细数据。以集成的方式展示查询、报表、分析的结时间的放在业务需求定义上。数据仓库基础管理平面面：大量的数据源表、数据仓库平台表、业务需求、数据关系、ETL任务、ETL完整的数据质量管理方案可以确保数据仓库的准确性。数据质量是数据仓库平台的生命，要保证数据仓库平台的可用性必须保证数据仓库内的数据质量，建立数据质量问题平台，使数据质量控制过程规则化、具体化。通过数据质量平台做到具体问题具体分析，并问题直至问题解决。详细设数据仓库平台模型设4数据源分非常细节的业务含义与较次的关系信息，包括：源系统数据业务关到元数据管理中，为之后的模型，接口生成，数据质量控制等阶段提供数据基同一个字段在不同记录务含义不业务建业务需求进行建模的时候，不用关注数据和性能等设计方面的考虑。业务建模到可靠的、业务驱动的数据结构，大大减少近期、中期和远期数据仓库平台逻逻辑数据建面向分析（如关系人、产品、机构等数据需要按照分析进行组综合、灵活多样的查询和分析，支持决策分析，就需要重新有效地组织原有业务系统中的数据，满足以下要求，这就是逻辑数据模型的引入：成为IT和业务沟通的工是集成当前数据的有效建立逻辑数据模型的意逻辑数据模型（LogicalDataModel）是一种图形的展现方式，采用面向方法，有效组织来源多样的各种业务数据，同时能全面反映复杂的业务规则，支持大量的分析应用。逻辑数据模型使用的逻辑语言描述业务，是数据管理的分析工具和交流的有力；同时还能够很好地保证数据的一致性，是实现商业智能（Business数据方一些特点，同时它们的部分数据之间还存在或多或少的联系，所以建立逻辑数据模型的一个重要的任务就是“整合”，对数据进行有效的管理，主要体现在：规范数据名和使应用方员（包括业务和IT）都提供了一个的数据平台，使大家都可以得到同是业务和开发的桥帮助业务用户对数据有一致的、的理物理数据建物理设计原物理化是基于模型工具导出的物理模型。制定名规范，标准字段、根Puredataforytics特性指定表实体的分布键物理化方的影响。其中主要体现在表的合并，即超类、子类的合并，以及属性表以及主要实体的合并。ROLLDOWN。反过来，如果子类的属性很少，此时建议把子类的属性，合并到超类ROLLUP。为了提高数据装载和的性能，保持物理模型的简单性，在物理化模型时3 首先，在物理化设计过程中，表名遵循模型的实体和属性名原则。然在数据仓库内定义一套标准代码，将源系统代码经过转换后对应到数据仓库ID往上递增。数据流程设接口文件接口文件区是和处理接口文件的区域，如前面章节所述，接口文件区在系统 定的用途设定对不同用户的权限，比如谁能读，谁能写，谁能改等。数据整合到SOR内。验证的方法主要是将新的数据，与SOR内已有的数据进行ETLPuredataforytics的特性也要考虑，以最大限度的发挥Puredataforytics细节数SOR（SystemOfSOR了数据仓库平台内最细节层次的数据，按照不同的域进一步分类组织。此模型是整个数据仓库模型的，其设计为具有足够的灵活性，以能够应对添加的数据源，支持分析需求，同时也能够支持数据仓库平台进在一些关键的属性值上会变化。变化的常见方法就是在表内增加一条记录变化数据的新记录。同时为了降低不必要的空间的浪费（相同数据的重复存储），可以把实体中动态变化的属性，与静态不变或只需覆盖不需变化的属性分开。比如对用户，可以用一张表存放不变化的用户静态属性，用另一张表存放经常变化的用户行为属性，当用户行为的变化时，只需在用户行为表内添加记录就行了，没必要把没有发生变化的用户静态表内的数据也一份。汇总数据区汇总数据区是为了方便查询和后续数据的更新，创建一些常用的中间汇总ETLSOR们把常用的数据预先关联和汇总好，并让其尽量在多个数据集市的计算享，就ETL反馈数据区（Feedback反馈数据区主要记录的是数据仓库平台自身生成的结果。比如用户对活动反馈等。另外此区域还可以作为数据集市之间共享运算结果的区域，或者暂存复杂ETL元数据MDR（MetaData元数据用来保存关于数据仓库平台中的过程、数据的信息（日志、数据词典、配置信息等）。由于各个工具和系统都会生成自己的元数据，同时还利用元数据管理工具，把这些元数据尽可能的集中到数据仓库平台中的MDR内，因此MDR总的来说只是一个共享元数据供用户集中的地方，真正元数据的地数据集市（Data数据包含一系列数据模型（符合星型模式或雪花模式的关系表）。每个数据模型由一个数据表和几个外键表组成，一个称为事实表，英文称为”FactTable”指标通过其它层的相应字段相加计算得出，是各类分析型应用大量的重系统管数据仓库平台系统安全管理方 用户管理和权措施方面，将通过网段、控制、安全措施来保障系统的安 forytics数据库可按照数据范围分配用户权限，通过数据库登入、数据库存取、数据库视图方式等保证系统的数据安全。网1、生产环境与开发环境物理位置2、生产环境与开发环境网络3、生产环境与开发环境都不得连接国际互联网等PC不与任何非本系统生产网络进行连接数据仓库平台用到的服务器连接在的网段，其他应用服务器放置在操作系统安指定专门的操作系统管理员。此的职务是管理操作系统环境，包括建立满负责维持系统管理员的安全性。root：此为主要的管理帐号，具有对系统完全的存取及控制权。操作系统管理员必须系统管理员的安全并定期改变此。non-rootroot的操作系统使用者识别码)执行大部分的操作，但仍享有root的大部分。开发帐号：参与开发的技术部门职员需要个别帐号帐号：执行其他各种不同的任务，包括操作系统升级与修补的维护、更换失效的组件的所需的账号。使用者名称及经过认证且正确后则建立会话来Puredataforytics数据库存取权一旦使用者登入系统后，需要进一步的控制他们在数据库内对信息的。不论正在使用哪一种应用程序，亦不论这些应用程序的组态如何规划，数据库皆它需要的活动包括建立(create)及删除(drop)数据库、数据表及其它对象、改有三种型态的存取权：拥有者权限(ownershiprights)；自动产生的权限(automaticrights)；及显示授予的权限(explicitrights)拥有者权限：对于数据库、使用者或对象建立所在的空间，系统隐含地(暗示地，不需利用陈述指令)将拥授予该空间的拥有者。拥有者为建立新对象createdatabasecreateuserfrom据表有select的。显示授予的权限：此为由任何具有withgrantoption的使用者所授 forytics数据库中有两种数据权限类型控制特定数据库对象的权限数据库视图权使用者仅被允许看到信息，但不能看到详细信息用户管理和权决策管理层用户（决策用户部门管理用户（管理用户信息分析型用户（知识用户普通用户（一般用户决策用户主要是公司的管理，他们的职责范围相当广泛，需要了解整体市场的情况以及各个部门的基本业务情况。同时还需要对部门之间的协调能力以及企业资源的分配是否合理进行监督和管理，所以需要获取跨部门的信息资源。作为决策的制定者，需要关注未来的趋势，作出战术和相结合的决策。范围内的数据进行，对指定权限的业务功能进行操作，而且绝大部分的分析通分析和探索。分析通常需处理复杂的数据集、进行高难度的分析，并侧重于战略性决策。这类用户需要较大的权限。普通用户，即一般的用户，仅对单一的业务应用有操作权限完成数据仓库平台的管理和信息的组织。首先为业务用户提供最便捷的数据途径，其次为业务用户数据的正确性作出保障。包括：应用开发(Applicationdevelopers)：对数据转换和信息层都需要应用开发；数据库管理员（DBA）：管理数据仓库平台的RDBMS引擎，物理数据模型，开发和备份与恢复过程，承担性能调整和负载管理工作以及容量的规数据分析员(Datayst)：承担数据管理和元数据管理的工作，并且数据建模员(DataModeler)：开发和数据仓库平台的逻辑数据模的数据本身和其使用的情况进行；提供系统性能统计数据和信息，帮助对优化用户审用户通过什么工具对数据库进行操作用户是针对设定的前端应用功能进行还是进行随机查询用户的功能模块代码和名称用户的数据库实体的名称用户进行的时间和整个查询所耗费的时间用户是否成功，如果成功的话，返回的结果集的基本情况通过这些用户信息和用户权限管理信息进行比较，判断用户是否有自数据仓库平台系统日常管理NzAdmin图形化管 forytics提供了专门的基于Windows的管理客户端NzAdmin帮助管理方便直观地对Puredataforytics进行日常的管理操作，包括系统的电源、节点、硬盘等各种硬件状况，同时又可以创建数据库、表、视图，用户、应用等各个层面的运行状况。系统硬件状每个节点单元的状态，提供图形化的方式，对系统的硬件状态进行，绿 正常，工作状黄 警告，需要注红 故障，需要处蓝 热备盘状态 硬盘数据再生，即热备盘接管故障盘后，Puredataforytics的RAID机制往热备盘灌数据的过程。紫 待鼠标点击每个图标可以显示硬件的具体等信息，例如点击电源状态图标可 硬盘空间使系 自动通发 、执( 运行自定义命令实现、声控等告警提数据库对象纵数据库视在NzAdmin的Database页，列出Puredataforytics上所有的数据Database以查看数据库的具体对象–表、视图、序列、别名、函数、过程等。数据库的表管在NzAdmin的Database页，通过鼠标右键菜单可以对表进行日常管理NewTable-新建表，Rename-重命名、Owner-拥有者查看变更、Edit-编辑表字段、Edit anizingKeys-编辑表分组键、DefaultValue-设定表字段缺省值、GenerateStatistucs-生成统计信息、ViewStatistics-查看统计信息、RecordDistribution-查看记录在磁盘上的分布、Truncate-清空表、Drop-删除表、Properties-查看表属性等。数据库的用户/用户组管数据库的会话管在NzAdmin的Database页，展开“Sessions”可以查看当前的连接会话查看当前执行查看历执行时间执行时间(秒NZportal图形化资 forytics提供了NzPortal工具以及若干简洁命令来对系统资源进行严密。NzPortal工具如下如上图所示，NzPortal可指定资源组在时间段内的负载情况，可通过图表提供具体SQL语句运行的时间；同时，作为日常工具，具有GUI界面的NzPortalCPU、内存、IO高可用方高可为给关键数据提供保护，Puredataforytics从各个层面都考虑了硬件的冗余和的高可用性，保证系统7*24正常运行。包括： ytics提供电源，防止因为供电问题造成应用 ytics提供网络冗余，无论是管理节点与计磁盘阵列实现不同盘之间的RAID1数据镜像，并且包含热备盘，支持更计算节点部分实现互备模式，支持更换计算节点（Blade+FPGA），同一管理节点采用主备模式，同时支持操作系统级别的LinuxHA和分布式块 恢一是同步：在该场景下，ETLETLconfiguredtoloaddataintoDRappliancessimultaneouslyMostcommonDRimplementation DR二是异步：在该场景下，主数据仓库系统会定期执行做增量备份操ScriptperiodicallyperformsincrementalbackuponPrimaryIncrementaltransferredtoremotesiteusingstoragearray-basedreplicationDR数据仓库系统备份恢复方现故障时恢复的方式。Puredataforytics提供三种备份策略：完全备份、差量备完全备增量备Puredataforytics支持differential和cumulative两种增量备份方式。Differential备份是指备份从上一次备份（全备份/differential差量备份/cumulative累积备份）cumulative备份方式是指备份从上一次全备份后到备份实针对备份实施，Puredataforytics可提供两种方法1nzbackup2、通过使用业界标准接口来整合市面上主流的备份：Veritas，Tivoli等。实 forytics支持数据的备份。支持在做查询/装载/更恢复实针对恢复实施，Puredataforytics同备份一样可提供实用程序nzrestore来全库恢复或者表级恢复。同时，也支持与主流的恢复的互操作性，Veritas（Symantec），Legato（EMC）TSM（IBM）。通过使用业界标准的XBSAAPI接口，或者Puredataforytics提供的针对客户环境修改的简单脚Puredata forytics管理服务器上的文件系统可以使用传统的Linux归档和实用程序归档及恢复。没有交易/redo/undo竞争优Puredataforytics数据仓Puredataforytics数据仓库设备将数据库，数据处理和数据集成在一个紧凑、优化的系统中，并随时满足数据量增长的需要。其系统架构是基于以下设计原则而建立的，而这些方法是Puredataforytics在数据仓库平台和分析设备领域中提供最佳性价比系统的重要标志。DiskDisk软硬件优硬件加速高速数据SnippetBladesSMPSQLSASSASSAS IBMBladeCenterNetezzaDB数据源数据处Puredataforytics系统架构的设计基于计算机科学的一个基本原则：当对一个大型数据集进行操作时，除非绝对需要，否则不要轻易移动数据。Puredataforytics将这一原则发挥至极致，利用现场可编程逻辑门阵列（FPGA）组件，尽早的将多余的数据从数据流中过滤掉，以减少其对内存空间的占用。该数据过滤I/OCPU平衡的大规模并行架Puredataforytics的架构结合了SMP(对称多处理)和MPP(大规模并行处理)的优点，建立了一个能以极快的速度分析PB量级数据的设备。该架构中的每一个组件，包括处理器、FPGA、内存和网络连接都经过了精心的挑选和优化，在硬盘物理条件的情况下，以最低的成本和能耗快速地处理数据。Puredataforytics通过协调这些组件以流水线的方式对数据进行并发操作，从而充分MPP用于高级分析的平MPP和在接近数据源的地方进行数据处理的方法，也同样适用于针对于大型数据集所进行的高级分析。Puredatafortics系统能够轻松地将复杂的非SQL算法嵌入到MPP流的处理组件中，并且没有并行程式或网格程式所具有的典型复杂性。这种针对庞大的数据量，能够以“流水线”方式对复杂数据进行分析处理的能力，能够消除将数据转移到单独硬件的延迟和开销,为经营分析平台和高级分析方法的融合，提供了一个理想的平台，同时其性能也提高了几个数量级。简单Puredataforytics使日常的操作变得自动化和简化，使得用户无需对复杂的底层平台进行了解。无论何时，当需要与其他设计需求进行取舍时，简单性都是所采取的首要原则。Puredtaforytics平台只要安装完成便能立即高速处理用户的查询指令，以及各种级别的工作负荷。即使是一些通常需要消耗时间较长的任务，比如系统的安装升级，以及确保高可用性和业务连续性等任务，都进行了很大程度的简化，以节省宝贵的时间和资源。作为数据仓库，Puredataforytics进行简单的装载后即可运行，实加快创新和性能提从长远来看，Puredataforytics设计架构的主要目标，就是要比竞争对手更快地实现系统性能价格比的提升，并增加创新功能。由于Puredataforytics使用开放的刀片式组件，从而能够迅速采用更先进的技术。通过使用FPGA的涡轮效果——一种平衡的硬件配置加上与其紧耦合的智能，使系统的线性扩Puredataforytics采用了MPP+SHARENOTHING的架构方式，该方式使其GBPB。高可用Puredataforytics通过在磁盘、S-Blade、Linuxhost三个层面实现系统RAID1S-Bladefailover支持更换损坏磁S-BladeS-Blade磁盘驱动器自动重分配给相同底架上的活动S-Blades，支持更换S-只读查询（还没有返回数据的）checkpointLinuxHA+分布式块设备（DRDBProtocolLinuxHA（HOST）分布式块设备采用严格同步的模式，保证主备机关键数据文件所在的 培训和方培训方Puredataforytics的详细课程内容及动手实验内容Puredataforytics数据仓库架构及对Puredataforytics连接管理/用户管Puredataforytics数据对象以及分利用NZAdmin工具管理Puredataforytics数据库及系Puredataforytics优化器以及SQL存取计Puredataforytics及特Puredataforytics工作负载管理以及最佳实课程安培培训Module Module2:IBMNetezzaModule3:NetezzaDataWarehouseArchitectureModule4:ConnectingtoNetezzaConnectingtoHostandDatabase(hands-ManagingUserDatabaseandCreatingDatabase,TablesandManagingAccess(hands-DataDataDistributions(hands-NzAdminLoadingandUnloadingNzLoadandExternalTables(hands-OptimizerandQueryQueryOptimization(hands-ZoneMapsandClusterBasedMaterializedOptimizationObjects(hands-CrossDatabaseAccessandGROOM(hands-StoredProceduresandWorkloadManagementandNetezzaPOCBestPracticesandCourseTechnicalSalesMastery 技术支持与服务体IBM公司承诺派出资深的工程师队伍负责贵公司系统的技术工作，提供7天24小时完善的专业服务，保证客户的Puredataforytics硬件及相关可“客户的满意就是IBM的成功.”这是IBM成立伊始就确定的。为了保持客户系统中运行的IBM系统能够有效、稳定地运行，IBM公司作为设备及生产的原厂商提供的现场设备、系统服务和以IBM技术支持中心提供的技术支持作为第一线技术支持体系；以全球技术支持中心技术支持，包括派遣技术支持的具体实施可以通过服务、、和现场服务等多种方式和实现。4.2.1.1技术支持系 IBM技术支持中为了更好地服务与中国用户，IBM公司投资建立了目前亚洲最大的技术支中心。开通免费800（ )，对于没有开通800服务的城市，用户可以拨打 获得支持。听取客户心客户关系中受对听取客户心客户关系中受对装机客户进行满 为IBM工程技术 解答保后技术安装问技术支提供售前产品技术问答及系统配置检提供BM全线产 技术支课程培训及产品资业务伙伴支持专售后支持-安装及故障的技术咨售前产品信息咨业务伙 支持计投资超过1500万,位于中关村园环宇，占地面积超过4000平米,约300名专业为客户提技术支持服务(不包括).先进的通讯、网络、设备测试装置,目前31个城市开通免费服务(开通此项服作为IBM的重要投资项目，中心集合各种先进技术，采取综合管理施，以确保信息服务中心高效。先进的通讯技术，功能强大的RS/6000、AS/400IBM运用只为一个目的：力求为用户和合作伙伴提供至美的服务。有数百名训练有素的技术为您解决技术难题。还有分布在全世界的其他技术支持中心的通过网络系统对IBM中国技术支持中心提供及时有效的技术支援。技术支持中心服务内容介定期提定期提供行业信息服与现有客户进行定 联信息推如何联络IBM信息服务中当客户遇到问题需要帮助时,可以直接拨打IBM技术支持(800--810-1818)服务，然后按照语言提示找到自己所需要寻求帮助的部门。如果您不能明确自直拨使客户可以通过不同的同样获得满意的服务现场支持系服务体为保持系统连续、稳定、高效地运行，节省和保护用户的投资，IBM为国内客户负责售后技术支持和。这是一支强大的支持队伍，并有着广全球系统服务支持结构产产品一线工程IBM地区技术支持：IBM大中华地区的资深系统工程师亚太及全球区域支援中心：IBM设在或世界其它地区的支援中心RETAIN：IBMIntranetIBMIBMIBM(中国)公司中负责客户系统服务的软、硬件工程师的技术支持在一线工程师的身后是IBM大中华地区(包括中国，和)的技术的强大支援，更复杂的问题可由设在的IBM亚太区域支援中心支持，必要的情况下还可以得到产品设计和研究部门的直接帮助,得到解决方案。对客户的技术支持也通过快捷强大的IBM专业技术网络RETAIN和Intranet实现。RETAINIBMIntranetIBM现场技术交行现场技术交流，以提高客户的操作和水平。服务先进的全球支持体IBMIBM(RETAIN)R