一周学习笔记及问题

1、一周学习笔记公司组织架构及流程（售前相关）8a产品在日常演进和市场推广过程中，会涉及研发、售前、售后、销 售等众多组织部门，需要诸多部门、众多岗位的参与和配合。1. 公司部门以及架构公司GMO （隹总、尹总、武总、赵总、刘总）研 发部研 发二市场组Z测培中心售后实施组专业服务组各业务部门、单元的职能和接口人介绍如下：产品行销部：产品行销部部门经理赵伟总（公司副总裁、GMO）。部门包括市场组、测试培训中心、售后实施组和专业服务组，此外还包括专 职研发的工具开发组。产品行销部专注于 8a产品的市场推广、技术支 持和项目实施工作；研发：研发最终负责人为公司CTO武新总。与8a产品有关的研发部门 包括

2、研发一部、研发二部和工具开发组，其中工具开发组负责人杨伟伟； 电信事业部（COM）:电信事业部部门经理袁丁总。部门包括销售和售 前人员，专注于电信行业的8a产品推广；天津营销中心（TJC）：天津营销中心部门负责人张良总，包括销售、售前技术支持、方案组等业务单元。8a市场组与TJC工作往来频繁，所 支持的销售很多来自TJC。产品行销部组织架构:2. 各相关配合部门主要负责人市场组：8a产品线市场组负责人庞松，组内按照行业划分，包括 JG行 业、OEM合作伙伴、金融行业以及安全行业；测试培训中心（T&T）:测试培训中心负责人杨伟伟，下设 POC测试组 和培训组；POC组：小组负责人孙卡，POC按照

3、行业领域划分为三个小组，包括电信（孙卡）、安全（赵景喜）、李运涛（XX）。POC职责是在 项目签约前为用户提供产品能力测试验证（注：很多项目在签约前，用户会提出对产品进行功能验证和性能 测试等要求）培训组：小组负责人沈丽平，组员包括陈婷、白帆。培训组负责完成对公司内部新入职员工和用户的产品培训工作；（注：很多项目商务合同明确要求提供产品培训，此外很多项目售前推进阶段需要为用户或者集成商提供产品培训）专业服务组：专业服务组负责人白军奎，专业服务组的职责包括：（1）作为通向研发的唯一接口，负责完成行销部与研发的所有交流 协调工作；（2）发版申请过程中，完成对售前的技术支持工作；（3） 为一线技术人

4、员提供专业技术支持。产品服务部：产品服务部是8a产品售后项目实施部门，部门负责人杜国旺。部门下设多个小组，如实施组、维护组等。3. 通常一般产品周期的流程售前人员为保障项目顺利推进，会参与到很多流程工作中，有些流 程仅限于产品行销部内部，有些会与商务部、销售等部门有工作交集。 本节按照项目推进的顺序，全面介绍8a市场组售前可能遇到的工作流程 和处理原则。下图为8a 一个项目完整生命周期示意图，图中标注了所有可能需要 售前参与或主导推动的工作流程，一个项目从技术交流到最后完成实施 验收，不一定要经历下述所有阶段或流程，但为确保能够为售前人员提 供有价值的参考，本手册将详细叙述下述所有流程。3.1

5、技术交流任务申请响应发起方：销售经理 响应方：售前经理 流程介绍：销售经理通过电话、邮件等方式通知 8a行销部对口的售前负责人, 要求协助完成与用户（最终用户或集成商）的技术交流，交流的方式包括技术文 档编写、电话解答或者与销售一起前往客户现场为对方进行产品宣讲和技术交流。输入条件：如果销售要求售前前往客户现场完成技术交流，则需要销售邮件提供任务申请单.doc（模板参见第四章附件1：任务申请单.doc）；输出物：如果售前出差到客户现场，交流结束后需要编写出行报告.doc（模板参见第四章附件2 :出行报告.doc）3.2解决方案评估发起方：售前经理 响应方：专业服务组流程介绍：在了解客户需求并为

6、客户编制解决方案阶段，可能涉及部分场景过于 复杂或某些技术性能指标售前经理不能确定， 此时需要借助公司技术专家团队共 同完成技术评估和方案编制。在专业服务组无法解决时，需要售前经理主导请求 调动更多技术专家，共同完成方案审议。输入条件：出行报告、需求调研报告等；输出物：解决方案；3.3外发版本发起方：销售经理响应方：售前经理流程介绍：在售前阶段为提供客户现场测试版本， 或者项目签约售后实施阶段提 供现场正式发货版本，销售经理会发起发版流程。首先销售经理在CRM上提交发版申请，商务发版负责人会邮件告知响应售前经理启动发版程序。售前经理在收到商务发版负责人邮件通知后，须填写T3_GBase8a项目

7、发版申请 V1_ProjectName_YYYY-MM-DD_YourName.xls ，回复邮件主送商务发版负责 人，抄送上级主管、专业服务组负责人。输入条件：商务发版负责人发版申请邮件 输出物： 发版申请单（ 注：发版申请单请参见附件 3T3_GBase8a 项目发版申 请 V1_ProjectName_YYYY-MM-DD_YourName.xls ）3.4 POC 测试申请发起方： 售前经理响应方： POC 负责人流程介绍：某些项目由于用户方要求， 需要协调 POC 人员为用户完成产品功能、 性能验证测试。售前经理在收到用户方请求后，须向 POC 负责人发起 POC 申 请。POC负责

8、人确认通过后会为项目指派 POC测试工程师，售前经理牵头协调 用户方、销售、 POC 工程师，完成 POC 测试。输入条件：POC 技术评估表（注：文档模板请参见附件 4GPS_ 南大通用 8aPOC 项 目技术评估表 _ ；测试用例；（必须）表结构；（可协商）测试预期；（可协商）输出物： POC 响应确认邮件；3.5 投标流程发起方： 招标单位响应方： 售前经理（和销售经理）流程介绍： 在确认招标单位发起公开招标后，售前经理启动投标流程。 8a 产品 线市场组售前经理负责投标响应文件技术部分的编制， 商务部分由商务部专人负 责。项目的售前经理负责评估投标文件编写的工作量， 视情况向市场组负责

9、人申 请人力支持。项目售前经理负责牵头投标工作，包括分工、框架搭建、整合、组 织评审、校对、投标等。输入条件： 招标单位发起公开招标，并获得招标文件；输出物： 投标响应文件；3.6项目售后交接发起方：售前经理 响应方：售后负责人流程介绍：当项目签约或确认项目将要签约时， 售前经理须向售后申请启动项目 交接流程。项目交接意味着项目由售前主导阶段进入了售后主导阶段，同时意味着项目即将启动部署实施。项目售后交接属于项目关键节点，售前经理需要将售前阶段的材料、方案、文档当整理齐备，为售后实施尽可能的提供详尽的素材。交援启初取目交援哇怏仕后招关负资人输入条件：项目交接表（注：请参见附件5南大通用项目交接

10、信息表_v1.1_项 目名称_填写时间_填写人员.xls） 输出物：项目交接会议纪要;产品相关知识（8a产品线为主）1. 8a产品线产品的技术特点GBase 8a列存储数据库基础上开发的一款Shared Nothing架构的分布式并行数据库集群，具备高性能、高可用、高扩展特性，可以为超大规 模数据管理提供高性价比的通用计算平台，并广泛地用于支撑各类数据 仓库系统、BI系统和决策支持系统。1.1.产品技术特点GBase 8a MPP Cluster具备以下技术特征: 低硬件成本：完全使用x86架构的PC Server，不需要昂贵的Unix服务 器和磁盘阵列；集群架构与部署：完全并行的 MPP +

11、 Shared Nothing 的分布式架构， 采用 Non-Master 部署，节点对等的扁平结构；海量数据分布压缩存储：可处理 PB级别以上的结构化数据，采用 hash 分布、random存储策略进行数据存储；同时采用先进的压缩算法，减少 存储数据所需的空间，可以将所用空间减少 120倍，并相应地提高了 有效的 I/O 性能；数据加载高效性：基于策略的数据加载模式，集群整体加载速度可达2TB/h；高扩展、高可靠：支持在线扩展，实际扩展能力达到64个SafeGroup（最 多64 X 3 = 192个节点），同时提供断点续做和非对称方式的数据重分 布模式。支持全量、增量备份 / 恢复;高可用

12、、易维护 : 数据通过 2个副本提供冗余保护，自动故障探测和管 理，自动同步元数据和业务数据。提供图形化监控工具和企业管理器等 管理工具，简化管理员对数据库的管理工作；高并发 : 读写没有互斥， 支持简化模式的 MVC，C 支持数据的边加载边 查询，单个节点并发能力大于 300 用户；行列转换存储：提供行列转换存储方案，从而提高了列存数据库特殊查 询场景的查询响应耗时；标准化：支持SQL92标准；支持CAPI、ODBC JDBC ADO.NET等国际接 口规范；1.2 8a 产品架构图接口层(J0ECl ODBC, ADO.HET, C口)JLXT穴用条纺黨I栉盒昨管理工貝企业恺曼匪 总卷工目

13、 音倒丿恢 mttia布GCIUS 诞滸题H -5=3JRDSU&碇比折 亦軌崗.rJfiBUEFttS64fi LrnuK 泰列Red Hal L Cent OSL SUSE)uw刖承聊圾券用WWW J J （ 云.虑共 1.3 MPP + share noti ng 架构GBase 8a MPP Cluster 采用完全并行的 MPP + Shared Nothing 的 分布式扁平架构，这种架构中的每一个节点（no de）都是独立的、自给 的、节点之间对等，而且整个系统中不存在单点瓶颈，具有非常强的扩 展性。Iiiterconncction NetworkHash, Rm” R*ndo

14、m.、/14核心组件GBase 8a MPP Cluster产品总共包含三大核心组件，即 GCIuster、GCware 和GNode GCWar用于各节点 GCIuster和GNode实例间共享信息，GCIuster负 责集群调度，每个GNode就是最基本的存储和计算单元。GCIuster :GCIuster负责SQL的解析、SQL优化、分布式执行计划生成、执行调度GCWareGCWar用于各节点GCIuster和GNode实例间共享信息（包括集群结构，节 点状态，节点资源状态等信息），以及控制多副本数据操作时，提供可操作节点， 并在多副本操作中，控制各节点数据一致性状态。GCWare对于集

15、群的管理工作是以节点为基本单位的。GNodeGNode是 GCIuster中最基本的存储和计算单元。GNode是由GCWare管理的 一个8a实例，每个GCIuster节点上有一个GNode实例运行。GNode负责集群数 据在节点上的实际存储，并从 GCIuster接收和执行经分解的SQL执行计划，执 行结果返回给GCIuster。数据加载时，GNodeft接从集群加载服务接收数据， 写 入本地存储空间。1.5. 咼可用GBase 8a MPP Cluster通过SafeGroup组内冗余机制来保证集群的高可用特性：每个SafeGroup可提供1个或2个副本数据冗余；SafeGroup内数据副

16、本自动同步复制引擎自动管理数据同步；图0-1 SafeGroup 高可用性管理示意图数疆2牛副本Replicator/ 制引事1.6. 高性能在线扩展GBase 8a MPP Cluster具备在线扩展技术：通过SafeGroup动态扩展集群节点，实际可扩展到64 X 3 (192)个节占；八、)每个节点可以处理10TB有效数据，同时提供计算和存储能力；GCware负责新节点的数据同步； jSafegrou卩貓态扩展黑鞋节点可以实际扩展到192个节点(64 X 3)图0-2 GBase 8a MPP Cluster在线扩展技术示意图GCware拒盍新节点的数据同步因为GBase 8a MPP

17、Cluster采用高性能单节点的 MPP扁平架构，因此进行 集群扩展时，可以保证平滑扩展和性能的线性增长特性。Scale up (SMP)X 扁平.时等高扩展能力mpp集髀Scale out MPP)图0-3 GBase 8a MPP Cluster高性能高扩展示意图1.7. 高性能数据加载数据加载功能作为GBase 8a MPP Cluster的一部分而存在，目的是将用户 从其他数据源得到的原始数据文件，按照某种加载规则分发至集群节点，集群各 节点接收数据入库保存到本地磁盘。集群加载采用C/S架构，包括数据分发服务器和数据分发客户端两个应用程 序。数据分发服务器接收到客户端的数据加载请求后，

18、服务器端负责原始数据文件切分和数据文件的下发；各节点调用本地的集群加载服务接收数据入库并保存到本地磁盘。1 - data sources2-slicing data3 - Pll da)a 、4-dalebulk loading remote gbioader)图0-4数据加载示意图1.8. OLAP函数GBase8a MPPCIuster提供OLAP函数，用于支持复杂的分析操作，侧重对决策人员和高层管理人员的决策支持。 可根据分析人员的要求，快速灵活地进行 大数据量的复杂查询处理，以便他们准确掌握企业的经营状况，了解被服务对象 的需求，制定正确的方案。1.9. 行列混合存储GBase 8a

19、MPP Cluster采用的行列混合存储的存储结构，改善了当列数较 多，查询命中的数据记录又非常离散时，会频繁访问I/O的状况，大大缩短了延迟查询响应耗时，从而提高了查询效率。GBase 8a MPP Cluster提供的行列混合存储技术，它通过创建行存列的机 制，减少I/O访问的次数，从而有效地提高I/O性能。2竞争对手情况GBase 8a MPP Cluster 心优势GBase 8a MPP Cluste相比其他同类数据库产品，核心优势如下： 高性能：复杂查询、即席查询性能是传统数据库的 10倍以上 高性价比PCServe叶Li nux本机磁盘盘，超过小型机+Unix+车列的性能 高速同

20、步加载超过2TB/Hour的装载速度高压缩率：420倍以上压缩比，节省存储，可存储长期历史数据 扩展能力强：在线增加节点，无需停业务管理维护简单智能索引免维护，工具完善易操作IBM DB2 DPFIBM DB2 Database Partition Feature的整体架构如下:C02|D021Pa-litsofiPartrti&ri| DB2DS2 PartitionDE2 Parttion 1DB2 PartitiorD02 Partition092PartitionStorage serverGBase 8a MPP Cluste与 IBM DB2DPF的对比优势，如下:对比项Oracl

21、e DB2 DPFGBase 8a MPP Cluster架构DPF是基于DB2中的传统分区功能开发 的MPP莫块。存储结构还是依存于传统 的存储结构。真正的面向OLAP的 MPP架构。 各个节点服务器之间完全独 立。功能没有列存储技术，使用咼端设备来实现 高性能列存储，咼效I/O，大幅度提 升性能压缩率低，最多只能到5:1左右高压缩比，420倍压缩资源管理机制缺乏，需要过多的人工干 预。依存人工建立的大量数据索引。智能优化，无需人工干预性能由于一般米用SAN架构，随着数据量增 大，可扩展性比较差无需磁阵，X86服务器水平线 性扩展性价比许多功能都是按模块单独销售，如高可 用性；随着业务的发展

22、，业务对数据仓 库需求侧重点也会不同，而按模块销售 会使业务会受到严重制约可扩展性性能高，功能模块多，价格低，性价比优势显著服务支持费用咼，响应慢本地服务，成本低，响应快TeraDataTeraData的整体架构如下:GBase 8a MPP Cluste与 TeraData的对比优势，如下:对比项TeraDataGBase 8a MPP Cluster架构私属硬件交换机，软硬件绑疋通用X86服务器功能由于设计原理原因，装载数据时只有对 空表加载时才能获得好的性能表中数据多少对加载速度无 影响压缩率低，通常只能达到80%左右列存储，高压缩比，420倍 压缩管理 维护升级时中断业务时间过长，一般

23、需要一 周左右升级只需几个小时性价比购买、升级费用非常昂贵性能高，价格低，性价比优势显著服务支持费用咼，响应慢本地服务，成本低，响应快HP VerticaHP Vertica 为纯软件的 MPP产品，GBase 8a MPP Cluster与 HP Vertica的对比优 势如下：对比项HP VerticaGBase 8a MPP Cluster功能严重依靠projection提供不同方案的性能。拥有多个分析视图，projection 表的数量也将增加（相同数据的多个副 本），而这抵销了压缩的带来的好处一份数据，采用智能索引技术 进行自动性能优化性能对用户并发查询数据库数据支持不够 好，此时如

24、果查询到达可利用的内存上 限，性能下降则非常明显；并发数水平线性扩展如果任何查询需要调优，往往会受限于 projectio n 中的复制数据，灵活性较 差，性能受到影响智能索引，自动优化，无需复 制数据国内 案例无众多EMC Gree nPlumEMC Gree nPlum的整体架构如下:GBase 8a MPP Cluste与 EMC GreenPlum的对比优势，如下:对比项EMC Gree nPlumGBase 8a MPP Cluster架构存在Master节点，容易形成单点故障。 且当集群节点较多时，容易产生单点性 能瓶颈。对于Master节点之间的切换和 故障解除后的恢复，过程中易

25、于引起系 统运行环境的混乱，造成无法正常工作。为纯粹的扁平结构的 ShareNothing架构，不存在 性能上的单点瓶颈和单点故 障问题。Greenplum基于PostgerSQL数据库软件 实现，实际上整个系统相当于一个数据 库联邦，因此当Greenplum遭遇断电等 极端情况时，由于每个PostgerSQL系统 的当时情况存在差异，造成节点全部断 电后无法自动全部重启，需要人工干预。GBase产品支持全部节点断电 重启后正常运行；这种需求对 中移动带来的益处是在极端 的电力失效场景下，整个 MPP 系统仍可以迅速恢复对外提 供服务。受限于PosgerSQL在单节点上没有并行 架构，对多CP

26、U多核的使用效率不高。可充分发挥单节点上多核SMP 多核优势，实现节点上双向并 行。功能无增量备份，每次备份都是全备，这样 备份归档会占用很多空间支持全量备份和增量备份不能缩减节点可以扩展节点，也可以缩减节 占八、压缩态数据不支持更新和删除操作高压缩数据依然可以增删改性能系统空间膨胀过快，空间回效率低下， 时间长，并且严重影响系统性能，如系 统表空间可能膨胀将近百倍系统空间很小，对性能无影响对并发查询数据库数据支持不够好，一 般支持几个复杂长时间SQL查询，当任 务更多时会自动失败单机300并发，水平线性扩展与常见ETL、报表工具连通时兼容性及 性能都比较差接口完全标准化，兼容性好， 与主流中

27、间件、ETL、报表工 具都可对接管理维护无图形化管理工具GUI工具：企业管理器、监控 管理工具Master与Standby切换、回切相关繁琐，管理维护不方便，并且经常失败完全对等的扁平架构，无Master节点，无切换问题几款数据库集群产品特性对比 .Xis三.常见技术问题（ 1） GBase 8a 是 MPP 集群架构，是否有临时表概念？什么情况会用到临时 表？是自动的还是须要人工设定？答：GBase 8a若采用集群方式部署，运行时有可能会根据需要自动生成临时表。 一般情况下，数据在加载到集群中各节点时，表的分布有三种：复制表、分布表 和非复制表。 因为非复制表只保存一份， 存在数据丢失隐患，

28、 所示实际中很少用 到。平时用到最多的是分布表和复制表， 对于参与关联运算较多的维度表或小表， 采用复制表方式存储， 减少节点间拉表成本； 对于大的事实表， 一般采用分布表 方式，分布可以采用随机分布或 Hash 分布。如果两个分布表做等值 Join ，为了 减少节点间拉表的运行成本， GBase 8a 会自动评估决定是否将其中相对小的分 布表临时合并成复制表， 这样在每个节点与另一张分布表做 Join 。被临时合并并 复制的表在这个过程中就生成了临时表。 临时表是为提高运算性能系统自动采取 的一种策略。运算结束后，临时表会被释放。（2）索引是什么机制？答：GBase 8a在数据入库时，能够自

29、动在每一列上建立粗粒度的智能索引，索 引包含统计信息，可以直接使用，降低不必要的磁盘10。对于多表关联和等值查询的应用场景，针对经常访问的数据列，可以人工为其建立 Hash 索引，数据 在加载到集群时通过 Hash 分布的方式分不到集群每一个节点上， 发挥每一个节 点的运算能力，实现任务分摊，达到集群效能的最大利用。（3）如何理解索引的 “粗粒度”？答： GBase 8a 的智能索引在字段上基于数据包自动建立索引，常驻内存，即为 粗粒度。（4）如何理解全文检索？答：全文检索面向的为半结构化数据， 如微博、短信等半结构化内容用全文索引 效率就明显提高。其他如文本、网页等内容，文本存在 DFS 中

30、，索引存在数据 库中，全文抽取插件可以支持 8 种文件格式。 总的原则是小数据存在字段中， 大 文件存在 DFS 中。全文的关键字和索引内容存在数据库中， 采用单字切分技术， 和语种无关，命中率可达 100% 。（5）8a 的应用场景？答：主要有即席查询、 R-OLAP 应用、数据仓库和数据集市、低价值密度的数据 查询分析等（如日志） 。从应用角度在金融领域用于反洗钱、信用卡分析、绩效 考核数据、用户上网分析、审计平台等。电信领域用于日志管理、经分系统等。（ 6）你们 Select* 操作是否比较麻烦？ 答：对，因为需要把每个字段都列出来。但是自 8512 版本我们支持行、列混合 存储，对于经

31、常被 select* 的场景，可以使用行存列的方式实现。（7）如何理解列存储与行存储在增删改查方面大数据优势的原理及具体体现答：行存： 增删改查需要建立索引， 根据索引一行一行排查找到具体行进行增删 改查，同时要记录日志等文件。耗费大量 I/O 。列存：增原理： 8a 大批量数据入 库时，可以边查询操作，边入库，两不耽误。使用的是 AB 版本，查的是原数据 版本，入库则入副版本，副本入完后与原数据版本置换同步；改原理：修改时原 数据加标记 包头偏移量处加标记，修改后新数据插入到最后（等于增） 。每列 最后一个包不进行压缩， 减少插入数据的工作量； 删原理： 删除时原数据加标记 包头偏移量处加标

32、记， 以后查操作会跳过该标记内容； 大数据查： 只涉及需要 查找的列，而且每列有智能索引，可以先按包排查，再在筛出的包内排查。不需 像行存一样所有的列每条记录去排查； 智能索引： 不是物理存在的表， 是加载数 据库时提取包头内容在内存形成的表。（8）外部数据源加载到多个分发节点时，如果部分节点加载成功，部分节点加 载失败，成功部分数据是否保留还是回滚？答：加载如果报 success ，则是所有可用节点数据都加载成功，如果有任何一个 节点加载出问题，则所有节点都没有任何数据加载进去。9）群组中安全组的节点个数是否必须一样？答：可以不一样，但是建议实际应用中保持一样。（ 10）能否与 pl/sql 连接，或可以与哪些常用的客户端工具配合使用 ,是否支持 标准 SQL 所有语法