软件部署服务

部署服务1．公司承诺对系统及相关软件产品提供集成服务，并提交软硬件集成方案、网络方案等。2．公司承诺提供安装调试服务：提供现场安装调试服务，并提交相应软件介质和许可权利证明等。3.实施集成产品进入到云操作系统的资源管理4.集成产品服务水平能力的运行时监控和服务数据到云操作系统得云操作系统可以对产品的运行进行实时动态调度与管理5.将产品应用纳入云操作系统应用管理产品应用的运行数据用版本、运行结果等进行统一的应用管理操作系统的择序

Windows:向后兼容性泛的外围兼容性显示器支持任务处理等。主流操作系统对比表内容UNIXWindowsLinux号1

可管理

较好的可管理性

很好的可管理性

可管理性好，且性

开放源代码，必要时可进行源码级修改。2

可维护

系统维护难度较

系统维护难度较

系统维护难度较性

大，服务器可靠性高，

小，维护软件简单易

大，有维护软件工具支小时长时间不间用，但是服务器整体

可选，服务器稳定，断运行。

稳定性稍低。

支持连续24小时不间断运行。

硬件配建议硬件配置方面从集群的硬件要求和性能提升方面展开描述对于硬件环境的要求和建议，并作为现场环境检查内容的参考。硬件物部署建议建议集群节点服务器、加载机、网络交换机的物理部署遵循以下原则：备足够的电力功耗，使用系统；署服务器的冗余备用电源；群中，数据副本分布不同节点的服务器位于不同机架；行双网卡的绑定，并处于高可用（单活）模式；用交换机高可用；群服务器、加载机、交换机等建议放置在一个机房内；要求使用独立的数据加载机器；建议配置2台以上的加载机；磁盘设建议盘建议高转速、多磁盘，推荐选用的高转速磁硬盘；荐使用本地磁盘或独立的存储设备，避免使用共享存储；备raid卡、打开raid卡的写缓存；荐带有电池的raid卡，推荐卡缓存为1GB及以上；操作系统准备独立的raid进行操作系统安装，如：2个600G的10KB磁盘做raid1作为操作系统安装路径；议设置热备盘；议不多于8块盘做一个；如16块同规格SAS盘情况下，建议每5个硬盘做一个，然后个raid5做raid50；一个单独盘作为热备盘；议单个raid磁盘下，只创建一个逻辑卷，即在单个raid磁盘情

况下，不建议为日志、数据库、备份创建独立的逻辑卷；议使用ssd存储设备作为等高速存储；议设置raid条带尺寸不低于，应设置较大的条带尺寸；网卡及络配置建议备2块万兆光纤网卡，并进行绑定；卡绑定采用主备单活的模式，提供高可用性；备两个光纤交换机组成高可用备份；台服务器的2个绑定的万兆网卡连接到两不同的光纤交换机；服务器的单活模式下的工作网卡连接到同一个光纤交换机；在发生网卡、交换机高可用切换后，及时将每台服务器的工作网卡切换到一台光纤交换机上；成网络配置后，应使用netperf等测试工具进行网络I/O性能的测试确认配置的正确性；备千兆网卡，连接千兆网络环境，用于集群管理、外部系统接口等；备交换机的级联端口：避免单点故障，提升带宽，建议绑定端口如果是用作集群内部通讯的万兆交换机同时避免服务器主备网卡的切换，需要根据业务通讯量绑定个以上端口；用的端口配置好VLAN，不使用的端口手工shutdown；议接入网管系统，以便主动预警。内存配建议根据业务应用场景的不同内存需求的评估方式也不同根据工程经验内存与物理CPU核数比为4:1～8:1，针对集群不同的业务场景可以根据需要弹性调整内存配置。复杂场的内存配置议

从以下几个方面考量数据库运算过程中单个集群节点gnode各算子的内存需求（假定10节点集群与运算的数据量以一个2亿行的表与3千万行的表进行join运算并对join算结果进行groupby聚集，最终得到的结果行数为1.5亿行的场景为例，参与运算的数据量为2.3亿行超过100GB（不含不参与运算的字段到的结果集也超过80GB；对于节点集群，每节点承载的运算数据量超过。执行过程中的中间结果集大小如两表join生成的hashtable的尺寸大小；执行过程中生成的临时表的大小；这些中间结果集的大小通常不会小于参与运算的原始数据量。上例场景，假设每个的中间结果集大小也为10GB。并发数客户的业务通常都要求数据库支撑5～100个不等的并发。综上个集群节点在上述场景下的内存需求为10～20GB10个类似sql场景并发，单个的数据库运算内存需求为以上，此外还应gnode分配20GB以上的内存用于数据缓存。按照数据库使用操作系统总物理内存的例，在上述场景下，建议单服务器的总物理内存为120G/0.8=150G上。考虑并发场景情况下，还需考虑集群的参数配置。简单查类的内存配建议集群的列存储特性所具备的高压缩比、智能索引，以及配合高性能的磁盘I/O，可以在减少对大内存的依赖的情况下，满足高性能的查询要求。根据项目经验，内存缓存左右的热数据即可满足详单的查询性能要求。即集群的总体内存需求为6TB*50%=3TB按照数据库服务器内存利用率为60%～80%算推荐集群的总内存为3TB/0.8=3.75TB；假设集群的节点个数为15，则每集群节点的内存配置为3750GB/15=250GB。SWAP置建议通常SWAP的大小应不小于物理内存大小；对于服务器物理内存超过64GB的，建议大小为物理内存的50%~100%，如服务器的物理内存为，

SWAP可设置为64GB。加载机内存配置建加载机的内存可通过进行推算照CPU每个物理核管理4G~8G内存进行推荐配置。如加载机还需承担文本数据排序功能物理核的配置推荐。加载机需要通过并性方式进行待加载数据的分桶运算因此对CPU的核数有一定要求，要求加载机的CPU物理核不小于，推荐CPU物理核数为个及以上的服务器作为加载机，由此加载机的内存不小于。CPU置建议使用计算能力更高的能提供更好的性能推荐配置主流的中高端CPU的服务器。本章节从集群节点核数、超线程是否开启等方面进行建议：议配置使用最新工艺和技术的，推荐使用最新的中高端的intelCPU；于统计分析类的业务场景议关闭的超线程于高并发、短查询类的业务场景，建议开启的超线程；议集群节点服务器CPU物理核数大于等于16；议加载机的CPU物理核数大于等于8；内存容量/CPU总物理核数大于等于4小于等于8；安装环检查对于本项目的各种软硬件设备安装调试厂将派出有经验的工程师进行调试与安装，高效优质地完成项目的实施。在完成项目实施计划编制安装准备到货检查并确认不存在影响项目实施的重大问题后，原厂将与用户代表和卖方共同填写《开工报告并正式开始系统安装及检验。总体检查内容如下：

1)确认节点机、网络设备（网卡、交换机）的数量、配置符合要求，明确硬件配置清单和操作系统版本；2)确认机器完成上架，网络设备连通，具备软件部署条件；3)需要由对方安装操作系统的，则给对方提供安装部署建议；4)需要由我方安装操作系统的，则获取系统安装规范，并完成安装部署方案；5)落实IP地址和系统访问权限分配事宜；6)告知客户入场初期工作安排，包括：实施启动会、实施需求调研会议、数据库安装部署，并由对方协调准备事宜；7)了解项目涉及的技术要求并做好准备特定服务器的卡设置方法、网卡绑定、客户端搭建、驱动设置等；8)掌握客户反馈的实施需求调研信息；9)了解安装部署建议、安装部署记录模板内容和记录的方法；10）确认是否需要对入场人员进行登记、审批等手续。具体软硬件环境检查项目如下：服务器境检查针对本项目分配的服务器，逐台检查服务器型号CPU、内存、硬盘、文件系统、网卡和操作系统等是否与前期规划的内容相符。Raid配置检查检查针对硬盘的卡配置建议是否符合前期规划。操作系磁盘空间检检查数据节点和加载节点的磁盘空间划分，是否满足安装要求。SSH务检查本节内容检查操作系统服务是否正常开启，防火墙是否关闭，并保存记录各节点检查情况。举例：Node1设置：ssh服务设置

iptables、ip6tables设置selinux设置各节点设置均同该节点检查方法，结果一致。Root码检查本节内容检查集群各节点的root密码ssh服务检查并确认各节点服务开启后，可使用统一密码，从一个节点ssh录其他节点进行检查，如某节点登录失败要核实登录失败节root密码登录失败节点以root身份登录，#passwdroot进行密码修改。举例：进行root密码检查，统一密码XXXXXX端口检各节点通过以下命令检查，未发现端口被占用。lsof–i:5258lsof–i:5050lsof–i:5288lsof–i:6666软件安包检查主要检测Node1的rpm软件包安装情况，详细测试结果请参考如下附件：检查命令：rpm-aq>rpm_list.txt集群节时间同步检保证集群间每个节点的时间保持一致。示例：

rpm-ivhxinetd-2.3.14-39.el6_4.x86_64.rpmPreparing...###########################################[100%]1:xinetd###########################################[100%][root@pc-zjqchb01~]#vi/etc/xinetd.d/time-stream#Thisistheconfigurationforthetcp/streamtimeservice.servicetime{#Thisisforquickonoroffoftheservicedisable=no#Thenextattributesaremandatoryforallservicesid=time-streamtype=INTERNALwait=nosocket_type=stream#protocol=sockettypeisusuallyenough#Externalservicesmustfilloutthefollowing#user=#group=#server=#server_args=#listedin/etc/servicesmustfillnextone#port=

#RPCbasedservicesmustfilloutthese#rpc_version=#rpc_number=#Loggingoptions#log_type=#log_on_success=[root@pc-zjqchb01xinetd.d]#servicexinetdrestart停止xinetd：[定]正在启动xinetd：[定][root@pc-zjqcbh01~]#cexec"date"网络性检查确认集群间节点的通讯网络是万兆网络。CPU线程检检查内容包括CPU个数、核心数、逻辑CPU数（总线程数型号和主频。环境变检查root用户环境变量检查，~/.bashrccat~/.bashrc#.bashrc#Userspecificaliasesandfunctionsaliasrm='rm-i'aliascp='cp-i'aliasmv='mv-i'#Sourceglobaldefinitions

if[-f/etc/bashrc];then./etc/bashrcfi具体安及配置过程部署限及建议支持非对称部署方式，即Coordinator与数据节点各自部署成为单独的物理集群当数据节点不超过64节点时可以采用对称部署方式在非对称部署方式下考虑管理节点高可用的因素，建议部署至少3台（允许1管理节点出现故障）或者5台（允许2个管理节点出现故障此一般建议在节点数在5台以下（包括5台）的情况，采用对称部署方式5台以上的采用非对称部署方式。获取安文件将安装光盘放入光驱使用mount命令将光驱挂载到Linux文件系统加载光驱命令如下（加载光驱需要root用户#mkdir/mnt/cdrom#mount/dev/cdrom/mnt/cdrom将光驱中的安装包的压缩文件复制到文件系统的某个目录下。进入该目录(下文将以安装包放在了root目录下为例)在命令行模式下使用tar命令进行解压。修改安参数文件用户在安装集群前，需要根据实际情况，对安装参数文件进行修改。安装参数说明如下：installPrefix：指定安装目录。coordinateHost所有coordinator节点IP列表IP地址之间用“,”分隔。dataHost:所有data节点IP列表，IP地址之间用“,”分隔。existCoordinateHost:所有已存在的coordinator节点IP列表，地

址之间用“,”分隔。existDataHost:所有已存在的data节点IP列表，地址之间用“,”分隔。loginUser:通过该用户ssh到集群各节点su切换到root用户执行命令，该参数必须使用。默认用户为root。loginUserPwdFile表示支持用户loginUser在集群节点不同密码的方式；loginUserPwd表示用户loginUser在集群节点密码相同的方式。两者不能兼用，否则报错，可以根据密码的异同选择参数使用，必须使用其一。默认密码均为111111。dbaUser:集群运行时使用的操作系统用户名。dbaGroup:集群运行时使用的操作系统用户所属的组名。dbaPwd:集群运行时使用的操作系统用户的密码。rootPwdFile，该参数支持root用户在多节点不同密码方式，与参数rootPwd不能同时使用，否则报错。默认密码111111。dbRootPwd据库root用户密码装集群时无需设置集群升级、扩容、节点替换时使用生效。rootPwd装集群节点机器中linux操作系统中root用户的统一的密码。characterSet系统支持指定字符集安装，默认值为，取值范围【utf8，gbksshPort:用于指定安装集群的机器的sshport，求所有节点sshport一致。用户可根据实际情况修改以上参数。注意：1)以上涉及密码的参数，如果设置值包含特殊符号，需要使用'包围符，无需转义；2)建议coordinator集群节点数不超过64个，data集群节点数不超过300个；➢持单引号、双引号、包围符；➢数值仅支持”字母，数字以及下划线，但是不能以数字开头“；

修改结果举例如下：示例1：全新安装installPrefix=/optcoordinateHost=172.16.83.11,172.16.83.12,172.16.83.13dataHost=172.16.83.11,172.16.83.12,172.16.83.13#existCoordinateHost=#existDataHost=dbaUser=basedbaGroup=basedbaPwd=baserootPwd=111111dbRootPwd=''#mcastAddr=226.94.1.39mcastPort=5493示例2：增加coordinator和data节点installPrefix=/optcoordinateHost=172.16.83.14dataHost=172.16.83.14existCoordinateHost=172.16.83.11,172.16.83.12,172.16.83.13existDataHost=172.16.83.11,172.16.83.12,172.16.83.13dbaUser=basedbaGroup=basedbaPwd=baserootPwd=111111dbRootPwd=''#mcastAddr=226.94.1.39mcastPort=5493执行安成功修改安装参数文件后，执行安装脚本，安装执行中，具体命令如下：

采集指注：若您安装的NOLICENSE版本集群，请忽略此小节。如需进行集群LICENSE认证，首先，需要使用指纹采集工具gethostsid进行集群指纹采集，具体语法如下：a)gethostsid-n192.168.10.1,192.168.10.2,192.168.10.3<-f/path/name><-uusername><-ppassword>b)gethostsid--hosts=demo.hosts<-f/path/name><-uusername><-ppassword>其中：a)用于采集单个节点或少数几个节点服务器指纹的使用场景b)用于采集多个节点服务器指纹的使用场景-f指定生成的指纹文件路径-u指定集群安装的用户名，目前只支持使用root用户采集指纹-p指定集群安装用户的密码注意：1)对于a定多个地址时过“,”作为多个ip地址间的分隔符。2)对于b）demo.hosts文件中包含需要采集的ip列表#vimdemo.hostsHosts=192.168.10.1,192.168.10.2,192.168.10.33)文件中，多个ip地址时，通过“,”作为多个ip地址间的分隔符。4)若限制ssh到root权限，建议使用dbaUser及其pwd，即./gethostid-n*...-ugbase–ggbase;否则，建议使用root用户，即./gethostid-n*...-uroot-p111111示例：使用root用户进行如下操作：$gethostsid-n10.10.10.1,10.10.10.2,10.10.10.3-uroot-p111111-fhostsfinger.txt

其中，10.10.10.1,10.10.10.2,10.10.10.3为集群节点IP。或者采用下面的操作：$-uroot-p其中mpp.hosts的内容如下：Hosts=10.10.10.1,10.10.10.2,10.10.10.3导入license件用户使用license导入工具将license文件导入到集群的每个节点体语法如下：a)License-n192.168.10.1,192.168.10.2,192.168.10.3<-f/path/name.lic><-uusername><-ppassword>b)License--hosts=demo.hosts<-f/path/name.lic><-uusername><-ppassword>其中：a）用于导入单个节点或少数几个节点License的使用场景；b）用于导入多个节点License的使用场景；-f待导入的License文件路径及文件名称-u指定集群安装的用户名，目前仅支持DBA用户-p指定集群安装用户的密码注意：1)对于a定多个地址时过“,”作为多个ip地址间的分隔符。对于b）demo.hosts文件中包含需要采集的ip列表：#vimdemo.hostsHosts=192.168.10.1,192.168.10.2,192.168.10.3文件中，多个ip地址时，通过“,”作为多个ip地址间的分隔符示例：使用gbase用户进行如下操作：$License-n10.10.10.1,10.10.10.2,10.10.10.3-ugbase-pgbase-f/home/gbase/licensetools/mpp.lic或者$License--hosts=mpp.hosts-ugbase-pgbase-f

/home/gbase/licensetools/mpp.lic其中，“mpp.lic”为获得的license文件。2)保证license导入工具有license文件的读权限，否则会导致操作失败。3)-u参数指定的用户必须为集群安装使用的DBA用户。获取license态用户使用license检测工具获取license状态信息括集群节点是否全部具备license文件为试用版还是商用版如果是试用版license，需要显示license到期日期，具体语法如下：a）chkLicense[-n192.168.10.1,192.168.10.2,192.168.10.3]-uusername-ppasswordb）chkLicense--hosts=demo.hosts-f/path/filename-uusername-ppassword其中：a于查看指定一个或少数几个节点的License信息终端上输出显示；-n指定需要检查的节点的IP地址该参数可省略如省略则默认检查本节点License信息；b）用于查看--hosts=demo.hosts中指定的多个节点的License信息，并将结果汇总到-f/path/filename；-f指定License检查结果存放的文件及路径-u指定集群安装的用户名，目前仅支持DBA用户-p指定集群安装用户的密码注意：1）对于a)指定多个ip地址时,通过“,”作为多个ip地址间的分隔符。2）对于b)demo.hosts文件中包含需要采集的ip列表#vimdemo.hostsHosts=192.168.10.1,192.168.10.2,192.168.10.3文件中,多个ip地址时,通过“,”作为多个ip地址间的分隔符。示例一:使用gbase用户进行如下操作:

$chkLicense-n10.10.10.1,10.10.10.2,10.10.10.3-ugbase-pgbase//其中,10.10.10.1,10.10.10.2,10.10.10.3集群节点IP如果为商用版license，输出如下=====10.10.10.1=====is_exist:yesversion:businessis_valid:yes=====10.10.10.2=====is_exist:yesversion:businessis_valid:yes=====10.10.10.3=====is_exist:yesversion:businessis_valid:yes======================================================================Successfulnodenums:3======================================================================//如果为试用版license，输出如下：=====10.10.10.1=====is_exist:yesversion:trialexpire_time:20161230is_valid:yes=====10.10.10.2=====is_exist:yesversion:trial

expire_time:20161230is_valid:yes=====10.10.10.3=====is_exist:yesversion:trialexpire_time:20161230is_valid:yesSuccessfulnodenums:3其中is_exist用于标识文件是否存在为yes代表存在，no为不存在；version用于标识license类型，即是试用版还是商用版，如果为trial代表为试用版license，如果为business代表为商用版license；is_valid用于标识license是否有效，如果为yes代表license有效，no代表license失效；expire_time用于标识试用版license的到期日期，只在检测试用版license时才会显示；示例二:使用gbase用户进行如下操作:$-ugbasegbase-flicensestatus.txt//其中mpp.hosts的内容如下://Hosts=10.10.10.1,10.10.10.2,10.10.10.3//在这种情况下，屏幕输出为======================================================================Successfulnodenums:3======================================================================输出文件中的内容与示例一信息输出类似，在商用版license的情况下，licensestatus.txt的内容如下：=====10.10.10.1=====

is_exist:yesversion:bus