Greenplum安装手册-完善版

Greenplum数据库安装手册第53页GREENPLUM部署文档Greenplum数据库安装手册

目录第一章 文档概述 51.1 适用范围 51.2 文档说明 5第二章 安装前准备 62.1 网络规划 62.2 存储空间规划 62.3 数据库实例规划 7第三章 安装介质 83.1 Redhat 83.1.1 系统补丁 83.1.2 Greenplum安装介质 93.1.3 操作系统建议 9第四章 操作系统准备 104.1 修改主机名 104.2 修改/etc/hosts文件 104.3 关闭相关服务 124.4 修改系统参数（Redhat） 124.4.1 修改系统参数/etc/sysctl.conf 124.4.2 修改系统参数/etc/security/limits.conf 134.4.3 修改磁盘预读参数 144.4.4 修改配置/boot/grub/menu.lst 144.4.5 修改配置/etc/sysconfig/language 144.5 启动IPMI服务 154.6 修改启动配置 154.7 关闭非必要的服务 154.8 重启各台服务器 16第五章 建立数据目录 175.1 Linux系统采用XFS文件系统 175.1.1 Master和StandbyMaster主机 175.1.2 Segment主机 17第六章 Master安装Greenplum 186.1 运行安装文件 186.2 配置hostname文件（用于建立多机信任） 18第七章 建立多机信任 207.1 root用户建立多机信任 207.2 建立用户和组 207.3 修改gpadmin用户配置 217.4 gpadmin用户建立多机信任 21第八章 时钟同步 22第九章 其他机器安装Greenplum 249.1 配置hostname文件 249.2 方法一（4.0版本以上支持，推荐使用） 249.3 方法二（4.0版本一下使用） 24第十章 系统检查 2610.1 参数配置检查（非必要） 2610.2 性能检查 2610.2.1 网络性能检查 2610.2.2 磁盘性能检查 27第十一章 初始化数据库 2911.1 配置文件 2911.1.1 Greenplum4.x版本 2911.2 实例列表all_segs 3011.3 初始化数据库 3011.4 修改访问权限 31第十二章 安装CommandCenter 3212.1 安装Agent 3212.2 安装CommandCenter控制台 32第十三章 AIX下安装工具包 34第十四章 附录 3514.1 dd测试 3514.2 多次初始化 3514.3 反复初始化数据库 3514.4 安装后修改数据库参数（非必要） 3614.5 安装Greenplumclients 3714.6 安装Greenplumloader 3714.7 安装后数据测试 3814.8 TableSpace使用 4214.8.1 创建TableSpace 4214.8.2 TableSpace合理使用 4414.9 常见问题处理 4414.9.1 字符集问题处理 4414.9.2 重新建立多机信任密钥问题 45文档概述适用范围本安装手册所涉及到的操作系统相关参数调整，主要针对RedhatLinux操作系统，其他操作系统（如：SUSE、Solaris等）参数配置上会存在差异，后续逐步补充完善。文档说明下文红色字体部分，如无特殊说明则表示命令执行时是需要根据实际情况进行修改才可以执行。安装前准备网络规划Greenplum数据库系统常见的拓扑图如上图所示，由Master主机和Segment主机组成。Master主机和Segment主机之间会组成一个内部网络（LAN）。为了充分发挥Greenplum数据库并行处理的性能，对网络带宽要求较高。服务器会配置多个网卡，内部网需要配置多个网段的IP。需要对外连接的服务器需配置外部IP。建议在Greenplum数据库系统安装之前，把网络配置规划好。存储空间规划首先，需要评估目标数据库数据所需要的空间容量。建议了解客户搭建Greenplum数据库的具体应用。举例：估计数据库所需空间为U，数据库需要启用Mirror，磁盘阵列总可用空间为D（Raid之后）。空间规划服务和如下公式：2*U+U/3=D*70%磁盘空间D平均分配到各个Segment服务器上。Master需要相应的空间。使用服务器内置硬盘的计算方式类似。数据库实例规划规划每个Segment服务器上建立的数据库实例的数量（instance数量），通常建议每2个CPU内核（core）对应一个数据库实例。如：2*4核CPU的服务区，可配置4个实例。安装介质Redhat系统补丁gccyum-yinstallgcc;yum-yinstallgcc-c++;yuminstallmake2.scpyuminstallopenssh-clients3.edyuminstalled重要！4.若使用gpconfig命令，需要安装perlyuminstallperlGreenplum安装介质GP安装介质需根据实际需要从DownloadCenter上下载对应的版本。名称安装文件备注Greenplum主安装包Network.pivotal.io安装前请先确定所要安装的具体版本。在Master服务器安装GreenplumWebMonitor工具安装包Network.pivotal.io同上Greenplumclients安装包Network.pivotal.io安装前请先确定所要安装的具体版本。在ETL服务器中安装Greenplumloader安装包Network.pivotal.io安装前请先确定所要安装的具体版本。在ETL服务器中安装Greenplum安装包可提前执行，可利用其gpscp、gpssh等工具。操作系统建议Segment节点建议不安装X-Windows,Gnome,KDE,andPrinters。操作系统准备修改主机名修改各台主机的主机名称。一般建议的命名规则如下：Master：mdwStandbyMaster：smdwSegmentHost：sdw1、sdw2……sdwn修改操作：1、hostnamemdw2、修改/etc/sysconfig/network或者/etc/hostname配置文件中的hostname修改/etc/hosts文件通常Master和StandbyMaster主机都配置外部IP和内部IP。Segment主机可只配置内部IP。所有主机的hosts文件内容必须保持一致。如下为配置例子：1 mdw-ext154mdw-1mdw54mdw-254mdw-354mdw-454mdw-554mdw-62 smdw-ext153smdw-1smdw53smdw-253smdw-353smdw-453smdw-553smdw-63sdw1-ext1 loghostsdw1-1sdw1sdw1-2sdw1-3sdw1-4sdw1-5sdw1-64 sdw2-ext1sdw2-1sdw2sdw2-2sdw2-3sdw2-4sdw2-5sdw2-65 sdw3-ext1sdw3-1sdw3sdw3-2sdw3-3sdw3-4sdw3-5sdw3-66sdw4-ext1sdw4-1sdw4sdw4-2sdw4-3sdw4-4sdw4-5sdw4-6关闭相关服务【涉及机器】：所有服务器关闭防火墙serviceiptablessaveserviceiptablesstopchkconfigiptablesoffserviceip6tablessaveserviceip6tablesstopchkconfigip6tablesoff针对RedHat7.0以上的关闭防火墙命令：systemctldisablefirewalldsystemctlstopfirewalld【需要关闭iptables防火墙】查看防火墙状态：

/etc/init.d/iptables

statusRedHat7.0以上的版本，查看防火墙状态的命令：systemctlstatusfirewalld修改系统参数（Redhat）【涉及机器】：所有服务器使用root用户进行修改，重启后生效。修改系统参数/etc/sysctl.conf（Sysctl是一个允许您改变正在运行中的Linux系统的接口。它包含一些TCP/IP堆栈和虚拟内存系统的高级选项）kernel.shmmax=500000000kernel.shmmni=4096kernel.shmall=4000000000kernel.sem=2505120001002048kernel.sysrq=1kernel.core_uses_pid=1kernel.msgmnb=65536kernel.msgmax=65536net.ipv4.tcp_syncookies=1net.ipv4.ip_forward=0net.ipv4.conf.default.accept_source_route=0net.ipv4.tcp_tw_recycle=1net.ipv4.tcp_max_syn_backlog=4096net.ipv4.conf.all.arp_filter=1net.ipv4.conf.default.arp_filter=1dev_max_backlog=10000vm.overcommit_memory=2kernel.msgmni=2048net.ipv4.ip_local_port_range=102565535修改系统参数/etc/security/limits.conf*softnofile65536*hardnofile65536*softnproc131072*hardnproc131072在RHEL6.x版本需要修改文件/etc/security/limits.d/90-nproc.conf，增加如下内容：*softnproc131072*hardnproc131072centos7修改/etc/security/limits.d/20-nproc.conf*softnproc65536rootsoftnprocunlimited不把这些参数调大的话并发一上去就报错修改磁盘预读参数在参数文件/etc/rc.d/rc.local中增加blockdev--setra65536/dev/sd*（红色部分为数据目录所在的磁盘，如/dev/sda,/dev/sdb等）chmod+x/etc/rc.d/rc.local临时生效blockdev--getra65536/dev/sd*关闭selinux【永久性关闭selinux】sed-i's/SELINUX=enforcing/SELINUX=disabled/'/etc/selinux/config【临时关闭】临时关闭setenforce0重启各台服务器必须完成上述步骤之后，才重启各台服务器。建立数据目录Linux系统采用XFS文件系统Master和StandbyMaster主机注：红字根据具体情况而改变1、分区及格式化：mkfs.xfs/dev/sda3或者mkfs-txfs/dev/sda3或者mkfs-fxfs/dev/sda3mkdir-p/data/master（Master数据目录）（在根目录上创建一个data文件夹在这个文件夹下面创建一个master文件夹）2、在/etc/fstab文件中增加(如何配置添加)/dev/sda3/dataxfsrw,noatime,inode64,allocsize=16m11把/data/master赋予777权限rebootSegment主机注：红字根据具体情况而改变1、分区及格式化：mkfs.xfs/dev/sda2或者mkfs-txfs/dev/sda2mkfs.xfs/dev/sdb2mkdir/data1（Segment数据目录，可根据实例和分配空间不同规划不同的目录）mkdir/data2把/data/赋予777权限2、在/etc/fstab文件中增加/dev/sda2/data1xfsrw,noatime,inode64,allocsize=16m11/dev/sdb2/data2xfsrw,noatime,inode64,allocsize=16m11rebootMaster安装Greenplum运行安装文件（这步可提前执行）【安装机器】：Master主机如果是压缩文件则先解压：unzipgreenplum-db--build-4-RHEL5-x86_64.zip/bin/bashgreenplum-db--build-4-RHEL5-x86_64.bin安装完成后修改root用户home的~/.bashrc配置文件，增加source/usr/local/greenplum-db/greenplum_path.sh配置hostname文件（用于建立多机信任）【安装机器】：master机器建议：在安装目录下新建gpconfigs目录。包含所有master和segment主机名和别名的文件。多网卡可能如下：hostfile_exkeys:mdwmdw-1smdwsmdw-1sdw1-1sdw1-2sdw2-1sdw2-2单网卡可能如下：hostfile_exkeys:mdwsmdwsdw1sdw2sdw3sdw4建立all_hosts_only,只包含主机名，不包含各个网段对应的hostname，用于gpssh命令。all_hosts_onlymdwsmdwsdw1sdw2sdw3sdw4建立多机信任root用户建立多机信任source/usr/local/greenplum-db/greenplum_path.sh建立多机信任：gpssh-exkeys-f./hostfile_exkeys对于RHEL6.x版本，建议先关闭一个环境变量再做多机互信unsetOPENSSL_CONFps:如建立多机信任时出现permissiondenied(publickey.gssapi-with-mic)或者类似的错误，需要修改每台机器的/etc/ssh/sshd_config文件，去掉PermitRootLogin前的#，并把对应的值改为yes，RSAAuthenticationyesPubkeyAuthenticationyesAuthorizedKeysFile .ssh/authorized_keys默认是用的22端口，如果22端口没开建议先打开22端口建立用户和组gpssh-f./all_hosts_only=>groupadd-g3030gpadmin=>groupadd-g3040gpmon=>useradd-u3030-ggpadmin-m-s/bin/bashgpadmin=>useradd-u3040-ggpmon-m-s/bin/bashgpmon=>echogpadmin|passwdgpadmin--stdin=>echogpmon|passwdgpmon--stdin=>chown-Rgpadmin:gpadmin/data（修改数据目录用户和组）Data为数据库文件的目录修改gpadmin用户配置使用gpadmin用户操作【Master和StandbyMaster主机】：修改~/.bashrc文件，添加如下内容：source/usr/local/greenplum-db/greenplum_path.shMASTER_DATA_DIRECTORY=/data/master/gpseg-1exportMASTER_DATA_DIRECTORY（gpstart默认启动的目录）使用gpadmin用户操作【Segment主机】：修改~/.bashrc文件，添加如下内容：source/usr/local/greenplum-db/greenplum_path.sh gpadmin用户建立多机信任使用gpadmin用户在Master主机上操作gpssh-exkeys-f./hostfile_exkeys（提示密码，输入gpadmin）###默认的密码对于RHEL6.x版本，建议先关闭一个环境变量再做多机互信unsetOPENSSL_CONF时钟同步使用root用户进行操作，涉及所有服务器。Greenplum推荐使用NTP（NetworkTimeProtocol）同步各台主机的时钟。建议设置一台独立的时钟服务器。yuminstallntp?ntpd1、Master服务器配置与时钟服务器同步。修改配置文件/etc/ntp.conf后，启动ntpd服务。举例：配置文件增加：server0启动服务：servicentpdstartchkconfigntpdon如果没有独立的时钟服务器，则应该以Master服务器做内部的时钟服务器，Master就可以不用修改ntp.conf配置文件，直接启动ntpd服务即可。2、所有Segment服务器优先与Master服务器同步，其次与StandbyMaster服务器同步。修改配置文件/etc/ntp.conf后，重启ntpd服务。配置文件增加：servermdwpreferserversmdw启动服务：servicentpdstartchkconfigntpdon3、StandbyMaster服务器优先与Master服务器，其次与时钟服务器同步。修改配置文件/etc/ntp.conf后，重启ntpd服务。配置文件增加：servermdwpreferserver0（时钟服务器举例）启动服务：servicentpdstartchkconfigntpdon如果没有独立的时钟服务器，第二行不用配置。4、检查时钟同步结果（需要等几分钟，时钟才会自动同步）gpssh-f./all_hosts_only=>date（查看各台服务器时间是否一致）其他机器安装Greenplum配置hostname文件其他机器的安装主要操作时把安装在Master主机上的GP安装文件打包传到其他各台机器中。因此，需要配置一个hostname文件包含Standbymaster和各台Segment主机，配置文件stby_all_segs内容参考如下：smdwsmdw-1sdw1-1sdw1-2sdw2-1sdw2-2方法一（4.0版本以上支持，推荐使用）安装gzip，chmod777/usr/local在Master主机上，使用root用户操作：gpseginstall-f./stby_all_segs-pgpadmin方法二（4.0版本一下使用）在Master主机上，使用root用户操作：cd/usr/local（安装目录）tar-cvf/usr/local/gp.targreenplum-db-（tar安装文件目录）gpscp-f./stby_all_segs/home/gpadmin/gp.tar=:/usr/localgpssh-f./stby_all_segs=>tar--directory/usr/local-xvf/usr/local/gp.tar=>ls/usr/local/greenplum-db-=>ln-s/usr/local/greenplum-db-/usr/local/greenplum-db=>chown-Rgpadmin:gpadmin/usr/local/greenplum-db=>rm/usr/local/gp.tar系统检查在Master上使用gpadmin用户登录执行系统检查参数配置检查（非必要）配置all_hosts_single文件内容如下：sdw1sdw2sdw3sdw4gpcheck-f/usr/local/greenplum-db/gpconfigs/all_hosts_single-mmdw-ssmdw核对并修改下你感应系统参数。性能检查网络性能检查网络性能测试需要每个网段分别进行测试，按照4个SegmentHost和2个网络为例，首先配置如下两个配置文件：all_net_1文件：sdw1-1sdw2-1sdw3-1sdw4-1all_net_2文件：sdw1-2sdw2-2sdw3-2sdw4-2然后分别针对两个网段继续测试：gpcheckperf-f/usr/local/greenplum-db/gpconfigs/all_net_1-rN-d/tmp>checknetwork.outgpcheckperf-f/usr/local/greenplum-db/gpconfigs/all_net_2-rN-d/tmp>checknetwork.out磁盘性能检查测试磁盘性能主要针对SegmentHost进行测试。因此配置一个all_segs的文件进行测试，并且指定多个目录启动并发测试，测试结果会更好。all_seg配置文件内容举例如下（与数据库初始化可用同一配置文件）：sdw1-1sdw1-2sdw1-3sdw1-4sdw2-1sdw2-2sdw2-3sdw2-4sdw3-1sdw3-2sdw3-3sdw3-4sdw4-1sdw4-2sdw4-3sdw4-4执行如下命令进行测试：内存及磁盘：gpcheckperf-f/usr/local/greenplum-db/gpconfigs/all_hosts_single-rds-D-d/data1/primary-d/data2/primary-d/data1/mirror-d/data2/mirror>checkio.out磁盘：gpcheckperf-f/usr/local/greenplum-db/gpconfigs/all_hosts_single-rd-D-d/data1/primary-d/data2/primary-d/data1/mirror-d/data2/mirror某台机磁盘检查：gpcheckperf-hsdw6-hsdw7-hsdw8-hsdw9-hsdw10-rd-D-d/data1/primary-d/data2/primary-d/data1/mirror-d/data2/mirror检查磁盘IO的目标目录是数据库的数据文件目录，测试工具会写入系统内存的两倍大小的数据量。初始化数据库在Master上使用gpadmin用户登录执行系统检查配置文件请注意，Greenplum3.x版本和4.x版本的初始化配置文件格式存在差异，配置时建议从$GPHOME/docs/cli_help/gpconfigs/目录中获取样例文件，然后进行修改。Greenplum4.x版本获取配置文件样例：cp$GPHOME/docs/cli_help/gpconfigs/gpinitsystem_config$GPHOME/gpconfigs/修改配置文件：ARRAY_NAME="EMCGreenplumDW"SEG_PREFIX=gpsegPORT_BASE=40000declare-aDATA_DIRECTORY=(/data1/data1/data1/data1)//主实例MASTER_HOSTNAME=mdw//主机名MASTER_DIRECTORY=/data/masterMASTER_PORT=5432TRUSTED_SHELL=sshCHECK_POINT_SEGMENT=8ENCODING=UNICODEMIRROR_PORT_BASE=50000REPLICATION_PORT_BASE=41000MIRROR_REPLICATION_PORT_BASE=51000declare-aMIRROR_DATA_DIRECTORY=(/data2/data2/data2/data2)//备实例MACHINE_LIST_FILE=/usr/local/greenplum-db/gpconfigs/all_segs//segment主机列表文件实例列表all_segs只列出各个网段IP的主机名称，不能添加sdw1、sdw2等sdw1-1sdw1-2sdw1-3sdw1-4sdw2-1sdw2-2sdw2-3sdw2-4sdw3-1sdw3-2sdw3-3sdw3-4sdw4-1sdw4-2sdw4-3sdw4-4初始化数据库gpinitsystem-c/usr/local/greenplum-db/gpconfigs/gpinitsystem_config-smdw修改访问权限作用：修改Master数据目录（MASTER_DATA_DIRECTORY）下pg_hba.conf文件。需要了解客户实际情况，有多少客户端的IP地址以及角色需要访问数据库。举例如下：hostallgpadmin/16trust数据库名角色名客户端IP范围认证方法数据库名：可指定具体的数据库名称，也可使用all；角色名：可指定具体的数据库角色名称，也可使用all；IP范围格式：IP地址/CIDR，如：/16；表示IPv4CIDR掩码长度8，表示IPv4CIDR掩码长度24，而55表示CIDR掩码长度32；32就表示指定IP，24就表示小子网。修改完后数据库重载参数文件：sugpadmin//登录pgamin用户gpstop-u安装CommandCenter安装Agentgpadmin用户执行如下步骤。1、使用gpperfmon_install命令，Greenplum安装完成后已经包含该命令。安装后会建立名为gpperfmon的数据库，默认使用gpmon用户。命令行中红色部分为系统用户gpmon的密码。gpperfmon_install--enable--passwordgpmon--port5432gpperfmon_install--enable--passwordgpadmin--port54322、重启GP数据库gpstop-r//关闭GP数据库gpstart//开启GP数据库3、确认监控采集进程是否已经启动。ps-ef|grepgpmmon4、确认Agent写入的数据是否正常，检查是否有记录写入。psql-dgpperfmon-c'select*fromsystem_now;'5、拷贝Master主机拷贝配置文件到StandbyMaster的相应目录scp$MASTER_DATA_DIRECTORY/pg_hba.confsmdw:$MASTER_DATA_DIRECTORY/scp~/.pgpasssmdw:~/安装CommandCenter控制台使用root用户执行。1、在Master主机上解包安装CommandCenter：unzipgreenplum-cc-web--build-2-RHEL5-x86_64.zip2、运行安装文件：/bin/bashgreenplum-cc-web--build-2-RHEL5-x86_64.bin3、创建除mdw以外的hosts文件，如all_others。注意主机名不能重复，同一台主机只允许一个主机名。source/usr/local/greenplum-cc-web/gpcc_path.sh4、运行命令安装其他服务器gpccinstall-f./all_others5、修改安装目录的属主chown-Rgpadmin:gpadmin/usr/local/greenplum-cc-web*切换到gpadmin用户，配置Commandcenter，需要修改master的配置文件，让gpmon用户具有连接gp的权限。添加hostallgpmon::1/128md5后gpstop-ugpcmdr--setup按照提示内容输入，如果在连接数据库步骤中报错，请检查数据库日志，如果没有配置standby节点，则在最后系统要求确认是否拷贝到standby节点的时候选择no7、启动Commandcentergpcmdr--startccname(实例名)AIX下安装工具包如果客户需要在AIX环境中访问和连接GP数据库以及部署ETL应用（需要使用gpfdist）是，则需要安装相应的几个GP工具包：greenplum-clients--build-2-AIX5-powerpc_64：包含psql和pgadmin等客户端工具greenplum-connectivity--build-2-AIX5-powerpc_64：包含ODBC和JDBC接口驱动。另外JDBC的jar版本包含三个列举如下，需要根据主机所使用的JDK版本：postgresql-8.3-605.jdbc2ee.jar（JDK1.3）postgresql-8.4-701.jdbc3.jar（JDK1.4、JDK1.5）postgresql-8.4-701.jdbc4.jar（JDK1.6）greenplum-loaders--build-2-AIX5-powerpc_64：包含gpfdist工具由于GP工具包的打包方式问题，因此在AIX环境中安装需要有Linux相对应的几个工具包：bash与gtar。否则无法安装bin包。首先需要在AIX中安装如下版本的rpm包：bash-3.2-1.aix5.2.ppc.rpmtar-1.14-2.aix5.1.ppc.rpm并且GP工具包必须要使用bash运行，执行如下：bash./greenplum-loaders--build-2-AIX5-powerpc_64.bin附录dd测试有时候需要使用dd命令测试磁盘IO性能。测试命令如下：并发写测试：ddif=/dev/zeroof=/data1/a.testbs=32kcount=520000&ddif=/dev/zeroof=/data1/b.testbs=32kcount=520000&并发读测试：ddif=/data1/a.testof=/dev/nullbs=32kcount=520000&ddif=/data1/b.testof=/dev/nullbs=32kcount=520000&多次初始化Greenplum数据库可以多次初始化，前提是每次初始化的数据目录（Master和Segment的数据目录）必须不相同。gpstart和gpstop可以通过-d参数指定Master数据库目录，启动不同的数据库。如果不指定-d参数，系统则默认使用~/.bashrc文件中所设置的MASTER_DATA_DIRECTORY。同时只能启动一个GP数据库。反复初始化数据库重新初始化数据库有两种方法：第一种：如果数据库初始化失败，则使用初始化过程中生成的一个Backout脚本清除安装失败留下垃圾文件和目录（不一定能成功）。~/gpAdminLogs/backout_gpinitsystem_<user>_<timestamp>第二种：如果数据库初始化失败，可关闭数据库，删除所有数据目录，再执行一次数据库初始化命令。该方法实践证明定能成功，在这个过程中，可能会出现多机信任key验证不通过的问题，可参考附录“重新建立多机信任密钥问题”章节进行处理。具体步骤如下：（1）关闭Greenplum数据库（非常关键）gpstop（2）删除所有Greenplum数据库目录Master主机及StandbyMaster主机：rm-rf/data/masterSegment主机：rm-rf/data/primary如果segment有创建备实例，则还需另删除mirror数据目录rm-rf/data/mirror（3）重新创建Greenplum数据库目录Master主机及StandbyMaster主机：mkdir-p/data/masterSegment主机：mkdir-p/data/primary如果segment有创建备实例，则还需另创建mirror数据目录mkdir-p/data/mirror（4）初始化数据库gpinitsystem-c/usr/local/greenplum-db/gpconfigs/gpinitsystem_config-ssmdw安装后修改数据库参数（非必要）Greenplum数据库正常安装以后，数据库参数配置允许根据客户的实际情况进行修改。一般情况下不建议主动修改数据库参数。因此本步骤暂时放到附录中。数据库参数修改方法是修改数据目录（MASTER_DATA_DIRECTORY）下的postgresql.conf配置文件。然后根据参数的定义，重新装载配置文件或者重启数据库。说明：Local是指每台服务器的配置文件都需要修改；Master是指只需要在master主机上修改；Restart是指需要重启数据库；Reload是指运行gpstop–u重新装载配置参数即可。参数名称参数类型参考值设置说明max_connectionsinteger200Local，restartmax_prepared_transactionsinteger200Local，restartgp_interconnect_setup_timeoutString3minMaster，reloadmax_fsm_pagesinteger200000Local，restartmax_fsm_relationsinteger1000Local，restartgp_vmem_protect_limitinteger8192Local，restartwork_memString32MBMaster，reloadstats_queue_levelbooleanoffMaster，reload安装Greenplumclients【安装机器】：ETL主机如果是压缩文件则先解压：unzipgreenplum-clients--build-4-RHEL5-x86_64.zip/bin/bashgreenplum-clients--build-4-RHEL5-x86_64.bin修改该主机需要用到client和loaders工具的用户的~/.bashrc配置，增加source/usr/local/greenplum-clients--build-4/greenplum_clients_path.sh安装Greenplumloader【安装机器】：ETL主机如果是压缩文件则先解压：unzipgreenplum-loaders--build-4-RHEL5-x86_64.zip/bin/bashgreenplum-loaders--build-4-RHEL5-x86_64.bin修改Master主机需要用到client和loaders工具的用户的~/.bashrc配置，增加source/usr/local/greenplum-loaders--build-1/greenplum_loaders_path.sh安装后数据测试数据库安装完成后，需要进行数据库建立、数据装载、查询和关键SQL语句的测试。1、创建数据库：createdb-Ttemplate1testdb2、启动gpfdist准备导数：nohupgpfdist-p8088-d/data/testdata-l/data/testdata/gpfdist_test.log&启动后，检查gpfdist进程状态：ps-ef|grepgpfdist3、创建外部表和库表：dropexternaltableifexistsBS_CDR_GSM_LOC_02_ext;createexternaltableBS_CDR_GSM_LOC_02_ext(N_ROWSnumeric(8),SOURCE_TYPEVARCHAR(2),CALL_TYPEnumeric(3),IMSI_numericVARCHAR(15),MSISDNVARCHAR(19),OTHER_PARTYVARCHAR(11),SDATEtimestamp,STAT_DATEnumeric(8),PERIOD_TIMEnumeric(2),CALL_DURATIONnumeric(5),DURATION60numeric(3),DURATION6numeric(4),MSRNVARCHAR(11),MSCVARCHAR(10),LACVARCHAR(4),CELL_IDVARCHAR(4),OTHER_LACVARCHAR(4),OTHER_CELL_IDVARCHAR(2),TRUNK_GROUPOUTVARCHAR(7),TRUNK_GROUPINVARCHAR(7),FILE_NOVARCHAR(20),STOP_CAUSEVARCHAR(1),ORIGIN_NOVARCHAR(15),DEAL_TIMEVARCHAR(10),AREA_IDnumeric(7),VISIT_AREA_IDnumeric(7),CALLED_AREA_IDnumeric(7),CALLED_VISIT_AREA_IDnumeric(7),PURVIEW_AREA_IDnumeric(7),ROAM_TYPEnumeric(1),EDGE_FLAGCHAR(1),A_ASPnumeric(1),A_BRAND_IDchar(2),A_SERV_TYPEVARCHAR(2),TERM_TYPEnumeric(7),B_SERV_TYPEVARCHAR(2),B_HOME_TYPECHAR(1),OTHER_ASPnumeric(2),C_SERV_TYPEVARCHAR(2),CARRIER_TYPEnumeric(4),LONG_TYPEnumeric(9),USER_IDnumeric(16),PAY_MODEchar(1),CHANNEL_NOVARCHAR(4),CFEEnumeric(7),LFEEnumeric(6),OTHERFEEnumeric(5),REAL_CFEEnumeric(7),REAL_LFEEnumeric(6),REAL_OTHERFEEnumeric(5),FREETIME_ITEMnumeric(3),FREETIMEnumeric(6),VPN_IDvarchar(16),VPN_FLAGCHAR(1),FREE_CODEVARCHAR(40),FREETIME_ITEM2numeric(3),FREETIME2numeric(5),FREETIME_ITEM3numeric(3),FREETIME3numeric(5),FREETIME_ITEM4numeric(3),FREETIME4numeric(4),FILE_NAMEVARCHAR(36),DAY_numericnumeric(2),ORIGIN_NO_AREA_IDvarchar(8),ORIGIN_NO_ASPchar(2),ORIGIN_NO_TERM_TYPEvarchar(7),CDR_NOvarchar(3),B_BRAND_IDnumeric(2),B_SERVICE_TYPE2CHAR(2),FREE_CODE1VARCHAR(10),FREE_FEE1numeric(5),FREE_CODE2VARCHAR(1),FREE_FEE2numeric(1),FREE_CODE3VARCHAR(1),FREE_FEE3numeric(1),FREE_CODE4VARCHAR(1),FREE_FEE4numeric(1),CDR_TYPEnumeric(1),IMEIVARCHAR(16),FIRST_CFEEnumeric(7),FIRST_LFEEnumeric(6),FIRST_OFEEnumeric(5),TPREMARKVARCHAR(89),SERVICE_TYPEVARCHAR(3),SERVICE_CODEVARCHAR(4),RATE_INDCHAR(1))LOCATION('gpfdist://mdw:8088/bs_cdr_gsm_loc*.csv')FORMAT'csv'(delimiter','null'')ENCODING'GB18030';droptableifexistsBS_CDR_GSM_LOC_02;createtableBS_CDR_GSM_LOC_02(likeBS_CDR_GSM_LOC_02_ext)with(appendonly=true,orientation=column,compresslevel=5,compresstype=zlib)distributedby(MSISDN);数据文件见附件：4、导入数据测试：insertintoBS_CDR_GSM_LOC_02select*fromBS_CDR_GSM_LOC_02_ext;导入数据过程中可使用nmon命令监控SegmentHost的IO情况以及CPU使用情况。5、执行检查的查询操作：selectcount(*)fromBS_CDR_GSM_LOC_02;TableSpace使用创建TableSpace1、创建数据目录（1）Master主机和StandbyMaster主机mkdir/data/master_his（2）各台Segment主机mkdir/data1/primarymkdir/data1/mirrormkdir/data2/primarymkdir/data2/mirror2、磁盘阵列创建Filespace（1）设置Filespace创建信息：gpfilespace-ogpfilespace_config根据屏幕提示输入Filespace相关信息：Atablespacerequiresafilesystemlocationtostoreitsdatabasefiles.AfilespaceisacollectionoffilesystemlocationsforallcomponentsinaGreenplumsystem(primarysegment,mirrorsegmentandmasterinstances).Onceafilespaceiscreated,itcanbeusedbyoneormoretablespaces.Enteranameforthisfilespace【输入filespace自定义名称】>his_filespacePleasespecify2locationsfortheprimarysegments,oneperline:primarylocation1>/data2/segment1【输入源主实例对应的另一新数据目录】primarylocation2>/data2/segment2【输入源主实例对应的另一新数据目录】【备注：】每个segment有多少个主实例，就需要输入等量个的数据目录masterlocation>/data/master_his【输入Master对应的另一新数据目录】Creatingconfigurationfile...[created]Toaddthisfilespacetothedatabasepleaserunthecommand:gpfilespace--config/home/gpadmin/gpfilespace_config（2）执行命令创建Filespace：gpfilespace-cgpfilespace_config也可以输入以下命令创建Filespace：gpfilespace--config/home/gpadmin/gpfilespace_config3、创建TablespaceCREATETABLESPACEEDA_GP_HIS_DATAFILESPACEhis_filespace;4、Tablespace授权GRANTALLONTABLESPACEEDA_GP_HIS_DATATOpublic;备注：创建表时需指定Tablespace。TableSpace合理使用如果采用列存储表，每一列会生成一个数据文件。加上分区表的使用，数据库目录下的数据文件个数将会大量增加。使用Tablespace可以把数据文件划分成不同的目录。每一个Tablespace对应的目录下，文件数不要超过200个数据文件。常见问题处理字符集问题处理当加载数据出现如下报错信息：character0xd620ofencoding"GB18030"hasnoequivalentin"UTF8"(seg10slice1sdw3:40002pid=6533)2012-02-0309:10:55-DETAIL:Externaltable是由于GP（postgreSQL）在字符集转换时遇到非法字符会报错。通过补丁包（更新动态链接库）在遇到非法字符时掠过。目前补丁包有：Redhat5.5及GP4.1版本：utf8_and_gbk.soRedhat5.5及GP4.2版本：utf8_and_gb18030.so该补丁包，在遇到数据导入无法转换的问题后才采用。操作方法：替换$GPHOME/lib/postgresql（/usr/local/greenplum-db/lib/postgresql）目录下替换相应文件，注意备份，重启数据库后即可生效。重新建立多机信任密钥问题在Greenplum的重新安装或者重新初始化数据库过程中，由于在各主机建立了多机信任机制，所以经常会出现输入正确的主机密码系统却报错，或者在重新初始化数据库过程中，各主机互相通信失败而导致初始化失败。引起该问题主要是Greenplum各主机在建立多机信任时按规则彼此创建了相互通信的密钥对，写入了known_hosts文件中，当主机名被修改，或者重复创建多机信任等，即会出现主机通信密钥出错而失败。解决该问题步骤：（1）打开密钥存放文件/root/.ssh/known_hosts，将需要重新建立互信机制的主机的所有密钥信息删除；（2）重新建立多机信任Root用户：gpssh-exkeys-f/usr/local/greenplum-db/gpconfigs/all_hostsgpadmin用户：gpssh-exkeys-f/usr/local/greenplum-db/gpconfigs/all_hosts卸载gpcc1,停止数据库监控程序perfmon，并删除安装文件目录

$gpperfmon–stop

$rm-rf/usr/local/greenplum-perfmon-web-4.1.X.X

2,编辑postgresql.conf文件，禁用greenplum的perfmon功能

#su–gpadmin

$vi$MASTER_DATA_DIRECTORY/postgresql.conf

gp_enable_gpperfmon=off

3,编辑gp_hba.conf

#localgpperfmongpmonmd5

#hostgpperfmongpmon/0md5

4,删除role和数据库

$psqltemplate1-c‘droprolegpmon’

$dropdbgpperfmon

5,最后将gpperfmon的相关安装文件删除

$rm-rf$MASTER_DATA_DIRECTORY/gpperfmon/data/*

$rm-rf$MASTER_DATA_DIRECTORY/gpperfmon/data/*

6,重启数据库

$gpstop

$gpstart【gpcc】步骤：第一步：使用gpadmin用户登录第二步：执行gpperfmon_install命令：gpadmin@linux116:~>

gpperfmon_install--enable--passwordgpmon--port5432

20140519:16:15:07:026251gpperfmon_install:linux116:gpadmin-[INFO]:-PGPORT=5432psql-f/usr/local/greenplum-db/lib/gpperfmon/gpperfmon3.sqltemplate1>&/dev/null

20140519:16:15:28:026251gpperfmon_install:linux116:gpadmin-[INFO]:-PGPORT=5432psql-f/usr/local/greenplum-db/lib/gpperfmon/gpperfmon4.sqlgpperfmon>&/dev/null

20140519:16:15:29:026251gpperfmon_install:linux116:gpadmin-[INFO]:-PGPORT=5432psql-f/usr/local/greenplum-db/lib/gpperfmon/gpperfmon41.sqlgpperfmon>&/dev/null

20140519:16:15:33:026251gpperfmon_install:linux116:gpadmin-[INFO]:-PGPORT=5432psql-f/usr/local/greenplum-db/lib/gpperfmon/gpperfmon42.sqlgpperfmon>&/dev/null

20140519:16:15:36:026251gpperfmon_install:linux116:gpadmin-[INFO]:-PGPORT=5432psql-f/usr/local/greenplum-db/lib/gpperfmon/gpperfmonC.sqltemplate1>&/dev/null

20140519:16:15:36:026251gpperfmon_install:linux116:gpadmin-[INFO]:-PGPORT=5432psqltemplate1-c"DROPROLEIFEXISTSgpmon"

>&/dev/null

20140519:16:15:36:026251gpperfmon_install:linux116:gpadmin-[INFO]:-PGPORT=5432psqltemplate1-c"CREATEROLEgpmonWITHSUPERUSERCREATEDBLOGINENCRYPTEDPASSWORD'huawei123'"

>&/dev/null

20140519:16:15:37:026251gpperfmon_install:linux116:gpadmin-[INFO]:-echo"local

gpperfmon

gpmon

md5">>/data/master/gpseg-1/pg_hba.conf

20140519:16:15:37:026251gpperfmon_install:linux116:gpadmin-[INFO]:-echo"host

all

gpmon

/28

md5">>/data/master/gpseg-1/pg_hba.conf

20140519:16:15:37:026251gpperfmon_install:linux116:gpadmin-[INFO]:-touch/home/gpadmin/.pgpass>&/dev/null

20140519:16:15:37:026251gpperfmon_install:linux116:gpadmin-[INFO]:-mv-f/home/gpadmin/.pgpass/home/gpadmin/.pgpass.1400487307>&/dev/null

20140519:16:15:37:026251gpperfmon_install:linux116:gpadmin-[INFO]:-echo"*:5432:gpperfmon:gpmon:huawei123">>/home/gpadmin/.pgpass

20140519:16:15:37:026251gpperfmon_install:linux116:gpadmin-[INFO]:-cat/home/gpadmin/.pgpass.1400487307>>/home/gpadmin/.pgpass

20140519:16:15:37:026251gpperfmon_install:linux116:gpadmin-[INFO]:-chmod0600/home/gpadmin/.pgpass>&/dev/null

20140519:16:15:37:026251gpperfmon_install:linux116:gpadmin-[INFO]:-PGPORT=5432gpconfig-cgp_enable_gpperfmon-von>&/dev/null

20140519:16:15:43:026251gpperfmon_install:linux116:gpadmin-[INFO]:-PGPORT=5432gpconfig-cgpperfmon_port-v8888>&/dev/null

20140519:16:15:49:026251gpperfmon_install:linux116:gpadmin-[INFO]:-PGPORT=5432gpconfig-cgp_external_enable_exec-von--masteronly>&/dev/null

20140519:16:15:55:026251gpperfmon_install:linux116:gpadmin-[INFO]:-gpperfmonwillbeenabledafterafullrestartofGPDB第三步：重启greenplum数据库

gpadmin@linux116:~>

gpstop-r出现的问题：现象：一般起不来GP的话，去看/data/master/gpseg-1下面的gp_log文件下面查看gp_start.log日志。这个一遍是gp_hda.conf文件配置错误，出现没法登陆问题。以后在配置的时候，应该注意完整争取的gp_hda.conf文件：

第四步：确认监控采集进程是否已经启动[root@mdw~]#

ps-ef|grepgpmmon|grep-vgrep

gpadmin

1232712307

023:38?

00:00:00/usr/local/greenplum-db-/bin/gpmmon-D/data/master/gpseg-1/gpperfmon/conf/gpperfmon.conf-p5432确认PerformanceMonitor数据库写入数据是否正常，检查是否有记录写入[gpadmin@mdw~]$

psql-dgpperfmon-c'select*fromsystem_now'

ctime

|hostname|mem_total

|

mem_used

|mem_actual_used|mem_actual_free|swap_total|swap_used|swap_page_in|swap_page_out|cpu_user|cpu_sys|cpu_idle|load0|load1|load2|quantum|disk_ro_ra

te|disk_wo_rate|disk_rb_rate|disk_wb_rate|net_rp_rate|net_wp_rate|net_rb_rate|net_wb_r