富士通PostgreSQL解决方案概述

1、富士通PostgreSQL解决方案概述关于富士通 日本第一的IT 服务供应商超级计算机PRIMEHPC FX10PRIMERGY TX120ETERNUS DX8000高端多核处理器SPARC64 VII+FM3 系列(32-bit RISC MCU)FRAM(铁电随机存取记忆体)遍布全球的100+的数据中心智能手机LIFEBOOK平板电脑技术解决方案 (Technology Solutions)泛在产品解决方案(Ubiquitous Product Solutions)电子元器件解决方案(Device Solutions)云计算服务系统平台南京大学 富士通 =富士通南大创立1999年股份富士

2、通:79% 南大:21%员工约1,100 名地点总公司: 江苏南京分支机构日本横滨江苏江阴江苏徐州南京富士通南大软件技术有限公司PostgreSQL在日本日本市场：PostgreSQL MySQL日本市场的加拉帕戈斯化日本IT市场的历史原因日本PostgreSQL用户会的巨大贡献代表人物与代表产品富士通与PostgreSQL1994年Postgres95发布1995年SymfoWARE发布1996年PostgreSQL诞生1999年日本PostgreSQL用户会创立2016年FEP发布株式会社株式会社 一般社団法 合同会社 日本PostgreSQL DB株式会社 様1様1株式会社様1様1協賛会

3、員名口数SRA OSS, Inc. 日本支社様5NEC株式会社様5日本電信電話株式会社様5富士通株式会社様5NTT株式会社様3様2様1人1FujitsuEnterprisePostgresEnterprise PostgresPostgreSQL 11：PostgreSQL周边工具 (OSS)JDBC DriverApplication InterfacepsqlODBC NpgsqlECOBPG：Enterprise Postgres强化机能安全性能分区强化并行检索強化SCRAM认证Oracle兼容性JIT CompileSQL stored procedure高可用灾害对策DB二重化安全A

4、udit Log性能全文检索pg_bigmIn-memory与Oracle的协同/兼容性orafceoracle_fdw既存系统兼容性其他DB文法兼容NCHAR运用管理pgAdminpg_statsinfo高速BackupWebAdminpg_rman高速Loader协同性外部数据协同 postgres_fdw、file_fdw 高可用Replication强化安全增强：审计日志UserEnterprise PostgresAudit LogServer LogPostgreSQLDatabaseUserDatabase异步写入Server LogSQL/Command执行审计日志可用于抵御安

5、全威胁，例如欺骗，未经授权访问数据库，应用程序操作以及滥 用权限Enterprise PostgresCommunity版本没有审计日志的功能，查找分析困难以Server Log代替审计日志无法设置适合于审计日志的访问权限Object名、Schema名等审计分析所需的情报未能输出搭载了利于进行审计分析的审计日志审计日志单独输出可以灵活设定审计日志的访问权限和生命周期可以输出Connection、SQL文执行结果等审计分析所需情报SQL/Command执行安全增强：审计日志例1AUDIT: SESSION,READ,2018-11-28 10:48:19 JST,192.0.2.0,34916,

6、psql,fepuser,postgres,3/7,5,1,SELECT,TABLE,public.account,SELECT * FROM account WHERE age = 40;,审计对象FEP输出情报什么时候SQL文执行时间2018-11-28 10:48:19 JST谁连接user名fepuser从什么地方Application名psqlProcess ID34916Host名或者IP地址192.0.2.0审计对象FEP输出情报针对什么Database名postgresObject种类TABLEObject名public.account做了什么SQL种类SELECTSQLSEL

7、ECT * FROM account WHERE age = 40执行结果SQLSTATE无Error Message无例2可疑的访问时间可疑的访问地址SQLSTATE 00000 连接成功性能增强1：In-Memor y功能同时支持行式数据和列式数据，支持OLAP业务的实时快速处理以及情报的实时活用利用VCI专用的共享内存进行 大规模数据的聚合处理，以避 免对既存OLTP业务的影响将列式数据同步至磁盘，即使 数据库业务重启，仍然能够保 持稳定的处理性能访问行式数据还是列式数据由 DB自动判断，作为应用端无 需意识两者的差异性能增强1：In-Memor y功能WOS与ROS的分离WOS与ROS

8、数据的组合性能增强2：并行检索在PostgreSQL的并行检索的基础上，可以自动选择最合适的并行数。通过防止资源冲突以提供稳定的性能，更有效率地执行定期的集约处理和批处理任务等Enterprise PostgresCommunity版本对于顺序扫描、结合、统计处理可以使用多个CPU核心进 行并行处理根据表容量和处理成本等因素决定并行数占有CPU核心后续的处理阻塞在并行检索的基础上，根据系统全体的CPU核心使用状况， 决定合适的并行数减少因过度的并行检索导致的性能低下Transaction1的处理时间虽然变长了 但是全体处理的时间进行了优化、缩短时间时间CPU核心有空闲，并行地开始Transac

9、tion2的执行高可用增强1：WAL二重化PostgreSQL预写日志WAL无多副本 ,当磁盘发生故障时，数据就会丢失。FEP通过复制WAL, 避免了这一情况。Enterprise PostgresCommunity版本在某些场景下，已经Commit的Transaction无法恢复可以恢复至最新的Commit完了的TransactionDatabaseBackup定期备份DataRecoveryData更新更新日志Disk损坏Disk1Disk2Archive LogDatabaseBackup定期备份最新DataArchive Log更新日志RecoveryData更新同步写入更新日志Dis

10、k损坏Disk2Disk1高可用增强2：DB二重化通过数据库的复制，在数据库系统发生异常时自动切换以维持业务的继续运行Primary Server的数据同步复制到Standby ServerPrimary Server和Standby Server相互监视运行和磁盘的状况在网络出现故障无法相互监视时，由仲裁服务器确认状态，实现自动切换Recovery时无需暂停业务Primary Server 同步反应Standby ServerPrimary Server发生异常时自动切换以维持业务继续运行DataData仲裁服务器监视相互监视监视高可用增强3：灾害对策强化遭遇大范围灾害时的业务可持续性。通过

11、确保Log的同步顺序保证Replication的继续，以及业务的稳定持续。通过保证运用Centre的Standby Server和灾备Centre的Primary候补Server间的Log同步顺序，防止出现灾害时，灾备Centre的Log被先行同步Fail-over发生以后，可以继续和灾备Centre保持复制，确保业务的持续Enterprise PostgresCommunity版本Standby Server复制灾备CentrePrimary候补Server更新业务异步Fail-over同步Database运用CentrePrimary Server切换运用中止相比Standby Serve

12、r Log已经先行同步 需要回滚Data更新 AAZZaazz使用Logaa使用LogzzStandby Server灾备CenterPrimary候补Server更新业务异步Fail-over同步Database复制Replication继续切换运用继续不会比Standby Server先行同步LogData更新 AAZZ使用Logaa使用Logaa运用CentrePrimary Serveraazz运用管理增强1：WebAdmin提供WebAdmin GUI管理工具，提高从数据库的导入到运用管理的全阶段的作业效率WebAdmin:Streaming Replication运用监视WebAdminSetupStreaming Replication Cluster的 作成和监视Database Backup/Recovery运用管理增强2：高速Loader根据内核数量和CPU的使用状况，使用尽可能多的并行进程加载大量数据该实用程序将数据从输入文件发送到多个并行工作程序，每个工作程序将同时执行数据转换，表创建和索引创建运用管理增强3：高速Backup通过备份文件的分散存储和存储设备的差分复制功能