激活企业价值-Oracle全面大数据技术和数据中心安全管理

激活企业价值Oracle全面大数据技术和数据平安管理乔梁OraclePrincipalSalesConsultant议程Oracle企业级大数据战略Oracle全面大数据技术激活企业价值数据平安的挑战和Oracle整体解决策略Oracle平安管理解决方案和零数据丧失一体机ZDLRA12234企业采用大数据面临的挑战融合关注新数据，融合全数据，深入的洞察力创造更大价值Hadoop/NoSQL需要与现有数据架构相融合，避免形成另一个“烟囱”架构开发快速响应业务的需求，加快上线，支持业务创新和提高竞争力Hadoop/NoSQL等开源技术开发困难，IT人员需要新的技能和经验积累安全法律法规遵从的要求；避免数据泄漏，防止负面事件响应企业形象，Hadoop/NoSQL等开源技术需要遵从企业IT的合规、审计和安全要求集成更关注在端到端的业务流程和模型，IT人员总量相对控制，不会大幅度扩张大型Hadoop/NoSQL集群的建设、管理维护的难度和复杂性很高业务部门IT部门3Hadoop/NoSQL等开源技术开发困难，IT人员需要与传统数据库不一样的技能和经验积累，这是目前很多企业IT还不具备的Hadoop/NoSQL等开源技术需要遵从企业IT的合规、审计和平安要求，这方面的能力是开源技术还不完备的增加大数据到现有架构是非常复杂的，大型Hadoop/NoSQL集群的建设、管理维护的难度和复杂性很高开发融合平安集成Oracle企业级大数据战略SQL管理获取组织分析决策行动4数据快数据事件行动123流全数据管理贮藏池工厂仓库结果人数据科学智能设备数据实验室数据科学发现数据集应用打包自定义业务分析可视化报告Oracle提供全面的大数据解决方案全数据管理平台支持企业全数据的存储，组织和分析开发融合安全集成全数据管理5Exadata

企业应用/数据仓库统一的数据资源池BigDataAppliance

分布式大数据平台新型数据业务数据15TB/hour10xFasterOracle解决方案支持构建企业全数据池助力企业全数据获取和组织，集成和管理OracleBigDataConnectors商业化HadoopOracleROracleNoSQLDBOracle数据库内存选项/多租户高级分析地理和图形选件OracleBigDataSQLOGGODIOGGODI开发融合安全集成6更快的上线和投入使用，相同的技术，支持根据需要进行迁移Oracle大数据云效劳开发融合安全集成专用的专有的实例交付持续化高性能相互不会干扰有弹性的从小开始，根据需要扩展平安的扩展Oracle数据库平安到Hadoop和NoSQL全面的包括：集成工具，R，地理和图形选件，大数据连接器等OracleBigData

CloudServiceOracleExadata

CloudServiceOracleBigData

SQLCloudService7NoSQLDBHadoopHDFS2

YARN

Batch(MapReduce)Other(Search)(In-Mem)BigdataSQLPlugIn社交网络数据电商访问日志客户行为记录OracleBigDataSQL支持统一访问全数据Oracle数据库

客户产品财务订单CRM/财务/ERP利用数据库平安，实现数据治理性能优化：并行，存储索引，本地数据过滤，最小化数据移动丰富的SQL支持，利用现有技能同时查询大数据和关系型数据文档OracleBigDataSQL开发融合安全集成8OracleDatabaseOracle高级分析支持全数据的挖掘分析NoSQLDB+Hadoop数据挖掘R企业版图形化界面，内置多种算法，易于使用可编程的，灵活，提供企业级特性Oracle高级分析可扩展的并行数据库内执行库内数据直接装载全线商业化支持集成商务智能展现工具合理的本钱投入获得最正确业务受益节省传统分析解决方案数小时、数天或数周数据提取数据准备和

转换

数据挖掘

模型构建

数据挖掘模型“计分”数据准备

以及转换

数据导入模型“计分”嵌入式数据准备数据准备模型构建Oracle数据挖掘/R企业版数秒、数分钟或数小时OracleBigDataSQL/BDC开发融合安全集成9Oracle大数据一体机的数据平安性使用Kerberos提供强身份验证，确保了所有用户身份的真实性

采用ApacheSentry支持对Hive等工具的SQL访问进行授权提供透明的网络加密和静态数据加密功能支持集成OracleAuditVault和DatabaseFirewall，确保平安性和实现数据访问合规性。为Hadoop平台的数据提供企业级平安特性开发融合安全集成10在Hadoop&NoSQL上应用高级平安11相同的平安策略，应用于Hadoop和Oracle数据库OracleDatabase12cSmalldatasubsetquicklyreturnedHadoop编辑的数据子集SQLHadoop上未转化的JSON数据

JSONOracle中的客户数据

DBMS_REDACT.ADD_POLICY(object_schema=>'txadp_hive_01',object_name=>'customer_address_ext',column_name=>'ca_street_name',policy_name=>'customer_address_redaction',function_type=>DBMS_REDACT.RANDOM,expression=>'SYS_CONTEXT(''SYS_SESSION_ROLES'',''REDACTION_TESTER'')=''TRUE''');数据编辑虚拟私有数据库细粒度访问控制开发融合安全集成11软硬一体化集成设计，躲避开源自建高风险全栈调优、最正确实践、性能卓越完整的非结构化数据存储/计算/管理/分析/挖掘/整合的平台快速上线部署，缩短工程周期全线商业支持，简化后期维护与数据库生态系统极佳融合企业级的平安管控方便的水平扩展，适应长远开展绿色环保，高密度存储，占地面积小开发融合安全集成Oracle提供软硬件一体化的Hadoop平台集成的软件：OracleLinux和OracleJavaVMCloudera商业化Hadoop版本及选件ClouderaManagerOracleROracleNoSQL数据库硬件：

18台SunPC效劳器，每台2个18核2.3GHzIntel®Xeon®E5-2699v3，总648核，128GB内存，总2304GB内存，12块4TBSAS盘，总864TB存储容量内置40GbInfiniBand交换机用于管理的万兆交换机12大数据管理大数据连接器围绕着大数据平台提供完善的生态系统OracleRAdvancedAnalyticsforHadoopOracleXqueryforHadoopOracleSQLConnectorforHDFSODIApplicationAdapterforHadoopOracleLoaderforHadoop开发融合安全集成BigDataSQLODI第三方数据库数据仓库Oracle数据库/数据仓库Exadata第三方挖掘和BI工具GlodenGateforHadoop管理和监控EnterpriseManager元数据OEMM数据质量OEDQ第三方数据库平安和审计内存选项数据库云OBIEE高级分析OAA13统一SQL访问全数据。丰富的SQL语法支持，高性能数据访问，重复利用已有工具和技能，快速开发和上线，加快分析成果转化，提高竞争力。结构化和非结构化数据统一平安管控。帮助企业构建统一的数据平安体系。防止数据泄漏，增强访问审计。保证数据平安，降低风险。工程化系统开箱即用，简化架构和管理。生态系统完善，提供一系列商业化成熟工具支持，提供企业级特性支持，总体拥有本钱低。企业全数据管理平台。支持结合结构化和非结构化数据，进行探索，分析和挖掘。预测更准确，洞察更深入。更好支持业务，增加收入。开发融合平安集成Oracle大数据带来的价值14议程Oracle企业级大数据战略Oracle全面大数据技术激活企业价值数据平安的挑战和Oracle整体解决策略Oracle平安管理解决方案和零数据丧失一体机ZDLRA121534技术RapidStart

Packs

AcquireOrganizeAnalyse/Decide-NoSQL-RealTimeDecision-BigDataSQLBigDataConnectorsBigDataAppliance-AdvancedAnalytics-EndecaInformationDiscovery架构ininInnovation

WorkshopsBigData

&AnalyticsInformationManagementDeepDiveinRoadmap&Blueprint方案DiscoveryLabDataFactoryEngineAppsStore

forOracleBDADWOffloadData

ReservoirFastDataBigDataCompetencyCenters咨询服务Oracle大数据相关咨询效劳16Oracle全数据管理平台的应用数据全数据管理贮藏池工厂仓库快数据数据实验室应用业务分析结果扩展数据仓库利用新的选项，Hadoop等技术工具提升数据仓库性能和增强挖掘分析能力活动归档保持更多数据在线，支持分析和报告完整的大数据管理系统集成Hadoop和数据仓库，提供强有力的全数据管理基础平台17全面的大数据管理系统构建企业级根底全数据管理平台完整的BDMS数据源数据贮藏池数据仓库OracleDatabaseOracleIndustry

ModelsOracleAdvancedAnalyticsOracleSpatial&GraphOracle大数据一体机Apache

FlumeOracleGoldenGateOracleEvent

Processing商业化Hadoop

OracleNoSQL

OracleRAdvancedAnalyticsforHadoop

OracleRDistributionOracleDatabaseIn-Memory,Multi-tenantOracleIndustryModelsOracleAdvanced

AnalyticsOracleSpatial&GraphExadataOracle

GoldenGateOracleEvent

ProcessingOracleData

IntegratorOracleBigData

ConnectorsOracleData

IntegratorORACLEBIGDATASQL问题处理新数据和传统数据数据统一视图数据发现和高级分析方案BDA/Hadoop和Exadata/DB结合，构建统一的“数据资源池〞业务价值提高数据利用率，最大化数据价值简化架构和管理，节省本钱加强数据平安和保护，降低风险18扩展数据仓库降低数据仓库负载，加速数据准备和分析能力扩展数据仓库问题现有DW不堪重负处理时间长方案使用BDA/Hadoop进行ETL卸载/复杂处理分析卸载业务价值更快的性能更深入的洞察更高的性价比延迟昂贵硬件的升级19活动归档以低本钱保持更多数据在线且可用移动分区/磁带数据到BDAOracleBigDataSQLRolling13

monthsMonth14-n活动归档问题满足合规要求传统存储方式本钱过高方案保存历史数据在BDA，通过BigDataSQL进行统一访问业务价值满足合规要求合理的性价比无需改写程序20Oracle平台和产品Oracle咨询效劳信息管理全数据大数据发现内存选件BigDataSQL企业级业务价值

快速启动框架完整的套件全堆栈/工程化系统应用场景解决方案案例参考总结：Oracle全面大数据技术激活企业价值端到端整体解决方案+大数据咨询效劳指导落地21议程Oracle企业级大数据战略Oracle全面大数据技术激活企业价值数据平安的挑战和Oracle整体解决策略Oracle平安管理解决方案和零数据丧失一体机ZDLRA122234平安事故不时发生……信息平安不是“会不会〞的问题，而是“什么时候〞AT&TPayPalBofAGoogleFannieMaePeople’sBankofChinaBestBuyCitibankSony…防火墙只能解决外部问题，无法解决内部数据平安隐患应用平安〔应用身份认证等〕客户端/Web应用攻击〔木马，饱和攻击等〕网络平安〔窃听等〕导出文档备份数据数据文档数据平安定位目标敏感数据“看不见〞核心数据“拿不走〞运维操作“能审计〞多种目的驱使的攻击涉及多个层面,但致命的却是攻击数据防火墙不是万能的！数据平安整体策略评估体系建立数据平安评估体系安全层次建立多层次多阶段的立体防护完善数据库运维管理的制度体系制度体系数据平安评估体系

说明：0.无方案(noplan)1.初始态(initial)2.待完善(marginal)3.稳定态(stable)4.经验态(bestpractice)5.完美态(transformational)泄漏敏感数据的风险被违规篡改数据的风险责任不清的风险免费提供：数据平安最大化体系/数据加固轻咨询效劳〔1周〕评估和打分建议和原型数据平安多阶段立体防护事前防范事后审计事中告警事中拦截完善数据库运维管理的制度体系

标准对应的数据管理职责划分数据库审计员数据库管理员数据库安全员负责数据库管理和运行维护负责操作行为审计、跟踪和分析日志分析、报告和取证制定平安策略日常平安巡查日志分析和权限管理议程Oracle企业级大数据战略Oracle全面大数据技术激活企业价值数据平安的挑战和Oracle整体解决策略Oracle平安管理解决方案和零数据丧失一体机ZDLRA123034符合标准内容要求的产品和解决方案数据等级保护标准Oracle数据管理解决方案信息平安等级保护标准源于国标总体确定网络，数据库等方面平安标准数据平安等级保护标准五级保护数据容灾备份等级保护标准六个等级根据三个等级保护标准技术条款建立Oracle匹配方案Oracle针对中国信息平安等级的数据中心平安解决方案

Oracle数据中心平安解决方案事前防范事后审计事中告警事中拦截透明数据加密（AdvancedSecurity）安全备份（SecureBackup）数据库防护罩（DataMasking）标签安全（LabelSecurity）事先防范：数据加密，通讯加密，备份加密，数据屏蔽，职权别离，数据分级Oracle数据中心平安解决方案事前防范事后审计事中告警事中拦截数据库防火墙（DatabaseFirewall）数据库加固（DatabaseVault）事中告警：根据黑名单、白名单策略，以及多因子访问控制规那么的设置，发现非法访问，实现实时告警Oracle数据中心平安解决方案事前防范事后审计事中告警事中拦截数据库防火墙（DatabaseFirewall）数据库加固（DatabaseVault）事中拦截：敏感数据操作拦截，非授权IP和非办公时间操作拦截，危害操作拦截，可疑操作拦截，SQL注入拦截Oracle数据中心平安解决方案事前防范事后审计事中告警事中拦截数据库审计〔AuditVault〕数据库安全配置管理

（LifecycleManagement）事后审计：数据更改审计，数据库配置更改审计，追踪审计，机器行为追踪审计，权限审计Oracle数据平安解决方案特点及优势数据库加固数据库防护罩安全配置管理透明数据加密标签安全数据库审计安全备份数据平安整体架构和评估体系端到端解决方案Oracle原生支持紧贴数据库，无法绕行攻击随数据库自动升级数据库防火墙方案特点无需开发配置即可两到三周方案优势Oracle原厂支持〔ACS〕合作伙伴支持东软，上海万达…山大地纬，易联众，旭方道信….方案落地典型数据平安部署架构示意图Oracle实例1中间件效劳器1中间件效劳器2中间件效劳器…软件开发商金保系统信息技术管理处业务人员Oracle实例2数据库加固DatabaseVault透明加密AdvancedSecurity数据库防火墙DatabaseFirewall数据库审计AuditVault平安备份SecureBackupActiveDataGuard容灾解决方案查询，备份压力卸载GoldenGate真双活数据复制支持异构灾备中心RMAN,OracleSecureBackup,ZeroDataLossRecoveryAppliance支持备份到磁盘，磁带或云EnterpriseManagerCloudControl协调容灾切换应用连续性应用端高可用GlobalDataServicesServiceFailover/LoadBalancingRAC可扩展性效劳器端高可用ASM本地存储保护主生产中心Flashback人为误操作保护OracleMaximumAvailabilityArchitecture〔最高可用架构现状〕38全方位立体式数据库保护解决方案！确保关键业务数据库数据万无一失！新Oracle数据库的数据可用性和数据保护自动数据块修复,保证应用系统零宕机时间备份数据库可以用于查询、报表生成，测试，及备份ActiveDataGuard

允许对实时数据进行查询ActiveDataGuard备份数据库主数据库Oracle活动数据卫士〔ActiveDataGuard〕

最正确的数据保护

同步/异步Redo日志传送Oracle优化的数据保护细节

基于日志的复制基于存储系统和操作系统的复制只是单纯的复制数据位，而不了解数据的内容与含义

主数据库的数据损坏必定会被传播到复制端

ActiveDataGuard是基于重做日志(redolog)的复制根据已定义的结构和语义传递对于数据的更新操作，可以检测对于数据的操作是否有效

可以阻止数据损坏的传播ORA-00600:internalerrorcode,arguments:[3020],..

ORA-10567:Redoisinconsistentwithdatablock(file#4,block#315)

ORA-10564:tablespaceTRANS1

ORA-01110:datafile4:'O:\ORADATA\TBS01.DBF‘Oracle优化的数据保护细节

Oracle重做日志这不仅是一组零散的数据位每一个数据域的值都可以被检测是否在有效范围之中

前后记录之间是有关联的

ActiveDataGuard可以检测：重做日志记录是否有效对于数据的操作是否有效被操作的数据是否有效REDORECORD-Thread:1RBA:0x00003e.0000d188.01b0LEN:0x07c8VLD:0x01

SCN:0x0000.00d6ca18SUBSCN:

104/30/200721:06:42

CHANGE#1TYP:0CLS:67AFN:3DBA:0x00c1fbb1OBJ:4294967295SCN:0x0000.00d6ca15SEQ:

1OP:5.2

ktudhredo:slt:0x0007sqn:0x00000000flg:0x000asiz:120fbi:0

uba:0x00c05098.0004.01

pxid:

0x0000.000.00000000

CHANGE#2TYP:1CLS:68AFN:3DBA:0x00c05098OBJ:4294967295SCN:0x0000.00d6ca17SEQ:

1OP:5.1

ktudbredo:siz:120spc:0flg:0x000aseq:0x0004rec:0x01

xid:

0x001a.007.00000013Oracle优化的数据保护数据保护大多基于比较多份数据版本,以确保各个版本的一致性.例如:磁盘镜像,校验码比较存储系统与第三方数据保护方案所看到的只是零散的数据位操作系统、文件系统、及存储系统都无法区分Oracle数据块是否有效，甚至不能判断其是否存储任何数据只有Oracle了解数据块内部的逻辑结构，能够做更好的检查,可以在不同的数据版本之中挑选出正确的版本.$!$%%!#@!!!$*&^@/^$++%!$94999yrw^北京市朝阳区景华南街5号远洋光华中心目前没有专门为数据库保护而设计的备份解决方案只是把数据库当做文件周期性拷贝43每天备份窗口压力给生产性能带来很大影响数据丧失风险丧失最后一次备份以来的所有数据管理繁杂的系统扩展需要部署更多的备份设备糟糕的数据库可恢复性数据库以文件形式被复制但其可恢复状态无从可知数据保护：还是一个复杂沉重的任务数据保护最大挑战是什么?Topone:备份和管理越来越多的数据量44Ref.OracleDatabaseAndDataProtectionSurvey(200ITprofessionals),January2021备份太慢时间太长备份需要持续管理复杂恢复过程生产性能受到影响协调多个备份ZeroDataLossRecoveryAppliance

零数据丧失恢复一体机45需要一次技术革命！颠覆传统数据保护技术！确保关键业务数据库数据万无一失！46DELTASTORE存储经过校验和压缩过的数据库改变数据使用delta快速恢复到任意时间点基于Exadata架构体系统一EM管理：端到端可视性和管理ZeroDataLossRecoveryAppliance(ZDLRA)DELTAPUSH数据库只访问和传输变化数据对生产影响最小化实时日志传输实现秒级以下数据丢失需要备份Oracle数据库保护数据中心所有Oracle数据库规模成百上千个数据库PB级数据保护，版本10.2.0.4以上无昂贵备份软件成本磁带库自动磁带归档卸载磁带复制压力全天利用磁带库资源容灾复制到远程ZDLRA或OracleCloudZeroDataLossRecoveryAppliance概述47RecoveryAppliance:备份领域一次技术革命影响最小的备份技术生产数据库只传送变化数据，所有备份处理和磁带复制压力被卸载消除数据丧失风险Real-timeredoshipping提供即时保护每一个transaction〔事务〕云级别数据保护使用大规模可扩展效劳轻松保护数据中心所有数据库数据库级可恢复性端到端的可靠性，可见性和单一管理数据库控制台，极大简化管理基于DataGuard技术保护数据库48通用Bit-Copy备份设备每天备份一次数据丧失风险：最后一次备份以来所有transactionZeroDataLossRecoveryAppliance基于DataGuard技术连续实时传送redo，从内存缓冲区立即传送每一个新的transactionProtected

Databases数据丧失客户固然很难容忍更糟糕的是可能会造成数据库恢复一致性问题49国际标准SHARE78七级灾难备份方案

RTORPO数据丢失情况灾备中心备份方式数据更新/恢复主机Tier172hrs以上24hrs几天乃至几星期的数据丢失无磁带磁带关机Tier224-72hrs24hrs数据丢失量1天以上专有的磁带磁带关机Tier312-24hrs文件级数据丢失量1天以内专有的电子文件，定时的活动Tier44-12hrs日志级几个小时的数据丢失专有的电子文件或日志，时间段活动Tier52-4hrs交易级只允许少量数据丢失专有的电子数据，软件活动Tier630-60min交易级没有或基本没有数据丢失专有的电子数据，系统/硬件活动Tier730-60min交易级0数据丢失专有的电子数据，系统/硬件活动最正确效果实现国际标准SHARE785.5级！！50RecoveryAppliance:备份领域一次技术革命影响最小的备份技术生产数据库只传送变化数据，所有备份处理和磁带复制压力被卸载消除数据丧失风险Real-timeredoshipping提供即时保护每一个transaction〔事务〕云级别数据保护使用大规模可扩展效劳轻松保护数据中心所有数据库数据库级可恢复性端到端的可靠性，可见性和单一管理数据库控制台，极大简化管理，极大简化管理Delta-Only架构不再需要全备份：只做永久(Incremental-Forever)增量备份DeltaPushDeltaPushSource源端重复数据删除〔消重〕加速增量备份 -不再读重复block-不再传送重复block对已提交的transaction消除UndoBlock消除UnusedBlockDeltaStore备份管理只存储变化数据block-level压缩只复制Delta到容灾ZDLRAProtectedDatabaseCompressedDeltaStore大幅度降低数据库I/O&网络资源占用ChangeDataNomorefullbackups,

onlychangesDisasterRecovery51“虚拟〞全备份大幅度提高存储效率完成一次全备份之后，每天增量备份用于创立虚拟全备份花费增量备份时间，基于指针呈现物理全备份虚拟备份通常节省10倍存储空间尽可能消耗更少的存储空间保存更长久的备份数据DeltaStoreProtectedDatabasesDayN

IncrDay1VirtualFullDayNVirtualFullDay1

IncrDay0

Full52不再需要全备份：

永久增量架构快速恢复到任意时间点合并备份与生产效劳器无关直接恢复任意虚拟全备份高效检索虚拟全备份需要的所有block消除传统恢复和合并增量备份所带来的生产效劳器的开销底层硬件架构扩展性和性能支撑虚拟全备份所带来的计算压力以OracleExadata硬件架构为根底53DeltaStoreProtectedDatabaseRESTOREDATABASE

TODAY‘N’Day0

FullDay1

IncrDayN

IncrDay‘N’FullBackup备份影响降到最低：提高生产效劳器性能卸载备份处理,消除昂贵的备份代理,减少网络负载DatabaseServerTodayPerformancedegradeswithbackupsDisk/Tape/DedupeBackupAgentsBackupOperations:Merge,Compress,Validate,Delete,Full/TapeBackupsPerformanceimproveswithbackupoffloadDatabaseServerwithRecoveryApplianceDisk/Tape/DedupeBackupAgentsBackupOperations:Merge,Compress,Validate,Delete,Full/TapeBackupsX54DeltaPush接收数据时验证数据周期性的再次验证在恢复中过程验证备份数据在远程站点的ZDLRA接收、恢复过程中和周期性验证复制和读取磁带备份数据副本时验证TapeArchiveRemoteReplicaProduction

Appliance端到端确实保备份数据的可靠性端到端的跟踪和验证数据库格式55统一端到端控制和管理ZDLRA管理员集中监控和管理备份作业数据库管理员监控在磁盘到磁带