数据基础架构设计-全生命周期管理-V1.0-20170710

数据基础架构设计及治理

——HPE

SDM议题说明：基于不同的数据治理场景，明确数据基础架构设计及全生命周期管理理念、从根本解决问题！简要说明HPE

SDM产品功能及收益！可从POC开始……诊断和分析……1.数据挑战及治理之道2.HPESDM产品部署及收益3.慧眼识真辨别数据价值4.交流、后续行动……议题说明：基于不同的数据治理场景，明确数据基础架构设计及全生命周期管理理念、从根本解决问题！简要说明HPE

SDM产品功能及收益！可从POC开始……诊断和分析……1.数据挑战及治理之道2.HPESDM产品部署及收益3.慧眼识真辨别数据价值4.交流、后续行动……面对系统不同角色有不同的声音……为什么我小王的数据小张能看到？系统还能再慢点嘛？新业务是不是可以尽快准备个测试环境？分析报告是不是可以考虑更多一些？?!……数据高速增长带来的挑战场景分类管理效能数据增量导致性能数据隐私保护数据优化，追加硬件提升并发处理能力；将生产数据库中的数据归档到历史数据库，生产数据库瘦身，控制成本提高效率……可自动化数据转换/变形/脱敏/漂白处理；系统数据清洗，保障数据不可见；……备份及恢复；构建与生产系统完全相同的数据测试子集；自动化、流程化作业；……融合分析数据融合架构，基于自然语言的信息审计、挖掘及分析；……数据治理整体解决方案罪魁祸首–数据的快速膨胀ProductionInactive

不活跃数据ERPSRMMESCRMWMSClone克隆Clone克隆Clone克隆Clone克隆Clone克隆MaintenanceCost

维护成本ApplicationPerformance

应用性能

Risks风险根据统一策略来管理?No根据统一策略来管理?No数据价值曲线及分类时间价值事务价值分析价值数据示例：报销单-〉审批-〉发放-〉归集/分摊数据示例：请购-〉采购-〉入库-〉发票-〉付款-〉银行出库-〉成本-〉销售-〉追溯事务处理价值分析价值合规性价值数据增量场景数据增长数据量1234不活跃或过期数据活跃的运行数据年份海量数据库中90%的非活跃或历史数据消耗80%的资源，拖累70%的系统性能和可用性合规性要求数据长期保留进一步恶化运行环境，给数据管理和业务优化带来挑战性能可用性稳定性根本解决之道传统方法：治标（叠加硬件）升级扩容、升级扩容、再升级扩容）成本：无休止支出成本（服务器器、CPU、Storage等）；养护成本（设备成本、维护费用、人力成本、调优）；风险：高水位运营加大宕机可能性，备份恢复窗口延长。根本解决之道：治本（瘦身）数据基础架构设计及治理。百病之源–肥胖数据膨胀；药方-瘦身，数据归档；数据基础架构设计及治理基于全生命周期管理XMLArchive活跃数据非活跃数据数据层应用透明层活跃数据在线交易ＯＬＴＰ

精简的数据库可控的数据增长和性能6个月-

2年2-7年7–25+年.XSD离线数据封装.XML过期离线数据长期归档保留支持标准接口访问搜索开放格式报表/BI工具

销毁数据保留终结信息退休销毁非活跃历史数据近线交易不断增长，不可更新可重新加载到生产库SAN物理层（服务器+存储层+……)高性能与可用性二级存储长期存储SAN议题说明：基于不同的数据治理场景，明确数据基础架构设计及全生命周期管理理念、从根本解决问题！简要说明HPE

SDM产品功能及收益！可从POC开始……诊断和分析……1.数据挑战及治理之道2.HPESDM产品部署及收益3.慧眼识真辨别数据价值4.交流、后续行动……HPE

SDM全面数据设计及治理解决企业数据困境HPE

SDM:

全面的信息管理解决方案HP

Structured

Data

Manager连同下列内置集成模块，为信息的全盘管理提供了无与伦比的灵活性：HPTRIM：按照公司和合乎法规的政策要求，对信息进行获取、管理、保护和处置HP

IDOL平台：提供基于意义的算法，拥有文本和上下文查询以及检索功能HP合并归档：集中存储机构性和非结构性数据，拥有先进的搜索、分类、挖掘、调查以及监控功能HP

Vertica：提供高超的分析性能，帮助您通过信息获取更好的商业洞察力HP云服务和亚马逊S3：最大限度利用存储空间，帮助您持续降低云的投资成本并提高投资回报率ConsolidatedArchive

整合的归档ArchiveArchiveSDM

Platform数据治理平台应用1App5App6App4App3App2源头应用数据库AppN…Multi-SourceEnvironments

SingleInstallation

多源头环境

单一安装统一治理设计Archive

归档WebConsole

控制台

安装安全性管理日常运作SharedRepos

共享管理库集中化的XML/CSVHPE

SDM一个平台，一个安装，支持多个应用维护在线和离线存储DBDBDBXMLDBDBDBXMLDBDBXMLDBLoadDBDBXML性能优化合规,应用退役,长期存储多级归档（完整生命周期）合规归档，基于事件加载到临时库Copy维护长期合规存储，删除归档DB记录ReloadbyArchiveRunorbyTransaction(DBtoDBonly)HPESDM典型部署场景HPESDM–持续优化和保持性能活动的数据不活动的数据活动的数据活动的数据活动的数据不活动的数据不活动的数据不活动的数据

历史数据在线On-Line硬盘里面副本备份克隆镜像不活动的数据不活动的数据保留对数据的访问本地应用程序可提供单一整合视图包含活动的数据和不活动的数据不活动的数据通过透明层保留本地访问应用程序

的功能通过检测/复制补丁对

随着时间推移进行的存档访问进行维护采用本地数据库技术分布式（即：多个数据库）或单一式实例

存档重新加载不活动的数据仅包含活动

数据HPStructuredDataManagerAppServer/ConsoleConfigurationManagementPolicyManagementJobEngine/SchedulerDataMovementJobMonitorArchiveAccessEngineServerPlatformDataMovementProcessDataMovementProcessSourceDatabasesOracleMSSQLServerSybaseDB2JDBC/ODBCCompliantMainframeDatabasesObscureDatabasesFilesOver300+SourcesSupported…AccessCloud目标(Compressed)Database(s)Files-XML&CSV-(NAS,SAN,etc)RecordsManagementVerticaACA(ComplianceArchive)CAS(ContentAddressableStorage)Cloud(HP,Amazon)DISPOSESubsetsHPESDM平台组件及部署架构IDOL10HPStructuredDataManagerAppServer/ConsoleConfigurationManagementPolicyManagementJobEngine/SchedulerDataMovementJobMonitorArchiveAccessEngineArchivingServerDataMovementProcessDataMovementProcessDesignerAccessCloudDISPOSESubsetsHPESDM平台组件及部署架构IDOL10AppServerWebConsoleCopyArchiveUndoReloadUploadRelocateSearchQueryRenderDesignDocumentExtendDatabaseArchiving=ApplicationArchiving数据库归档=应用归档DesignerModeling

设计器建模Classification

分类建模DataMovement

数据迁移DataAccess数据访问全部DB结构和应用逻辑建模功能Out-of-the-Box,不用编程和脚本编写SDM功能概要独立的图形设计环境独立设计器所见即所得的模式，实现更快、更少、良性循环为复杂的数据结构提供图形化的支持对样本数据的实时验证降低了QA的要求嵌入式Groovy控制台允许使用脚本重复的任务与企业文件计划相结合

数据建模数据提取脚本数据转储脚本建模模型设计模型输入数据结构分析：业务数据关联关系分析归档线索/条件分析SDM数据模型映射：数据模型按照业务功能模块拆分图形化设计器关联数据结构完成模型录入WorldClassRun-time

世界级运行归档平台DatabaseArchivingPlatformRepositoryNativedatabase/fileprotocolChangeManagementDataIntegrity&RecoveryJobEnginePolicyManagementDataMovementAPI’sPatent专利Classification

分类建模DataMovement

数据迁移DataAccess数据访问全部DB归档排程和工作流Out-of-the-Box,不用编程和脚本编写SDM功能概要AppServerWebConsole

简化操作：一处安装，支持多个数据源（Oracle、TeraData、Files）安全、集中脱敏完备的权限、用户管理离线和在线归档内置计划任务多任务多权限控制高性能特征:完全是事务性的数据脱敏大容量数据存档，分区的数据脱敏移动并发数据脱敏移动支持深层逻辑链基于WEB的运行环境KeyChallengesBusinesstransactionrelationshipsbroken-Datacorruption!ApplicationfailsoritproducesinconsistentresultsFinancialreportsinaccurateUserscannotbeonline,requiresoutageRestartrequiresaadditionaloutagetoreloadbothdatabasesfrombackupsPOHeadersPOLinesPODistributionsPONotesRCVShipmentHeadersRCVShipmentLinesPOHeadersPOLinesPODistributionsPONotesRCVShipmentHeadersRCVShipmentLinesRelocationCompletedSafelyOracleDBRollbackCompletedSafelyFAULT!OracleDatabaseRollbackInvokedBusinessrecordswithoutdetailOrphaneddetails常见手工脚本－通过数据表迁移数据POInvoiceCheck常见手工脚本－Chaining连锁交易KeyChallengesBusinesstransactionchainsignored!VendorsoffsetthisbyproposingartificiallyhighretentionperiodsLessdatarelocatedIncreasesTCOPOInvoiceCheckPO1PO2Inv4PO3Inv5Chk6PartialPaymentPO1PO2Inv4Chk6PO3Inv5通过业务交易关联迁移数据KeyBenefitsDataIntegrity,DatabasesareNEVERcorrupt!Doesnotrequireandoutage,canberunwithusersonlineRestartfrompointoffailure,noreload/restorenecessaryTransactionchainspreservedPOHeadersPOLinesPODistributionsPONotesRCVShipmentHeadersRCVShipmentLinesPOHeadersPOLinesPODistributionsPONotesRCVShipmentHeadersRCVShipmentLinesRelocationCompletedSafelyDBRollbackCompletedSafelyFAULT!DatabaseRollbackInvoked完整的数据对象作业处理GL_JE_CATEGORIES_TLGL_JE_SOURCES_TLGL_ENCUMBRANCE_TYPESFIND_CURRENCIESGL_JE_BATCHESGL_JE_HEADERSGL_JE_LINESGL_IMPORT_REFERENCESGL_JOURNAL_REPORTS_ITFGL_ALLOC_BATCHESGL_ACCOUNT_HIERARCHIESGL_ALLOC_FORMULASGL_PERIODSGL_PERIOD_SETSGL_PERIOD_STATUSESGL_SETS_OF_BOOKSGL_CODE_COMBINATIONS归档并且需要删除的数据需要归档但不需要删除的数据无需归档的数据作为字典表归档的数据FullRangeofOptions

多种特点选项Transparency透明访问CombinedReporting™合并报表Enterprisereportingtools企业级报表工具Search搜索Long-termsurvivability长期可用XMLXSDApplicationAccess

应用透明访问ReportingTools

报表工具Classification

分类建模DataMovement

数据迁移DataAccess数据访问Patent专利SDM功能概要统一透明视图----独特技术归档后产生的新查询连接串标准存取数据应用存取，查询数据利用SDM数据库归档解决方案的独特技术,不需应用开发，仅需调整应用连接串切换到归档职责即可拥有统一的应用访问在线及历史的数据库。在线数据库归档后的历史数据库数据展现主要内容：初次归档成功后，SDM通过联合视图方式，自动创建数据透明层结构；SDM归档软件归档数据展现功能测试；通过定制化归档数据查询平台，实现针对归档数据复杂的展现需求；数据透明层联合视图联合视图SDM归档数据展现功能测试定制化归档数据查询平台说明：初次归档成功后，SDM通过联合视图方式，自动创建数据透明层结构；SDM归档软件归档数据展现功能测试；通过定制化归档数据查询平台，实现针对归档数据复杂的展现需求；SDM数据库治理支持环境归档服务器平台AIX,Solaris,HP-UX,Windows,LINUX，等等其他操作系统，运行同版本数据库-AS400，IBM大机及所有其他机器（通过附加一台归档服务器）数据库Oracle8.1.7,9i,10g,11gSQLServer2005,2008…..SybaseASE12，15以上；JDBC/ODBC兼容数据库,如Informix及MySQL等等现成提供归档模块的应用OracleEBS10,11i,R12(财会，制造和供应链）所有模块PeopleSoftERP,JD.EdwardERPSiebelCRMActivities(S_EVT_ACT)，Opportunities(S_OPTY)，ServiceRequests(S_SRV_REQ)，Agreements(S_DOC_AGREE)，Quotes(S_DOC_QUOTE)

等等及Sales模块AmdocsBOSS客户自己或ISV伙伴的应用（适合通过渠道VAD)HPDBAV6.x全新业界最先进Designer全图形化归档模块和透明访问层开发，不用任何编程和归档平台的API调用利用现有Designer对已开发的模块进行修改（全图形化操作），以快速跟上用户应用的修改，不用编程。只有SDM独家支持–秘籍OracleEBSR12Subledger数据的归档HPESDM功能总结D2DD2FD2D2F数据复制功能数据归档功能数据回滚功能数据重载功能数据脱敏数据映射可编程接口场景基础功能拓展功能主要功能内容：三大典型归档场景；基础归档功能；拓展归档功能；归档管理功能；归档数据压缩动态参数配置说明：SDM软件能够实现不同归档场景下数据的快速拷贝、移动；能够针对归档数据进行映射、加密和压缩；能够实现运维与设计分离；能够实现归档任务自动调度；能够实现图形化进度监控；归档调度………变化数据结构归档归档监控多用户管理管理功能结果…一劳永逸批处理运行总时间应用程序数据(GB)数据增加产生的影响可预测的持续性能在线归档第二阶段的调整在企业应用环境中提供高效的数据增长管理，提供可持续、可预测的性能降低IT基础设施成本及改进可管理性（备份/恢复，DR）加速并简化测试和开发，符合数据保留法规要求全图形化开发工具，不用编程，不用调用归档API平台化企业级归档工作引擎，系统出错宕机可以自动断点重新恢复归档作业，其他平台出错时候需要人工干预支持图形化定义连锁交易（TransactionTraining）不用编程，其他平台需要编程，复杂和容易出错。SDM优势总结竞争优势市场份额SDMOracle归档世界市场份额第一；OracleEBS归档份额第一；Oracle客户化应用归档份额第一SDMOracle归档亚太及日本区市场份额第一；OracleEBS归档份额第一；Oracle客户化应用归档份额第一（总超过50个）支持OracleEBS10,11i,12i所有模块归档格式支持DB到XML或CSV开放式文档的归档（有5-10倍压缩，多文件及包含索引）可以通过JDBC/ODBC/Xquery快速访问：竞争对手是只有DB到专用格式二进制不开放归档格式支持DB到DB归档查询历史DB