Oracle非结构化数据管理方案交流

1、Oracle非结构化数据管理解决方案 石油与天然气行业未来发展的五个特点创新全方位创新：从技术创新、产品创新，商业模式创新到组织架构创新无所不包从规模化生产向大规模定制、个性化生产的转型，从生产型制造向服务型制造的转型，从要素驱动向创新驱动的转型。转型互联将勘探开发、油气生产、设备、生产线、工厂、供应商、产品、客户紧密地连接，所有的装备、软件、硬件、网络都是围绕如何提升人的效率、为人服务集成开发、设计、生产、运营、管理、服务的纵向集成;以及供应商和销售商信息的横向对接。数据海量数据：勘探数据、运营数据、管理数据、空间数据、研发数据，及时、准确、完整，更精确、高效、科学的管理决策智慧油田是促油田

2、企业转型的重要基础海量数据：勘探数据、运营数据、管理数据、空间数据、研发数据，外部数据众多系统：运用互联网思维，借助互联网、物联网、云计算、移动互联网、大数据等信息技术手段，实现油田经营模式转变，提升油田智能管理水平，形成一个自动化、智能化的油田。基于创新技术的数字化平台则是支撑重要数据、系统、流程的支撑环境。数字化平台需具备高效、稳定、可靠、安全、易于扩展等特性和能力。稳定可靠高效性云能力业务洞察力可扩展性易于管理Oracle Confidential Internal4业务与信息化发展给企业应用带来新的考验企业应对新考验的同时，之前的问题并未消失，而且变得更加凸显和激化！集团化管控大集中部

3、署架构下的决策支持、绩效管理、财务管理、人力管理、集采管理等给应用系统以越来越大的压力技术创新不断增加的成本压力不断增长的劳动力、原材料和研发成本,企业需简化管理运营，降低成本。部分企业应用转向订阅模式“云计算”、”大数据”、”物联网”、”移动化”等 为企业提供更多的创新理念和技术手段企业并购与海外扩张通过合并与国际化实现转型与升级。并购扩张后的跨部门和地域的资源共享与供应链协同、海外业务具备本地化服务能力等传统企业向互联网转型以客户为中心，实时获取客户需求，掌控渠道状况和订单信息，整合勘探、生产、空间，前台与后台的全流程加速企业应用建设需双管齐下 应用为先架构为先关注应用的特异性业务逻辑与技

4、术紧耦合每个应用建设均需考虑所有环节需解决信息孤岛问题需考虑标准化求同成本 关注平台的整体性业务逻辑与技术松耦合初期规划任务重，后续部署简单消除信息孤岛需注重差异化存异成本满足应用&平台需求Oracle Confidential Internal6Oracle带来石油与天然气行业完整IT解决方案为业务增长和拓展提供更多选择 端到端的石油与天然气行业全套解决方案，提供从硬件设备到领先的应用软件 为上中下游业务提供更快的创新能力支撑 更好的信息化性能、可靠性和安全 更低的总拥有成本 以下领域或产品在石油与天然气行业排名第一：数据库应用服务器（中间件）Primavera (P3 or P6)Hype

5、rion (预算、合并)Siebel (客户关系管理)Oracle解决方案帮助企业管理石油与天然气生命周期智能油田绩效，风险与贸易管理实时智能运营客户关系管理上游卓越服务卓越供应链战略规划健康安全环保企业基础设施资产全生命周期建设维护供应商务智能中游财务管理与控制项目组合管理下游智能管道主要内容石油化工行业非结构化数据管理现状Oracle非结构化数据管理解决方案Oracle非结构化数据管理最佳实践总结-云架构下的全数据管理123Oracle Confidential Internal/Restricted/Highly Restricted84企业的数据类型Yearly Data Growth

6、* Gartner & IDC Estimates在一个典型的企业中，结构化数据是大约占20半结构化、非结构化数据占有80数据增长、膨胀迅速Audio, VideoVector, SpatialSQL DataDocumentsImage DataXML DataEmails, IMUnstructured 65%Structured20%Semi-Structured15%当前油气行业非结构数据现状中游炼化工程下游销售板块 上游勘探开发数据管理加油站管理监控信息，来自于加管系统软件录入。CRM客户关系系统客户图片信息，来自于零管系统软件录入。炼化工程设计文本文档，来自于工程设计软件实时采集数

7、据，来自于传感器软件地震地质数据，来自于上游应用软件油藏模拟数据，来自于上游应用软件勘探工程设计文本文档，来自于工程设计软件 办公公文流转数据，来自于OA软件导入内容管理平台数据，来自于平台采集录入当前油气行业非结构数据梳理非结构化数据海量数据存储+价值信息数据管理面向海量数据存储，建议采用大数据方案水平扩展，低成本存储收集任何数据大数据语言分析应用单体文件数据量很大面向价值数据管理，建议采用数据库文本管理方案水平扩展和垂直扩展数据文件本身具有价值安全性和高可用需要全文检索能力传统关系型SQL语言单个文件数据量小当前企业非结构数据管理现状企业需要高效、安全的管理这些类型的数据：结构化半结构化非

8、结构化XML PDF文件系统的简便性及其性能使得企业偏向于采用文件系统来存储半结构化或非结构化数据，而将关系型数据则存储在数据库中主流数据库支持将文件数据存储在数据库性能是很多用户关心的问题文件与关系型数据共存Oracle Confidential Internal13很多应用中，文件和关系型数据相伴而生例如：文件管理系统，地震信息系统，测井数据，图像系统两种数据类型的分开管理损害了安全性，健壮性以及可管理性互相孤立的安全/审计模型数据的更改无法保持原子性备份和恢复也需要分别进行很难实现涉及到关系型数据和文件数据的查询空间管理很复杂需要不同的接口和协议一套应用需要两套数据管理方式，对应用来说就

9、太复杂了!Oracle数据库非结构化数据管理新功能Oracle Confidential Internal/Restricted/Highly Restricted14ImagesNew in Oracle DatabaseSecureFilesRFIDDICOM3DBinary XML主要内容石油化工行业非结构化数据管理现状Oracle非结构化数据管理解决方案Oracle非结构化数据管理最佳实践总结-云架构下的全数据管理123Oracle Confidential Internal/Restricted/Highly Restricted15416SecureFiles 是数据库的新特性，用

10、于解决文件数据存储在数据库之外所带来的性能瓶颈SecureFiles功能实现在DB 11g版本，在DB 12C版本以及Exadata中得到增强和LOB类似，但是更快并且有更多的功能透明的加密、压缩、去重等保持数据库的安全性、可靠性和可伸缩性提供了一个LOB接口的超集，从LOB迁移工作更简便可以将文件数据和相关的关系型数据整合起来统一的安全模型统一的数据视图统一的数据管理Oracle SecureFiles对数据进行整合安全管理非结构化数据与结构化数据的关系Oracle Confidential Internal/Restricted/Highly Restricted17非关系型与关系型业务数

11、据按其相关性存储在数据库中非关系型数据以SecureFile LOBs方式存储SecureFile LOBs 使得访问数据库内的文件与本地文件系统中的文件一样快，同时还保持了与数据库中数据的交易一致性支持高级文件管理特性ID#NameAddressContractPhoto23Lucas.Relational ColumnsSecureFile LOBsCustomers Table小文件: 高吞吐量 写可以达到每小时2亿个文件,读可以达到每小时7.8亿个文件多媒体文件: 高带宽写能达到4 GB/s ，读能达到8 GB/s18Oracle Secure Files打破了性能瓶颈对比Secure

12、Files Vs. NFS性能查询效率提升23倍左右，插入效率提升6倍左右当单个文件大小超过2GB，性能趋近相等19SecureFilesNFSFile Read PerformanceFile Write Performance性能对比写的性能提升2倍左右利用压缩功能，节省空间22倍左右读的性能提升3倍左右20SecureFiles Vs. BasicFilesWrites PerformanceFile Size (MB)Writes: Reused SpaceFile Size (MB)Read PerformanceFile Size (MB)SecureFilesBasicFiles

13、优化的文件存储空间管理21去重多份相同的SecureFiles拷贝只存储一次尤适用于文件管理、测试、产品托管复制操作性能提升尤为明显压缩智能自动决定数据是否可以压缩对于一般文件能实现2到3倍的压缩率通过减少IO、Buffer Cache的需求，redo日志生成及加密带来的开销来改善性能对应用透明统一的安全模型22为关系型和文件型数据提供了统一的安全和身份模型极大地减少攻击次数并且提供了更好的安全特性透明数据加密 (TDE)保证数据安全性不需要修改已有应用也对备份，日志文件等加密网络安全使用SSL加密通过DMZ/防火墙访问文件，不需要开新端口为基于内容的访问审查提供细粒度的审计标签安全有不同的访

14、问限制策略：级别 (例如：机密)部门 (例如：财务)统一的数据存储Oracle Database 12c: In-Memory LOB 性能优化通过临时LOB内存工作区加速查询和更新LOB操作用内存选件优化PGA处理能力用内存工作区存放临时LOB自动透明的填充临时LOB内存工作区，当超过内存阀值闪存可以继续作为临时LOB工作区加速LOB string 所有操作concatenate, append, substr, length, instr, compare, trim, like, replace, pad, nvl using SQL functions or DBMS_LOB pack

15、age23Oracle Database 12c: 并行Load & Move LOBs517倍的性能提升强制为SecureFiles进行DML, CTAS & MOVE 操作分区表内并行为非分区表并行并行效果呈线性指数易于多核与IO并行操作24数据库和文件系统接口25SecureFiles可以通过数据库客户端或文件系统客户端来访问数据库客户端可以使用扩展后的LOB接口JDBC, ODBC, OCI, .NET, PL/SQL12C为SecureFiles提供了高度优化的流协议文件系统客户端使用由Content DB实现的文件系统协议FTPWebDavHttp其他优势26现有的LOB应用可以得

16、益于：更好的性能和可伸缩性安全性优化了的存储XDB, Spatial, Intermedia, OLAP, Content DB等可以直接从中受益可以使用Oracle实现的业界标准协议将基于文件系统的应用移植到SecureFiles上使用Online Table Redefinition可以轻松将LOB转换为SecureFiles文件和数据库的最佳选择27SecureFiles具备所有最先进的文件系统功能去重，加密，压缩，日志等SecureFiles具备文件系统所不具有的高级数据库功能事务、读一致性，闪回Readable Standby, Consistent Backup, Point in

17、 Time Recovery细粒度审计（Fine Grained Auditing）, 标签安全（Label Security）XML索引, XML查询, XPathReal Application ClustersAutomatic Storage Management分区和数据生命周期管理（ILM）查询元数据和文件内容超过任何其它数据库或文件系统的功能兼具两者的优点，而无须折中主要内容石油化工行业非结构化数据管理现状Oracle非结构化数据管理解决方案Oracle非结构化数据管理最佳实践总结-云架构下的全数据管理123Oracle Confidential Internal/Restric

18、ted/Highly Restricted284SecureFiles最佳实践-Exadata DBFSDBFS：Database File System基于数据库的文件系统Exadata一体机支持DBFS共享文件系统共享系统可以用于ETL Stagging,Scripts,report and application files文件在Exadata数据库中可以以Securefiles LOBs方式存储与其他数据库数据一样得到保护mirror,DataGuard,Flashback,etc57GB/sec文件系统的I/O吞吐量29DBFilesOracle DatabaseDBFS Secur

19、eFiles存储DBFS: 标准的数据库文件系统字典信息存储在数据表中非结构化数据存储在SecureFiles LOBs提供标准的Oracle数据库服务提供统一的数据文件备份，ETL,容灾管理30/ETL/Monday.dat/.DBFS Server in DBETL ToolInode#OwnerFilePath3768Lucas/ETL/Monday.datDBFS ClientNetworkDBFS SecureFiles StoreDBFS HSM Store分层存储管理DBFS HSM允许将归档文件导入磁带库，降低存储成本通过应用迁移老旧文件到HSM Store一个DBFS Lin

20、k替代一个LOB字段，LOB读取链接是完全透明的一个LOB可以轻松的实现更新表与原表的迁移HSM store: 磁盘分层存储，用于访问最近的存储文件访问量少的存储文件可以迁移到磁带库31Order#CustomerYearInvoice1234Lucas2003Sales Table/HSM/Old_Invoices/./Invoice_1234“/HSM/Old_Invoices/Invoice_1234”DBFS LinkLRUTape继承Oracle数据库丰富的功能32DBFS CapabilityProvided ByCompression, Deduplication, Encryp

21、tionSecureFilesCrash ToleranceAtomic transactions, LoggingMirroring, Striping, Online Add StorageASMDisaster Recovery, Readable Remote MirrorData GuardConsistent BackupRMAN, Hot backupMulti-Node Scalability, Transparent FailoverRACImpromptu SnapshotsConsistent ReadRestore to Point in TimeFlashback, Media RecoveryRetention