ExaData和传统存储

1、ExaData vs 传统存储传统存储Maximize Usage of ExaData Storage:Unstructured DataPrinciple Sale ConsultantOracle Spatial Specialist顾学明背景背景 挑战性能和存储容量的矛盾 容量预算内配置满足性能要求，容量不够需要配置传统存储，预算仍然不够客户：我这个项目数据量大，性能要求没这么高 性能有预算，但容量要求没这么高能否利用剩余的容量，浪费了怎么办客户：我拿高性能服务器和存储来堆好了容灾 存储还是数据库？ 能否进行设备利旧？ ExaData是智能存储，竞争来自传统存储！背景背景 What m

2、ake ExaData Different?无需第三方卷管理自动负载均衡无需人工条带化可伸缩，自动优化并行I/O4非结构化组织和管理非结构化组织和管理 Oracle Automatic Storage ManagerDisk 0Disk 1Disk 2Disk 30123456726150401234567104526MetadataDataExData as StorageI/O实例，备份实例，备份容量1.2 TB57 GB时间31 分钟20 分钟平均备份速度：2.3TB/小时（1.2 TB的容量测试场景）0488977146519532441014294357718610014:04:10

3、14:05:1014:06:1014:07:1014:08:1014:09:1014:10:1014:11:1014:12:1014:13:1014:14:1014:15:1014:16:1014:17:1014:18:1014:19:1014:20:1014:21:1014:22:1014:23:1014:24:1014:25:1014:26:1014:27:1014:28:1014:29:1014:30:1014:31:1014:32:1014:33:1014:34:1014:35:1014:36:10MB/sCPU/MBPS for StorageWriteKBTot-FlashRead

4、KBTot-FlashWriteKBTot-DiskReadKBTot-DiskCPUUser%CPUSys%理论测算：Low level IO带宽：18T/HNode磁盘： 288G/HDiskPer Cell ：288*12=3T/HNode Rack: 9T/H Rack Copy(Read+Write): 9/(1+3)=2.25T /H类别结构化空间数据(G)文档说明和依据基础地理1:50000100-国家测绘局 全国800G1:10000300内蒙测绘局1:2000200城市地区遥感影像3600按1m分辨率，如采用有损压缩，在包含金字塔的情况下2T基础地质1:50000100地质调

5、查局 基础矿产矿产地成矿带10省地质调查厅地质灾害10省地质调查厅矿产矿产规划10矿权10100土地土地现状调查10010全国500G用地规划10农田保护10地籍农村地籍30城市地籍50审批业务土地用地审批10200矿产矿权10200综合监管50业务流程控制50用户和流程管理地图切片类型大小说明影像2000大概到1:2500级别，10%的压缩率(JPG JFIF)，包含金字塔。25% 存储效率线划2000*4大概到1:2500级别，10%的压缩率(PNG Deflate)，包含金字塔。假定需要4个不同专题, 25% 存储效率Oracle 数据平台数据平台7案例案例: GIS应用系统应用系统 地

6、图切片缓存数量多数据量大性能要求高 要件管理版式文档扫描件真实/完整愿景愿景 一体化的数据管理数据库是支持所有的数据管理要求的平台：非结构化安全的，可企业化管理的数据管理平台 理由:Oracle SecureFile：安全的，一致完整的存储机制全文检索，现成/免费/商业化支持DBFS：可以用数据库维护的文件系统 需要解决问题：内容网关TCO: 数据压缩内容网关内容网关 HTTP下载数据库到浏览器的直接通道 浏览器内容展现数据库上的MIMEPDF/Image/MS Doc/SVG第三方插件：如AutoCAD.ZIP 应用及内容支持GDAL/HDF数据压缩的意义数据压缩的意义-以图片为例以图片为例

7、 1M和100K没有区别，但1P和100T的区别是巨大的 下载时等待20秒没问题，但浏览时等待20秒有问题 影像特点和结构化数据（混合列压缩）有区别 独特处理流程算法可以带来惊人的效率Bmp全色: 1.1MBmp256色: 372KJpeg: 172Kqdr: 14Ktif/png: 50Kpdf: 108K数据压缩的意义数据压缩的意义-GIS Raster50G+200M2G+2MGDAL VFS for Oracle Secure FileOracle 数据平台数据平台 一体化空间信息系统数据平台IaaSExaData服务集群SaaSPaaS关系数据库ExaDataStorage Seve

8、r数据管理建模/分析编辑/可视化内容发布MapViewer/ArcGIS Server关系数据库空间扩展空间处理空间服务WCS/WFS(-T)/WM(T)S/CSW空间建模Secure FileDBFS全文检索事务型处理数据组织数据分析非空间业务逻辑Web ServiceSTATE_NAMECAPITALGEOMCALIFORNIASacramentoTEXASAustinWeb GatewayDBFS Driver14 Oracle Automatic Storage Manager RDBMS Datafile, LogFile OCFS2(Linux Only)多节点共享同一卷无需昂贵的

9、卷共享软件 Oracle VM image15非结构化组织和存储技术非结构化组织和存储技术 Oracle 11gr2 Secure File非结构化存储机制性能上某些场景甚至优于文件系统功能上支持（可选） 加密 压缩 重复检测16非结构化组织和存储技术非结构化组织和存储技术 Oracle 11gr2 Secure File/DBFS数据库管理档案元数据+文件管理方法采用数据库记录管理(11gr2 Secure File)/DBFS元数据和文件通过名称/路径关联需求档案要求元数据和内容要放在一起来管理。档案和元数据分开或重复存储。功能直接采用数据库建立全文索引(版式文件)。不能或单独开发全文检索

10、性能Oracle 11gr2 SecureFile 是区别于10g非结构化LOB存储方式，在小文件(500K)的情况下I/O明显高于文件系统，大文件情况下I/O稍高于文件系统。大量文件情况是需要建目录结构，每个目录不能超过一定数量文件。一致性充分利用了数据库的一致性和完整性。只能通过应用控制。需要保证文件取名唯一性。安全性给予用户的表权限记录级Label SecuritySecureFile加密DB Firewareftp/http威胁: 网络爬虫。私有的其他协议: 需要特殊网络端口和可靠连接，客户端插件。备份恢复根据时间的Partition数据库统一备份（Data Pump/RMAN）异地备

11、份,Golden Gate文件拷贝。大量文件是会很慢。目录组织方式有限，不能满足复杂的备份策略要求。17非结构化组织和存储技术非结构化组织和存储技术 DBFS可以以文件系统兼容（Linux Only) RDBMS数据完整性和一致性基于数据库安全机制全文检索负载均衡和性能优化ASM/Flash CacheSQL并发和MapReduce DBFS接口资料完整性应用对资料的直接访问开放的访问接口Oracle Secure File/DBFS 接口和应用接口和应用ApplicationOracle ServerLinuxDBFS DriverWeb ServerDB ContentGatewayCLIOracle Secure File StoreDBFSExaData Storage/ASMGIS/RS/.第三方文件系统MountJDBCOCIGDAL VFS HDF VFLArcGIS On ExaDataDatabase ServerOracle Spatial/矢量Secure File/电子要件DBFS /GIS 缓存WCS/WFS(-