海量数据存储、访问与管理

海量数据存储、访问与治理断增长的数据。求也变得越来越迫切。人员觉察，公司收集、存储和分析的有关客户、财务、产品和运营的数据，其增长率达125%之多。各个方面的因素导致了数据的爆炸，如：网络应用增加了数据的增长速度；监控点击流需要存储与以往相比越来越多的不同的数据类型；多媒体数据也增加了对存储的要求；我们存储并治理的不仅仅是数字和文字，还有视频、音频、图像、临时数据以及更多内容，这些数据的增长速度也在不断地上升；数据仓库和数据挖掘应用鼓舞企业存储越来越长的时间段内越来越多的数据。这些实际状况导致的结果就是数据大量增加。要求，几乎影响到全球各家大型企业。法案要求公共公司遵守严格的金融记录保持与报告法规。假设公司不能准时、牢靠地访问准确的财务信息，那么它们护周期，增加数据容量。、照片、计算机生成的报告、字处理文档、电子表格、演示文稿、语音和85%以上，数据量及其浩大，是信息资源治理的核心。同样，企业需要对非构造化数据进展存储、检索、过滤、提取、挖掘、分析等各方面应用。历史数据归档与访问的需要。一般来说业务系统是用来处理业务交易的，为了使这些关键业务系统的性能不会受到严峻影响，往往业务系统只存放短周期内的业务交易数据，大量的历史数据都被备份到磁带上，或者被转移到其他SQL查询时再把它们从档案环境中恢复出来。但是随着企业对数据的重要性越来越重视，以及数据分析、数据挖掘的应也对海量数据的存储、治理和访问提出了的需求。存储异构化的特点，企业的数据可能存储在传统系统、大型数据仓库或具有计费、订购、制造、分销或其他功能的数据运营孤岛上，因此会给访问带来极大的困难。数据整合与数据分析已经成为信息治理技术的应用热点。只有在有效合数据的分析和加工来获得制定策略所必需的信息依据。传统的关系型数据库面临更大的挑战设计之上的。InternetIntranet技术的进展，使得非构造化数据的应用日趋扩大，以及对海量数据快速访问、有效的备份恢复机制、实时数据分析等等的需求，传统的关系数据库从1970年进展至今，虽功能日趋完善，但在应对海量数据处理上仍有很多缺乏。缺乏对海量数据的快速访问力量当你的竞争对手在周五下午宣布了的价格体系，你所在机构的总裁在周一早晨之前想要一份对你公司有何影响的分析报告，业务分析员想做的最终一件事情是花费20分钟等待整个表扫描和多表连接来获得“假设……会怎么样”的查询。由于没有经过优化的查询会消耗很长的时间；进展查询的用户，其需求需要按打算执行；多个查询会竞争CPU资源；并且业务需求常常被转变。全部这些都要求不断调整优化数据库或甚至重设计数据库。缺乏海量数据访问敏捷性在现实状况中，用户在查询时期望具有极大的敏捷性。用户可以提任何问都能快速得到答复。传统的数据库不能够供给敏捷的解决方法，不能对随机性的查询做出快速响应，由于它需要等待系统治理人员对特别查询进展调优，这导致很多公司不具备这种快速反响力量。对非构造化数据处理力量薄弱传统的关系型数据库对数据类型的处理只局限于数字、字符等，对多媒体信息的处理只是停留在简洁的二进制代码文件的存储。然而，随着用户应用需Intranet/Internet供给的多彩的多媒体沟通方式，用户对多媒体处理的要求从简洁的存储上升为识别、检索和深入加工，因此如E-mail等简单数据类型，是很多数据库厂家正面临的问题。海量数据导致存储本钱、维护治理本钱不断增加/价格比更加受关注。GIGA争论说明，ROI(投资回报率)越来越受到重视。海量数据使得企业由于保存大量在线数据以及数据膨胀而需要在存储硬件上大量投资，虽然存储设备的本钱在下降，但存储的总体本钱却在不断增加，并且正在成为最大的一笔IT开支之一。另一方面，海量数据使DBA陷入持续的数据库治理维护工作当中。海量数据缺乏快速备份与灾难恢复机制传统的数据库备份技术，如通常承受的磁带备份方式，不能运用于海量数据，由于磁带备份将使备份时间增加，需要几小时-几天，不仅影响了生产，而且增加了备份的难度，使得备份/恢复变得缓慢而且不行靠，几乎无法在固定的时间窗口完成备份工作。另外，第三方备份软件隐含的本钱代价如本钱开销、只有通过引入有效的备份、便利高效的备份恢复技术，才能满足海量数据安全的需要。SybaseVLDS的最大支持Sybase，致力于为客户供给治理企业内部各种简单海量数据源的解决方案。其一系列的解决方案帮助数据密集型行业对来自于固定或移动数据源的构造化或非构造化的海量数据进展VLDSSybasEIQSybaseIQRDBMS解决方案相比，数据存储量可以削减60～80%。这也就削减了物理存储需求和人员配备本钱。经过独立的审核测试确认，48TSybaseIQ22TSybaseIQ比传统数据库更简洁维护，而且不需要进展与时间和资源相关的调整就可以到达极佳的性能。除了节约本钱以外，SybaseIQ止欺诈、减小风险、开掘的商机以及获得其他各种好处。SybaseDODS从运营系统猎取数据，将其复制到运营数据存储中，然后使用用户生疏的、功能强大的报告工具快速访问数据。强有力并且简洁易用地进展穿插查询Emails,DocumentsandTransactions。SybaseDynamicArchive解决方案的独特设计SybaseDynamicOperationalDataStrore(DODS)动态运营数据存储解决方案SybaseDODS解决方案承受功能强大的复制技术，SybaseIQ归档数据库中，可供给比传统数据库快100倍的查询速度，而所需的存储空间却比传统RDBMS60～80%。SybaseDODS，使它们在保持原有系统性能的同时，还能安全地满足不断增长的实时自助业务分析的需要。用户实例：TelefonicaSpain〔西班牙电信〕DODS系统、青岛海尔DODSDODSSybaseE-mail与文档归档、检索解决方案－非构造化数据的有效运用Gartner争论说明：非构造化数据已经与传统的“构造化”数据同样重要，当今85%以上的商业信息是保存在非构造化数据中，而且这个进展趋势越来越快。相关法规的制定对公司E-mail搜寻需要的内容以及附件包含的内容？如何将E-mail信息与数据仓库中数据进展关联查询？类似的需求将越来越多，SybaseE-mail与文档归档、检索解决方案能够快速地答复你的问题。实时捕获E-mail内容及附件信息，并传送到IQ实时把文档/媒体加载到IQ对文档信息进展快速load/index处理，客户端对其中数据、email、文档都可以进展关联查询。用户实例：UnitedHealthCare(storeANYtypeofmedicaldatasuchasCATscans,X-rays,regularphotos(i.eJPEG),spectrograms,EKGandothers.)SybaseDynamicArchive(DA)动态数据归档解决方案在典型的业务应用环境中，数据量每年以125%的速度递增。生产系统中高达80%数据处于非活动状态，它们却在不断地占用着昂贵的硬件、存储设备和维护资源，并且降低了应用性能。传统的归档治理方法是将数据移出应用环境，但这可能会损害数据完整性，从而使公司面临违反规定的风险。SybaseDynamicArchive解决方案特地设计用来满足其核心应用饱受数据迅猛增长之苦的企业的需求，为企业供给真正需要的东西：一种长期的、本钱效益好的方法，能够从应用生产中消退非活动数据，同时在需要这些数据时，又能够持续实现无缝访问，它还在节约本钱和提高性能方面供给了很多可以量化的优势。用户实例：COSCON中远集运DASybase海量数据备份／恢复NonStopIQNonStopIQ是针对海量数据的便利准时的Disk-to-Disk(D2D)备份/恢复解决方案：根本无视数据库的大小，进展全库备份在秒级或分钟级就能完成；当发生灾难时候，瞬间实现由生产库到备份库的切换，以最短的宕机时间来进展恢复操作，TB60秒；支持本地和远程的操作；不同于磁带备份，NonStop试、DBCCQA等等；比磁带备份更加牢靠：马上对备份数据进展验证，备点数据库随时可以启动、使用；可以使用ATA磁盘替代昂贵的FC磁盘来满足本钱节约和信息价值非类存储的需要，比“传统的”磁带备份/灾难恢复具有更低的本钱；20多个客户在承受该方案〔从200GB140TB〕。用户实例：NielsenMediaResearch、AMEX、BizRate、SEC、广东移动IP行总行历史数据查询系统等等。SybaseＶＬＤＳ国内外成功案例2005年SybaseVLDS10SybaseIQIQ同样的裸数据大小，在其他传统的关系型数据库中，将有2-11局部国内外VLDS的客户应用介绍：TelefonicaSpain〔西班牙电信〕Telefonica电信业主要的全球化企业之一，全球拥有8200万客户，在164500〔西班牙2100〕，3600180010080TelefonicaSybaseDODS解决方案，成功地将数十个各自独立的信息系统的海量数据准实时集中存放在ODS架构中，实现了在最优的存储和维护本钱下获得了最好的性能的目标。ComScore-一家生代信息效劳公司ComScore需要监控分别来自美国六个不同的主干网，七个重要要城市的网络点击流。Internet〔有时候会到达百万数量级〕，这就导致有大量的数据需要收集，ComScore600300GB60TBIQ20+TB。NielsenMediaResearch总部位于佛罗里达州达尼丁市的NielsenMediaResearch评及相关效劳的主要供给商。可想而知，随着这种调研工作的不断扩大和深入，NielsenMediaResearch的数据量也变得格外浩大，而且已经成为了企业的生存命脉。Nielsen客户提交的恳求往往不是订单处理，而是集中在海量数据的提取上，由于客户需要这些数据进展分析。而每一条恳求都包含数十页，甚至数百页的SQL语句。假设承受传统的关系型数据库，I/O负载将会格外重。如今，承受SybaseIQMultiplex后，不仅解决了问题，而且能够随时对CPU进展调整，最高速率保持在每小时600GB，这个速度不会给SAN磁盘的I/OCPU保证系统的顺当运行。KoreaChohungBank-韩国朝兴银行20001月，朝兴银行(CHB)完成了韩国第一个企业数据仓库(EDW)和基于Web的市场数据库系统的开发工作。CHB将EDW储单元。包含在EDW中的客户和交易信息每天都会更，供CHB内部各独立业务单位‘数700名用户(如用于治理收益、信贷和风险的集成系统)使用。广东电信海量数据分析系统70163/16920028004003001001统的最终用户的需求不尽一样，业务策略不断变化。广东电信经过多方测试比较，最终在163网，广东省一代的多媒体网综合业务治理系统，广州电信市场经营分析系统等多个系统中承受了SybaseVLDS广东移动IP〔2006IQ30+TB〕广东移动是中国领先的移动运营商，其CMNET是中国移动集团内规模最大的省级IPIP网络治理系统，每日数据行数巨大，仅WAP9〔ROWS〕，每日数据增量在800GB，且保持着相当高的增长速率，在大量数据持续加载到数据库的同时还需要做大量的汇总计算工作。该系统经过9IPSybaseVLDS一期实现了多个业务系统数据的实时装载、小时分析、日分析。在存储方面，实际磁盘开销低于原始数据文件的大小，在充分满足查询需求的根底上，很好的掌握了空间的膨胀，降低了存储代价。交行总行历史数据存储与查询系统〔5+TB〕交通银行总行历史查询数据量在不断增加，尤其在实现个人历史数据查询功能后，数5TB。交行总行历