大数据解决方案及产品

VoltDB高频大数据解决方案电信领域计费和权限管理，用户数据个性化营销广告优化，观众分组能源与传感器领域智能电网/电表，资产跟踪与管理，实时交通与地理位置证券市场风控管理，市场数据管理基础设施数据管道，批次->实时，流媒体的ETL系统中的高频数据2SmartMeter高度切合领域更快:读/写

负载

延时/吞吐量电信呼叫数据记录管理网站数据分析、欺诈侦测在线游戏小额交易支付电子广告兑换服务基于位置的无线服务金融贸易监控低频率运行高频率运行数据来源资金市场写/索引所有交易，存储逐笔交易资料显示整合交易者的风险呼叫初始请求实时授权认可欺诈侦测分析入站

HTTP请求访问者登陆、分析、警告流量图形分析在线游戏等级分数定义的间隔执行玩家

“最好成绩”排行榜状态查找实时广告交易系统匹配形式因素，下单规范，竞价/询价报告广告效能无线设备位置感应器位置更新，服务品质，事物处理事物处理上的数据分析VoltDB应用案例VoltDB应用/方案的高吻合目标行业行业电信和网络金融服务广告科技能源和应用资本市场电子商务/零售业在线游戏以上绝不是仅有的行业！其它行业种类战略性大数据项目早期使用者感应器驱动的环境关键技术特性ACID全事务支持灵活的扩展性错误恢复可持久化到硬盘内嵌OLAP导出连接器基于网络的异步集群复制6关键特性:线性扩展7增加一个新结点到VoltDB集群可以有限提升集群的最大吞吐量，也可以增加整个集群的内存容量集群的大小对应用来说是透明的关键特性:线性扩展（续）右边表格源自于独立的测试机构Percona，标示出线性扩展到每秒150万次的运算和最高推断值达到30个服务器。这个表也表明VoltDB线性扩展具备K-Safety关键特性:内置异常恢复/HA功能9分区就是复制的单位事务复制操作（不是更改记录）使用Active/Active同步复制方式应用只有在所有复制节点都提交（或者回滚）后才会收到成功（或者失败）的响应关键特性:基于网络的数据库集群复制10VoltDB包括一个网络复制Agent这个Agent将事物异步从主集群（可读可写）复制到备集群（只读）异步的方式最大限度容忍网络可能出现的问题整合：高高性能导导出并行导出出接近最大大线速基于事先先建立的的连接HadoopCSVJDBC(PostgreSQL,MySQL,Oracle)NetezzaVerticaVoltDB建立了一一个基于于事务的的，可持持久化的的导出框框架在VoltDB完成高质质量、实实时分析析、实时时响应，，并把结结果数据据通过VoltDBExport导出到OLAPVoltDB管理和监监控Nagios脚本LogstoLog4jJMXVoltDB企业管理理器每一个节节点都有有一个内内置网络络服务器器特殊的系系统程序序VoltDB的一个典典型架构构ERPCRMHROrdersCartRecom-mendationUserMgt.ClickStreamInvPersonal-izationDatawarehouseHadoopTraditionalOLTPVelocityOLTPloginssensorsimpressionsordersauthorizationsclickstradesInteractiveReal-timeAnalyticsHistoricalAnalyticsExploratory

AnalyticsAnalyticresultsenrichdecisionmaking使用方案案中会包包含VoltDB的目标客客户理想的销销售机会会IdealProspectCharacteristics初期采用用者高速率-增长中的的交易处处理率寻求竞争争差异事务处理理–需要做出出决策创建新的的apps数据吞吐吐量用尽尽水平分区区Sharding––目前使用用手工操操作其次寻求削减减成本-准备使用用云端ACID–不能做到到最终一一致性就就无法生生存次要销售售机会对风险抱抱保守的的态度使用传统统数据库库可以解解决问题题很少使用用到高速速决策非结构化化数据、、文件数数据库复杂的查查询和分分析特别巨大大的数据据J2EE,HibernateWindows/Unix/COBOLarchitecturebias吸引用户户使用VoltDB的原因（（条件））公司的战战略同大大数据相相关新的应用用部署，，而不是是在现有有应用上上转换数数据库额外的数数据来源源于在线线数据为了获取性能能、分区等使使用费自然的的技术手段面临来自于创创新的竞争压压力Oracle不能满足性能能的需求、授授权或者对于于降低硬件成成本的需求公司需要围绕绕特定技术寻寻求发展实时数据分析析基于内存的数数据库Datameer-从桌面到服务务器可视化大数据据分析平台Datameer–可视化大数据据分析平台Datameer开放式结构Datameer可视化操作、、分析与展示示界面28.io海量数据的综综合信息查询询分析平台现代公司的信信息量往往大大爆炸种类容量速率企业数据被储储存在孤立的的数据仓库中28io––海量数据的综合信息查询询分析平台解决方案可视化了的查查询的查询及及处理图层结构化数据/半结构化数据据/非结构化数据据JSONiq查询语言:非关联数据库库的结构化查查询语言自动并行运算算RESTAPI实时NoSQL(MongoDB,CouchDB,...)SQLthroughJDBCFileStores(S3,GlusterFS,……)JSON,XMLRelationalText,Pdf,HTM..Otherdatastores...其它数据格式式商业应用WebServices(Salesforce,Zendesk,…)JSON,XML连接与查询分分析28.ioUnifiedInformationAccessPlatformContentsourcesstoringdocuments,emails,books,articles,webpages,etc.RelationalDatabaseFilesystemThird-PartyContentFeeds(XML,HTML,ZIP,etc.)NoSQLDatabaseQueryacrossdisparatecontentrepositoriesEditors,ContentCuratorsSearch,reuse,repurposecontentWebSites,Portals,WebAppsMobileAppsDynamicallyrenderanddelivercontentinmultipleformats……CustomContentFeedsSeparateTask-SpecificRepository(e.g.,MongoDB)Optionallyimportcontentintoatask-specificrepositoryContentdestinationsCuratedcontent,Masterindices,Markup/structureforrepurposing,Migratedcontentfromretiredsources查询语言JSONiqHadoop同28.io架构对比S3ETLHDFSMapReduce结果S328.io结果Hadoop28.io运行45分钟35秒几个小时数据科学家费费时2小时开发MapreduceCode商业用户费时时20分钟建立JSONiq查询让Web数据成为你的的数据库ConnotateConnotate–智能化的Web数据抽取工工具WebAgent（数据抽取取的工具））可自动自自主的运行行。根据您的要要求输出结结构化数据据集（通常常是CSV格式或则是是XML格式）Connotate使网络数据据变成了您您