星环科技大数据方案

1星环科技大数据方案

——打造世界领先的大数据引擎公司简介公司概况

目前已完成B轮融资，A+B共融资2.55亿元。目前星环科技大数据团队有200余人80%的员工为研发工程师以博士硕士为主，60%以上为硕士团队来自Intel、谷歌、微软、BAT、EMC上海、北京设有分公司10余处办事处：广州、沈阳、天津、济南、西安、南京、武汉、长沙、福州等新增纽约、休斯顿办事处发展历程

全球最具有前瞻性的大数据厂商Strengths■Althoughayoungvendor,TranswarphasgainedtractionintheChinesemarket.Ithaswon200clientsinlessthan18months.■Transwarphasauniquesetofcapabilities,suchasitsInceptorSQLcomponentbasedonApacheSpark,withOracleSQLandPL/SQLcompatibilitysupportingcreate,read,update,delete(CRUD)andACIDoperations.Thiscomponentisparticularlypraisedbyreferencecustomers.■ReferencecustomersindicatedthattheyareverysatisfiedwithTranswarp'sproduct,aswellaswiththesupportandtrainingthatthecompanyoffers.优势星环科技虽然年轻，但是已经在中国市场中颇具影响力——星环科技在18个月内赢取了200个客户。星环科技的产品有其独特的功能，例如它的SQL引擎Inceptor，基于ApacheSpark，兼容OracleSQL和PL/SQL，支持事务处理的CRUD(CREATE,READ,UPDATE,DELETE)并能保证ACID。Inceptor在被调查的用户中受到了非常高的评价。被调查的用户表示他们对星环的产品、支持以及提供的培训都非常满意。Cautions■Sofar,TranswarpoperatesinChinaonly.Thatsaid,thesizeoftheChinesemarket,anditsspecificrequirements,offersplentyofscopeforTranswarptoexpand.■Transwarphasyettoofferacloudsolution,althoughitindicatesthatthecloudisonitsroadmap.■Referencecustomerspointedtosomemissingfunctionality,particularlywithregardtoadministrationandmanagement,andhighlightedalackofskillsinthemarket.However,acrossthewholespectrumofcustomerexperience,Transwarp'scustomersawardedscoresequaltotheaverageforthismarket.注意目前，星环仅在中国有业务。虽然如此，中国庞大的市场以及中国市场特有的要求给星环的发展空间巨大。虽然暂时还没有推出云上的解决方案，但是星环科技的云解决方案已经在计划中。被调查的客户指出星环的产品还有一些功能的缺失，尤其在产品的管理功能方面。被调客户还指出市场中对口人才的稀缺。即使如此，被调客户对星环科技各方面的评价都持平报告中的平均水平。星环科技六大Hadoop发行版厂商之一三年内200+落地案例数据仓库象限最具远见者“Transwarpisprobablythecoolest#Hadoopcompanyevenyou'veneverheardoftranswarp.io.”--NickHeudecker,Gartner分析师唯一一家上榜的中国公司星环科技典型案例

（落地案例最多）金融（16+）银行、保险、证券电信运营商（20+）移动、联通、电信交通公安（30+）山东、辽宁、浙江等能源国网+南网互联网电商+CDN政府工商+税务物流快递EMS广播电视华数+卫视

我们的部分客户产品简介产品家族TxData超融合一体机TOSPaaS云平台TDH大数据平台专业服务&生态系统TranswarpDataHub产品架构图TranswarpProprietaryApacheProjectsStream流处理引擎HyperbaseNoSQL数据库搜索、图计算TranswarpManagerInceptorPL/SQL批处理交互式分析资源管理YARN(内置TranswarpExtension)优化存储HDFS(内置TranswarpErasureCode)批处理Pig批处理框架MapReduce2实时同步

Data

Alive消息队列Kafka工作流Oozie日志采集Flume全文搜索ElasticSearch数据集成SqoopDiscover数据挖掘机器学习交互工具HUEGuardian安全管控协作服务Zookeeper交互分析Zeppelin高性能,低成本率先通过100TBTPC-DS测试性价比是传统数仓几十倍高安全，可信赖经过200+案例证明的可靠性，可恢复性，可用性，安全性兼容性，易用性支持SQL2003和存储过程业界唯一支持增删改查和事务的ACID数据仓库分析能力100TB测试Testenvironment:29

worker

nodes2CPUs,12Cores,E5-2620v296GBmemoryNetwork:2X1GbpsDisks:12X3TB星环Hadoop集群已经可以在生产环境中部署1000+节点，处理20PB+的数据单机计算并行计算分布数据、计算均分布化星环已处于新兴技术公司中的领先地位MPP数据库过去的优势高性能SQL支持完整（SQL92/SQL99）工具全主要弱点数据重分布容错性扩展性Transwarp最新进展总体性能超越MPP完整支持SQL2003,以及PL/SQL扩展支持主流传统BI／ETL工具及新兴分析工具固有优势数据无需重分布，不易受数据倾斜影响Map/Reduce和Spark具备容错调度机制性能近乎线性扩展（星环部署有600个节点集群）星环技术六大核心优势1.支持最全SQL，唯一支持PL/SQL2.性能超群3.唯一支持分布式事务处理4.业界唯一分布式流式SQL5.丰富的数据挖掘和机器学习算法6.安全无忧用户管理、资源权限管理表级、行级、主题、单元格数据权限降低流应用开发门槛，提高流应用开发效率针对性的优化让StreamSQL比编程开发流应用性能更高帮助用户零成本将传统业务逻辑变成流应用保证事务处理的ACIDBEGINTRANSACTION/COMMIT/ROLLBACK语法进行事务处理两阶段封锁协议可保证事务的完全可序列化多版本(快照)隔离可以保证只读事务的高并发性率先进入复杂数据分析的百TB时代支持99%的SQL2003语法业界唯一支持OraclePL/SQL（98%）业界唯一支持DB2SQLPL(90%）业界唯一支持Teradata存储过程（80%）帮助用户零成本迁移传统应用统一Hadoop集群•多租户数据不搬家，可用不可见TranswarpOperatingSystem云操作系统CPU/内存基于优先级调度Transwarp

Operating

System磁盘存储管理器网络虚拟网络管理器调度器调度etcd编排负载均衡器系统服务自动扩展replicator发现依赖name

serviceContainerPluginsContainers应用标准化1.开发、测试和部署采用统一的docker容器镜像；2.一次开发，到处部署；3.采用微服务架构构造大型应用，敏捷开发，按需部署运维自动化1.弹性部署、弹性扩容、自动修复；2.支持基于优先级的资源调度，提高集群使用率；3.采用应用商店管理标准化的应用；大数据支持1.支持大数据应用和普通应用2.对大数据进行了定制优化，可高效利用存储和计算资源3.TOS

+

TDH=PaaS

+

HaaS，使大数据云服务成为现实自定义应用

性价比高快捷部署

软件定义集群服务器以及网络环境已经预配置、预优化、预测试开箱即用，快速形成生产力软硬件一体化，无缝集成，最优工作状态

支持Docker与TOS部署，效率高于虚拟机与TDH有机融合

支持多租户管理内存、SSD、磁盘三级存储高密度，节省机房空间75%软硬件一站式供货,一体化服务TxData超融合大数据一体机

TxData一体机2U4节点或2节点案例展示星环金融客户案例部分列表股份制银行民生银行总行科技部数据仓库、审计业务、冠字号业务、小微贷款业务民生银行信息中心

数据平台、自助分析平台民生银行信用卡历史数据查询、非现场审计应用、客户画像、风控、客户流失恒丰银行数据仓库、历史数据查询、数据分析探索中国平安风险报表业务农信社四川省农信电子银行大数据处理平台、客户体验改进、客户营销、报表分析浙江农信冠字号业务、新一代大数据集中处理平台城商行江苏银行历史数据集中平台、历史数据查询、风险集市、报表系统、客户分析保险中国人寿大数据平台证券中泰证券历史数据集中管理平台邮政、邮储江苏邮储历史数据集中管理系统、报表系统EMS替换Teradata数据仓库数据仓库建设客户痛点：数据量增大、应用不断增加，运行沉重缓慢；数据源不断增多，开始包括非结构化和半结构化数据；数据处理延时长，无法看到实时运营状况原先的逻辑数据模型，不能有效支撑数据快速分析和价值发现；解决方案：基于Transwarpinceptor和Hyperbase，构建逻辑数仓，提升处理性能基于Transwarpstream，构建实时数仓基于Transwarpdiscover，采用新的方法发掘数据的统计相关性、因果关系、关联关系等规律。客户收益：基于大数据产品选型并重新构建了数据仓库体系，同时搭建一套历史数据平台为存储及查询历史数据奠定基础;搭建大数据应用开发平台;近期基于大数据平台落地了风险数据服务集市，为该行信贷工厂业务提供大数据咨询支持自助分析平台建设客户痛点：业务部门在向科技部门申请数据时，时间延迟比较大同时面临数据安全、分析性能、管理复杂等问题解决方案：科技部基于Transwarpinceptor和Hyperbase为业务部门构建数据集市，业务部利用报表工具自助生成报表基于Transwarpdiscover做一些自助挖掘工作客户收益：减少数据申请流转环节，业务部门可进行自助分析，无需科技部门额外支持基础数据统一存放，全局一致集群分析，增强分析性能，减少计算时间风控应用迁移FlumeOracleMySQLDB2现有关系数据库TDH统一存储和计算平台系统日志Web日志SqoopPentaho账单文件FTP定期ELT每天／每小时／每10分钟RStudioSAS深度挖掘OozieWaterlineAzkaban数据汇总／治理／粗加工PL/SQL定制程序PL/SQL深度汇总准实时采集<5分钟客户痛点：原来的风控应用基于Oracle数据库，随着数据量的增大，存在速度和扩容的问题风控应用使用了大量的存储过程开发，迁移到Cloudera和华为平台需要对应用做大量改动解决方案：基于星环的TDH平台，实现PL/SQL存储过程的零成本迁移实现从数据导入、数据批处理加工、应用对接的全流程覆盖客户收益：经过1个多月的时间，将原来的风控应用及部分报表平滑迁移到TDH平台；应用几乎未做改动。数据挖掘类应用用户画像客户痛点：随着可以掌握的客户信息越来越多，使用原有数据库对用户多维度分析效率很低营销缺乏有效的数据支持，并且实时性差解决方案：利用Transwarpdiscover使得原来分析需要1天的工作降低到5分钟。结合Transwarpstream可实现实时的用户推荐商圈分析客户痛点：原来靠“个人经验”对各地商圈进行划分导致缺乏准确性。解决方案：利用Transwarpdiscover分析实时刷卡信息（来自银联），进行商圈聚类模型分析与选择，结合Transwarpstream实现动态商圈区域即时呈现和人群密度趋势研判。企业关系图谱

自然人E投资投资人企业C企业B企业A投资供应商投资人企业D自然人F个体户G配偶亲属投诉财报客户痛点：需要一个数据查询系统来存放企业多方面的信息，如：登记信息、行政处罚信息、企业重要人员信息、投资者信息等；在信息存储的基础上，系统能够快速和准确提供用户对企业的查询请求。原有的查询系统不能满足需求；需要通过大数据平台进行企业关联分析，构建企业信用体系。解决方案：原来利用大数据图计算形成企业和企业之间的投资关系分析为每一个企业绘制其相关的投资关系图普，挖掘出潜在的利害关系客户收益：通过大数据平台的销售数据进行批发、大客户关联分析，构建企业客户价值、信用评价。对于预测大客户、批发客户需求，提前精准营销、新一年对于这些重要客户资源投放量、服务具有重要意义。小微在线融资—大数据企业征信小微贷款服务平台2014年下半年上线每家企业选取200个财务指标采用分类算法对企业进行信用评估客户痛点：在之前的系统中，客户发