TalkingData大数据技术解决方案

1、TalkingData大数据技术解决方案移动互联网大数据驱动的业务变革可选技术方案两种可选方案方案一、使用TalkingData全套解决方案，底层大数据平台使用CDH（已集成），简称TD全套方案Web SDKMobile H5 SDKMobile SDK数据数据数据LDAP Server身份认证Mail Server邮件通知Business Systems统计数据报表移动分析管理和运营配置/使用应用概况用户分析来源分析渠道分析行为分析页面分析事件分析转化漏斗灵动分析跨屏分析用户分群数据下载配置和权限报表系统查询引擎数据存储分布式缓存计算引擎消息队列数据收集方案二、使用TalkingData应用

2、软件和数据，底层大数据平台使用Cloudera商业版、星环、华为等（TD应用支持集成），简称集成方案Web SDKMobile H5 SDKMobile SDK数据数据数据LDAP Server身份认证Mail Server邮件通知Business Systems统计数据报表移动分析管理和运营配置/使用应用概况用户分析来源分析渠道分析行为分析页面分析事件分析转化漏斗灵动分析跨屏分析用户分群数据下载配置和权限报表系统查询引擎数据存储分布式缓存计算引擎消息队列数据收集CDHTD数据引入数据分析和咨询TD数据引入数据分析和咨询TD全套方案与集成方案的对比序号对比项TD全套方案集成方案备注1是否满足项

3、目需求？是是2实施难度低相比较高技术平台和应用分离会涉及多个厂商之间的配合和调试3实施周期短相比较长4项目成本低相比较高集成方案需要额外的采购和运维费用5运维复杂度低低TD全套方案提供整体的运维，集成方案提供更好的运维特性，如滚动升级、SNMP支持、自动灾备等6数据安全性高高都支持Kerberos、LDAP等技术7扩展性高高都支持Hadoop集群的动态扩展，且最大可扩展节点数无限制8性能高高TD全套方案在应用层算法进行优化，集成方案在底层组件进行优化9功能特性相比较少丰富集成方案提供更丰富的功能，如兼容PL/SQL等10成功案例多多TD全套方案在金融、房产行业有大量的成功案例；集成方案也有部分

4、客户在使用CDH与Cloudera商业版的功能差异Operational Report & Quota Management操作报告和配额管理Visualize current and historical disk usage; set user and group-based quotas; and track MapReduce, Impala, YARN and HBase usage1.当前及历史磁盘用量展示2.基于用户和组的配额设置3.跟踪MapReduce、Impala、YARN和Hbase的用量Configuration History & Rollbacks记录配置历史及回滚

5、Maintain a trail of all actions and a complete record of configuration changes, including the ability to roll back to previous states保留所有活动及配置变化的痕迹档案，包含回滚到之前状态的能力。Rolling Updates滚动升级Stage service updates and restarts to portions of the cluster sequentially to minimize downtime when upgrading or upda

6、ting your cluster分阶段升级和重启群集各部分，最小化宕机时间。AD Kerberos IntegrationAD与Kerberos的集成Integrate directly with Active Directory to get started easily with Kerberos直接与AD集成，可以方便的与Kerberos一起工作Kerberos WizardKerberos向导Easily configure Kerberos and trigger automated workflows to secure clusters方便配置Kerberos，可以自动触发工作

7、流来保证群集安全。Hadoop SSL Related ConfigsHadoop SSL相关配置Simplify configs and eliminates need for safety valves简化配置并减少安全阀的需求LDAP/SAML IntegrationLDAP/SAML的集成Integrate user credentials with Active Directory and enable single sign-on (SSO) capabilities集成了基于AD的用户验证，并提供了SSO能力。SNMP Support对SNMP的支持Send Hadoop-spe

8、cific events and alerts to global monitoring tools as SNMP traps以SNMP 异常报告的方式向全局监控工具发送Hadoop特定的事件和告警Scheduled DiagnosticsCloudera技术诊断的支持Take a snapshot of the cluster state and automatically send it to Cloudera support to assist with optimization and issue resolution优化和解决问题时，收集群集状态快照并自动发送至Cloudera支持

9、Automated Backup & Disaster Recovery自动化备份和灾难恢复Centrally configure and manage snapshotting and replication workflows for HDFS, Hive and HBase集中配置和管理快照，复制HDFS、Hive、HBase工作流。这里以CDH和Cloudera商业版为例，说明两个方案可能的功能差异。这些功能是否是深航需要的？Cloudera多个商业版的功能对比Cloudera多个商业版的功能对比 - 续报价对比类别产品/服务描述数量价格硬件服务器可以采用虚拟机12小于50万软件大数据

10、技术平台Cloudera CDH1套0TalkingData数据采集及统计分析平台收集、统计、分析和梳理互联网和移动互联网侧的客户行为数据，包含软件授权、实施和第一年运维1套1,000,000咨询运营咨询服务埋点分析、运营评测及报告、移动运营指标体系梳理、运营培训服务500,000数据咨询服务用户洞察及画像咨询350,000数据数据服务移动用户标签梳理及回吐 20万300,000总计2,150,000TD全套方案集成方案类别产品/服务描述数量价格硬件服务器待定软件大数据技术平台Cloudera商业版、星环、华为等1套待定关系性数据库MySQL1套待定TalkingData数据采集及统计分析平台

11、收集、统计、分析和梳理互联网和移动互联网侧的客户行为数据，包含软件授权、实施和第一年运维1套1,000,000咨询运营咨询服务埋点分析、运营评测及报告、移动运营指标体系梳理、运营培训服务500,000数据咨询服务用户洞察及画像咨询350,000数据数据服务移动用户标签梳理及回吐20万 300,000总计2,150,000+待定项目实施的对比序号TD全套方案集成方案说明1项目启动项目启动2硬件和网络环境准备硬件和网络环境准备物理机涉及服务器部署和网络配置，虚拟机需要划分相应的资源3硬件试运行硬件试运行4CDH部署大数据技术平台部署集成方案部署Cloudera商业版、星环、华为等5统计分析平台应用

12、部署统计分析平台应用部署集成方案需要大数据技术平台提供商参与和配合6App和H5埋点App和H5埋点7系统试运行系统试运行8运营咨询运营咨询至少采集1个月的数据后进行9数据咨询数据咨询结合TD移动大数据，至少采集1个月的数据后进行10项目培训项目培训11项目验收项目验收两种方案都可以作为未来深航大数据平台的基础客户资源管理系统DMPTDIDMACPhoneAndroid ID/IDFA3A3R运营数据交易数据客户数据航班数据其他业务数据线下数据APP数据TD数据其它第三方客户大数据Phone(MD5)TDIDMACPhone(MD5)TDIDMAC第三方标签交易明细数据客户主数据一方客户标签整

13、合客户标签MDM客户主数据主数据申请主数据订阅和发布营销管理客流管理人群画像和分群人群放大和导流城市人迹地图客群管理标签定义和整合客户归一数据架构应用架构业务架构技术架构结构化数据库/中间件/展现大数据管理/计算挖掘/展现小机和存储阵列分布式节点及存储查询/报表挖掘/分析数据模型可视化客户数据标准化管理统一客户视图整合和清洗管控共享航线市场营销运营收益航线战略市场营销运营收益战略TD技术方案TalkingData大数据平台整体架构数据整合多数据源采集(线下线上第一方第三方)实时数据分布式消息队列KafkaETL(Kettle)TD Collector安全控制账户管理LDAP用户认证Kerber

14、os安全审计基于角色访问控制重要数据加密存储管理配置服务监控资源监控异常告警集群运维硬件资源计算节点分布式存储节点计算节点数据分析即席查询交互式查询日志检索基于TD Atom Cube数据检索数据接口高并发数据检索数据可视化TDcharts仪表盘TD Map图表定义集成API报告设计线上数据采集推送Web SDKMPushMobile SDMobile H5 SDK第一方数据源CRMERP。数据存储和数据计算关系数据库(MySql)分布式文件系统HDFS分布式在线数据库HBase数据计算MapReduce统一资源调度 YARN离线计算 Hive实时计算 Spark流式计算StormTD任务调度

15、TD Atom CubeSpark MLlibTD自研算法Elasticsearch内存数据库(Redis)Alluxio交互SQLPresto本期项目涉及的技术组件数据整合多数据源采集(线下线上第一方第三方)实时数据分布式消息队列KafkaETL(Kettle)TD Collector安全控制账户管理LDAP用户认证Kerberos安全审计基于角色访问控制重要数据加密存储管理配置服务监控资源监控异常告警集群运维硬件资源计算节点分布式存储节点计算节点数据分析即席查询交互式查询日志检索基于TD Atom Cube数据检索数据接口高并发数据检索数据可视化TDcharts仪表盘TD Map图表定义集

16、成API报告设计线上数据采集推送Web SDKMPushMobile SDMobile H5 SDK第一方数据源CRMERP。数据存储和数据计算关系数据库(MySql)分布式文件系统HDFS分布式在线数据库HBase数据计算MapReduce统一资源调度 YARN离线计算 Hive实时计算 Spark流式计算StormTD任务调度TD Atom CubeSpark MLlibTD自研算法Elasticsearch内存数据库(Redis)Alluxio交互SQLPrestoTD技术平台的演进 基于MapReduce传统大数据架构 MapReduce与Spark混合架构 全部转为Spark架构核心

17、技术逻辑BigData PlatformIngestion TierReal -TimeMicro-BatchBatchSteamIngestionBatchIngestionAction TierPush EngineRecommendationEngineEDMEngineQuery TierSQL/No-SQLSQLColumnRowGraphStructuredStorage TierSteamingBatchMPPProcessing TierMPISearchGraphOrchestration EngineWorkFlowQualityAuditMonitoringManagem

18、ent TierLifecycle ManagementAuthPolicy ManagementDashboardEngineInsight TierAtom CubeVisualizeSQL/MRData SourceTag ServiceProfile ServiceLocation ServiceApplication Tier整体技术堆栈数据存储数据计算批量计算HiveSpark预汇聚DruidAtomCube搜索Elastic Search工作流TD WorkflowTD数据采集Android SDKiOS SDKWin Phone SDKCocos2D SDKUnity3D SD

19、KAPICloud SDKCordova SDKPhoneGap SDKWeb JS-SDKWIFI Prober图计算GraphSQLTD数据连接器TD SDKWeChatWIFI CollectorRDBMSOLAP (MDX)Local FileHadoop/HBaseCassandraMongoDBSAP/SiebelRedisWeb Crawler技术运营配置管理QConf监控报警OWL通知能力MPushWeMedia行动能力机器学习TensorflowPetuumOpenMPISpark消息总线Kafka展示TD MapDashboard推荐RecEngine部署服务DockerO

20、penStack行式存储MySQL文档存储MongoDBKV存储RedisAerospike图存储Neo4J流式计算StormSpark即席分析Presto服务总线TD Micro-Service文件系统HDFSAlluxio列式存储HBaseParquet经过海量数据验证的平台性能和可用性42亿累计设备Device Coverage6.5亿月活设备Monthly Active Devices2.5亿日活设备Daily Active Devices覆盖体量14T每天新增数据Daily Ingested Data 34亿每天交互会话Daily Sessions每天处理事件Daily Events

21、370亿数据吞吐400万80个3,000个4,200万城市Cities商城Shopping MallsWIFI指纹WIFI Fingerprints位置信息Points Of Interest线下数据标签体系10大类，800+个标签交换数据金融地产零售医疗政府航空酒店海外广告开发者12345平台高可用性设计HBaseMasterHbaseRegionServerHbase集群HadoopNameNode(Standby)HadoopDataNodeHadoopDataNodeHadoopDataNodeHDFS集群ESDataNodeESNameNode(Standby)ESDataNodeE

22、SDataNodeElasticsearch集群MysqlNodeMysqlNodeMysql集群RedisNodeRedisNodeRedis集群HadoopNameNodeHadoopDataNodeHive集群StormNimBusStormWorkerStorm集群HadoopNameNodeHadoopDataNodeSpark集群HadoopNameNodeHadoopDataNodeSpark MLlib集群HadoopNameNodeHadoopNameNode(Standby)TD任务调度集群各功能组件均支持虚拟化部署，并能灵活组合。各功能组件在设备层级组件层级数据层级应用层

23、级均实现冗余，确保平台整体的高可靠性和高可用性。各功能组件均可按需动态扩展，节省初期投入的同时保证项目后期的资产利旧。物理环境虚拟环境运维管理平台运维服务对象运维服务内容Hadoop生态系统通用集群框架自研组件实时集群性能监控与分析服务的安装/卸载集群计算任务和数据的管理配置的管理和优化集群扩容与迁移服务的启停和日志的监控集群整体的升级和维护核心进程自动监控与报警Hadoop生态系统开源版hadoop发行版hadoopHiveHbaseYARNHDFSStormKafkaSparkZokeeper 开源发行Hadoop 统一管理机器管理部署管理配置管理服务启停日志查询实时仪表盘可视化日常运维操

24、作自研组件统一管理自研组件TD OWLTD CollectorTD 自研算法TD Atom CubeTD 任务调度1. 快速部署2. 精简管理3. 便携扩展4. 安全生产5. 全面管理6. 丰富API平台安全特征操作行为审计实用的匿名化模型： K-匿名隐私保护模型，保证每条记录都能隐藏在规模为 K 的记录集之中，达到防范隐私泄露的目的。隐私保护访问控制：通过Hadoop文件系统的读、写、执行三种操作的组定义，实现文件的访问控制；自定义用户组策略：通过建立自定义的用户组策略，实现权限控制。存储安全通信安全：大数据平台通过Kerberos协议实现集群安全通信；角色管理：通过对角色的Kerberos

25、认证，实现对客户端的访问控制。身份安全强制执行HDFS的文件许可；用Kerberos RPC (SASL/GSSAPI) 在RPC连接上做相互认证；为HTTP Web控制台提供“即插即用”的认证；接入安全身份验证接入安全隐私保护存储安全深航项目所涉及的应用软件统计统计分析应用数据流程1、移动用户行为分析；2、线上用户数据积累；特性 全智能硬件支持Watch智能手表Phone智能手机Tablet平板设备Wearable可穿戴设备TV盒子和电视平台特性 全移动平台支持特性 跨六大平台支持用户分群分析漏斗模型分析多维钻取分析分群分析允许企业利用设备、地区、用户来源、使用深度、具体行为等方式来划定细分

26、用户群，抽取和对比细分数据，了解群体并进行特征营销利用最简单实用的漏斗定义工具来自由定义转化漏斗，帮助企业分析用户在每步骤流程中的转化比例。找出最优路径，优化流程。多维度筛选意味着任何数据报表，都可以单独过滤出渠道、版本、特征用户群的数据。任何期望阅览的数据都可看的更细，更透彻。平台特性 先进的分析功能三大高级分析功能帮助企业运营和管理人员随需了解用户情况和业务状况，这样才能随时调整。平台特性 AAARRR分析模型以获取品牌关注Awareness、获客Acquisition、活跃Activation、留存Retention、付费Revenue、传播Refer为核心指标体系的AARRR分析模型是

27、移动互联时代经典的统计分析模型。一键即可获得AAARRR方法的38项运营指标，让企业的移动运营有的放矢。平台特性 灵动分析一条语句完成集成，只需1分钟；免应用更新，动态增加数据采集点，实时生效；面对界面追加统计点，数据收集可见即可用。零代码，数据采集埋点动态添加，让业务数据采集告别漫长的开发等待主要功能模块介绍 Mobile App分析通过SDK上传的数据对Mobile APP端数据进行分析主要功能模块介绍 Mobile H5分析通过SDK上传的数据对Mobile H5端的数据进行分析主要功能模块介绍 PC Web分析通过SDK上传的数据对PC Web端的数据进行分析主要功能模块介绍 跨屏分析

28、应用概况：在跨屏数据支撑下提供该应用整体的新增、活跃、累计、停留等综合数据的情况；用户分析：根据用户来源对比的看到其新增、活跃、时段等使用情况，并可对用户分群进行进一步分析；行为分析：针对用户留存、访问次数、使用时长、使用间隔、用户回访等重点行为数据进行分析；事件分析：根据自定义业务事件了解业务转化情况，还提供漏斗分析以方便对整个业务转化情况进行分析；通过企业内部会员身份认证打通跨屏（Mobile APP、MobileH5、PC Web）数据并进行分析主要功能模块介绍 管理平台用户管理：创建和管理使用移动分析的用户；产品管理：注册和管理在移动分析平台上统计分析的应用产品；权限管理：为使用移动分

29、析的用户及用户群组分配和管理权限；资源管理：为移动分析配置和划分资源端口软硬件配置系统模块说明说明：可以基于其他大数据技术平台搭建；如果使用TD全套解决方案，可以作为深航大数据平台的基础；实时计算系统可能根据实际运行情况增加节点，图示节点为最小组成；离线计算部分Hadoop集群缺省由2个Namenode和5个Datanode组成，共计8个主机，可以根据系统处理数据量进行调整；建议实时计算模块、离线计算模块与数据库部署在同一个网段，便于防火墙配置与提升性能；软硬件配置数据流向图和网络配置网络配置：提供服务器相应台数匹配的内网IP地址，和一个外网IP地址或域名；内网网络千兆带宽；服务器实现互联互通

30、，防火墙开对应的端口；按照最高峰值数据的流量及冗余，推荐对称带宽上行=下行10M独享；外公网地址（或带域名），用于Collector、Report 服务器；软硬件配置依赖的软件和操作系统名称版本推荐版本JDK1.7版本及以上jdk-7u79-linux-x64MySQL5.6版本及以上mysql-5.6.26-linux-glibc2.5-x86_64Jetty8.1版本及以上jetty-distribution-9.2.10Zookeeper3.4.5版本及以上zookeeper-3.4.6Kafka0.8.2版本及以上kafka_2.10-Storm0.9.5版本及以上apache-sto

31、rm-0.9.5Redis3.0版本及以上redis-3.0.4.tar.gzHadoop2.6.0版本及以上hadoop-2.6.0Hive1.1版本及以上apache-hive-1.2.1名称版本推荐版本RHEL6.0版本及以上RHEL6.6，也可以使用开源的操作系统CentOS6.6依赖的软件操作系统软硬件配置建议的硬件配置序号角色机型配置（CPU/内存/硬盘）1Collector1虚拟机8c/16g/500g2Collector2虚拟机8c/16g/500g3Zookeeper1/Kafka1/Datanode1虚拟机8c/32g/2T4Zookeeper2/Kafka2/Datano

32、de2虚拟机8c/32g/2T5Zookeeper3/Kafka3/Datanode3虚拟机8c/32g/2T6Redis/Offlinecompute/Hive/Namenode1虚拟机8c/32g/1T7Report/Queryengine/UM虚拟机8c/16g/500g8Storm1物理机12c/32g/1T9Storm2物理机12c/32g/1T10Storm3物理机12c/32g/1T11Mysql-Master物理机12c/64g/2T12Mysql-Salver（可选，建议使用）物理机12c/64g/2T以下配置可以支持50万日活用户，存储可以支持2年的容量需求项目进度计划工作

33、项工作子项开始时间（工作日）结束时间（工作日）提交件及阶段完成标志项目启动和准备阶段T（签订合同）T+5项目相关人员表项目总体实施计划表项目总体实施方案及SOW项目一期启动和准备阶段移动端统计监控功能T6T10项目第一阶段相关人员表项目第一阶段需求分析表项目第一阶段方案设计书项目第一阶段实施计划表项目第一阶段实施方案及SOW项目实施第一阶段T+11T+20第一阶段项目实施报告项目准备第二阶段H5端统计监控功能T+21T+30项目第二阶段相关人员表项目第二阶段需求分析表项目第二阶段方案设计书项目第二阶段实施计划表项目第二阶段实施方案及SOW项目实施第二阶段T+31T+50第二阶段项目实施报告上线

34、试运行阶段T+51T+57SDK集成手册JS 集成手册系统使用手册系统运维手册系统培训T+58T+60培训资料项目验收系统上线T+61T+65项目验收报告注：项目进度计划可能根据实际项目范围进行调整咨询服务内容咨询服务内容服务描述输出物交付周期资深咨询师咨询师人天数数据埋点咨询服务结合业务需求进行埋点设计和部署，追踪用户在使用各项功能之间的转化，将使用行为及习惯数据传输至后台，这些数据的采集是日常运营和运营推广过程中分析和建议的基础数据埋点咨询报告2-3周1120竞品分析咨询服务比较同类竞品产品，对其产品的营销、产品内容、社交建设，产品体验，市场宏观表现，用户特征等进行综合分析，了解整体竞争市

35、场目前动态及情况竞品分析报告和流程建议2周1120流量评估咨询服务对渠道现状的整体分析和评估，包括：流量成本性评估，渠道获客能力评估，渠道用户质量评估，渠道收益评估等流量(渠道)评估咨询报告和流程建议4周1140产品评估咨询服务定制对产品的打分评测表格，基于目标产品在移动市场的整体表现，进行评测打分，分解相关运营数据，各项运营指标的评估了，解产品现状，同时基于TalkingData Benchmarks 提出行业行指导建议，对产品现阶段情况全面进行量化和分析。为后续产品战略及功能上提供建议产品评估咨询报告和流程建议4周1140客户画像和用户评估咨询服务结合TalkingData设备标签，对目标

36、客群的线上和线下的用户画像服务，价值用户分群，实现对全量或不同价值用户群的洞察，建立未来移动运营中用户运营的业务指导用户评估咨询报告和流程建议6周1160营销获客服务产品触媒建议评估，品牌及社区运营，产品种子客群引入和人群画像分析，营销效果评估和渠道策略优化建议营销获客服务报告4周1140总计220项目团队组成项目团队组成项目决策委员会深航项目管控组深航TalkingData专家组深航TalkingData移动运营组深航人数 1TalkingData人数 2系统实施组深航人数 3TalkingData人数 3产品组深航人数 1TalkingData人数 2数据组深航人数 1TalkingDat

37、a人数 3项目人员安排角色职责项目决策委员会负责全局管理项目的整体情况，调动各方力量对项目建设进行审定，从组织和管理上保证整个项目高标准、严要求项目管控组负责项目各项事务，把控项目的进度、质量、安全和成本各项关键指标，协调各项目资源，保证项目按计划进行专家组负责为项目整体提供业务和技术上的整体建议支持数据组负责运营涉及到的用户/产品/渠道相关数据分析，进行数据打通、分析、挖掘移动运营组负责所有运营相关工作，负责项目的需求定义和应用功能要求的提出，用户/产品/渠道运营实施等产品组负责移动统计分析平台产品设计及产品体验优化系统实施组负责移动统计分析平台部署和实施、数据管理平台的开发、测试、部署实施

38、、其它业务系统集成等工作注：项目投入资源可能根据实际项目范围进行调整航旅行业典型客户后续的项目规划理解采集准备扩展发布洞察应用业务理解数据理解数据应用理解收集和捕获数据开发新的数据源清洗和整合 ID 图谱操作和扩展数据最本质的特征数据可视化 传达数据发现通过有指导或无指导的机器学习算法实施价值场景数据价值流方法论价值评估和反馈数据价值流DMP PLUS平台DMP Plus核心功能和亮点应用说明线上/线下多源数据采集线上/线下多源数据实时采集TD Collector轻量、高效、稳定、资源占用少，功能全面Native SDKWifi SensorServer APIMobile H5/Web SD

39、K线上打磨5年，更稳定更可靠DMP PLUS平台连接企业内部第三方数据DMP PLUSTD数据连接器Hive(基础属性表)TD Bitmap数据源及数据属性管理标签及标签分类管理离线计算多数据源支持无需编程的可视化界面元数据配置(TD ETL)数据结构灵活基于TD Atom Cube的数据访问高性能基于定时任务的批量更新(TD 任务调度)数据市场平台数据管家数据整合和清洗连接器探索数据接口统计分析元数据管理加工编辑器调度器注入准备探索分析发布数据应用机器学习数据接入数据目录数据工厂数据发布知识管理数据源管理数据质量管理发布管理DMP PLUS平台数据采集器企业一方数据When情景信息Do动作行为合作方数据公众号数据电商站数据媒体数据公众号数据数据市场第三方数据数据源SDKSensorAPIJSWho用户信息Buy交易信息应用分析营销洞察探索更多ID 图谱MobileIDFAIDFVAndroidIDMACIMEIIMSIPhone NO.IPCellIDLBSTDIDIDFAIDFVAndroidIDMACIMEIIMSIIPCellIDMD5 IDLBSIDMappingPCIPTVIMEIIPMACCookieMACID Mapping建立TDID为核心ID关联图谱IP MACTDIDIP MACIDFA IDFVTDIDIP AP LBSIP AP LBSAndroid