商务大数据分析导论 课件 附录3.MI科技公司大数据应用案例

MI科技公司大数据应用案例CONTENTS01.案例背景02.业务需求03.大数据平台04.大数据实时分析05.云深度学习平台占06.“4M”智能营销CONTENTS07.MI广告交易平台08.品牌广告业务09.区块链应用10.案例评析案例背景PARTONE创始人在W大学期间受《硅谷之火》影响，立志创办世界级企业，先后创办S软件公司、Y网，并取得成功。2010年4月6日，MI公司成立。创业历程MI公司发展历史业务发展MI公司自成立以来，销售业绩快速增长，尤其在手机市场取得显著成就，同时在互联网电视、智能硬件生态链等领域颠覆传统市场。MI公司发展历史MI公司战略与模式MI生态链坚持开放合作，打造了丰富的智能产品生态体系，MIJA品牌推出，产品迅速成为市场明星。生态链建设01MI公司战略与模式MI公司通过MI社区、MI操作系统、电商、云服务等逐步扩展业务，形成独特的发展模式，称为“旋风图”。业务发展模式01MI公司大数据与未来大数据应用发展前景01MI公司拥有大量用户资源，通过大数据赋能，以支持企业超常规发展，提供强劲动力。02未来有品商城、MI商城、MI之家将进一步扩展SKU，持续提升服务与产品覆盖，向千亿元目标冲刺。业务需求PARTTWOMI生态大数据销售的智能产品产生大量数据，MIUI操作系统和内置应用则进一步丰富大数据来源。涵盖手机、电视等硬件产品，以及MIUI操作系统和各类App，形成国内领先智能终端生态。以“全生态，多样性”为特点，构建了独一无二的用户行为数据资源库。MI公司业务构成大数据来源分析用户从早到晚的各种智能设备使用数据上传至MI云，为MI公司提供持续的数据经营与分析资源。MI生态大数据特征大数据应用与价值MI云平台01个人云服务平台个人云服务平台"MIiCloud"专注于为MI用户服务，提供数据备份与存储，助力用户管理联系人、短信、照片等信息。02MI内部云MI内部云为业务提供云端服务，支持大数据处理，服务于内部研发、运维和测试团队，构建资源池。03MI生态云MI生态云为生态链企业提供一站式云服务，融合数据，助力企业实现业务云端化，服务亿万用户。MI大数据的应用需求广告营销中心，预估点击，画像描绘，实现精准推广和营销。MI大数据核心应用用户征信评估，融资辅助，打造安全金融环境。互联网金融运用提供个性化搜索，定制化推荐，提升用户服务体验。大数据搜索推荐010203大数据识别异常购买，保障公平，打击非法抢购。应用于照片处理，图像分析，增强用户体验和服务。依据用户需求，实施定制服务，实现运营精细化管理。精细化运营策略防“黄牛”系统图像分析处理功能MI大数据的应用需求大数据平台PARTTHREE涵盖数据采集、存储、管理、分析、算法及数据可视化，核心组件基于开源技术并进行优化。MI公司大数据架构概览采用JavaScribe，每台机器通过代理软件收集数据，实现高效数据整合。数据采集机制主要使用HBase，结合开源技术，确保存储效果和性能。数据存储解决方案Kerberos进行数据管理与认证，保证数据操作的准确性和效率。数据管理与认证技术架构技术架构MapReduce、Spark等工具实现从天级到小时级，甚至秒级的数据分析能力。01利用Tensorflow进行深度学习，结合Kubernetes进行资源调度，支持多元化业务。02通过Kafka、Druid等实现数据实时流处理和可视化，确保数据准确呈现。03MI公司在HBase和Kudu项目中的深度参与，技术专家在技术委员会中发挥关键作用。04多维度数据分析算法应用实时数据可视化HBase与Kudu技术对比MI数据工场构建大数据基础平台，提供数据采集、计算、存储及各类工具，服务于公司各团队和生态链企业。MI数据工场概述基于Hadoop体系，融合Hive、Spark、MIapReduce等技术，适应丰富多样的业务场景。技术选型多样性支持机器学习、挖掘，提供数据可视化、任务管理、权限管理等服务，促进部门间数据利用。数据工场功能强化数据权限管理，防止不当利用，确保数据在开放共享中的安全性。安全与权限控制MI的数据存储格式MI数据存储采用Parquet格式，支持多种大数据处理技术，具备读取速度快、占用空间少、处理效率高的优势。客户端数据接入客户端数据接入通过WAP、App采集，SDK模式便于前端采集，服务端Log模式则无需前端介入，两者在不同场景下各有优势。服务器端数据源处理数据时，需关注服务器端数据源，如业务数据库和日志。使用ETL工具批量导入数据库数据，Scribe则用于将日志数据写入HDFS。数据处理方式数据处理方式MII公司运用Docker管理计算框架，解决环境需求和异构问题，实现资源的有效利用和用户数据的高级保护。DockerMI公司优化计算管理：定时/手工执行任务，参数化处理，数据依赖与指定队列确保效率，结果通过邮件通知，实现数据自动对接。计算管理元数据管理旨在统一数据处理方式，满足不同工具需求，节省用户理解和使用数据的时间。元数据管理大数据实时分析PARTFOUR因MySQL处理容量限制，MI公司在日活跃用户超过1亿后，面临处理困境，需寻求扩展性更强的解决方案。MySQL至HBase迁移背景01HBase迁移策略02采用双写机制，新数据同时写入HBase和MySQL，确保数据同步，再逐步迁移MySQL的历史数据至HBase。数据的迁移数据的迁移迁移过程中采用双读检查，对比HBase和MySQL数据，当一致性达到99.9%时，确认迁移完成。在数据一致性高且稳定后，全面切换至HBase，最终返回并处理灰度测试结果，确保业务正常运行。数据一致性验证HBase迁移结果确认01从非实时到MIapReduce结合RDBMS，再到HBase，最后通过Kafka、Storm实时分析，最终采用Druid实现高效实时处理。02专为OLAP设计，支持快速查询，具备高可用性和可伸缩性，适用于大规模实时分析。03第四个阶段开始，通过Kafka、Storm到RDBMS或NoSQL，数据直接进入Druid实现毫秒级交互式查询。04在MI公司内部，除了统计分析，还用于广告系统，实现实时请求、点击、展现等数据的快速分析。MI公司数据分析演进Druid特性摘要实时分析阶段Druid应用案例基于Druid的数据实时分析基于Kudu的实时数据分析2015年联合发布Kudu，Apache开源，兼顾大吞吐和低延时，优化Druid的响应慢问题。MI公司实时数据分析技术01使用前：ETL高延时，Logo无序，需完整数据才计算；使用后：ETL流程简化，访问性能提升，问题解决明显。Kudu应用效果对比02实时统计数据服务大数据实时分析平台集成多元数据，提供广泛实时统计分析，深度结合用户画像，助力优化业务策略。用户画像服务精准描绘用户行为，通过实时统计分析业务数据，支持开发者做出数据驱动的决策。云深度学习平台占PARTFIVE01MI云深度学习平台概述提供高性能分布式云服务，支持模型开发到预测的全过程，旨在优化机器学习。02易用性与兼容性支持跨平台命令行工具和多种API，兼容TensorFlow等深度学习框架，实现跨云平台的代码兼容。03高性能与灵活性采用GPU运算支持数据并行，灵活分配CPU、GPU资源，实现秒级计费。04安全与完整性采用多租户认证授权，动态调整用户配额，支持云端训练及模型服务，提供完整的开发环境。05模型服务与支持支持模型一键部署，提供高性能服务，支持在线升级和负载均衡，内置丰富深度学习框架。性能特点系统架构构建于公有云和私有云，利用GPU集群提供强计算能力，支持TensorFlow等自定义模型。01包含存储服务、任务管理、GPU集群管理和计算服务，用于处理各种深度学习任务。02服务于智能助手、云相册、广告、金融和搜索推荐等业务，实现图像、语言和语音的智能处理。03提供API、SDK、命令行和Web控制台，适应不同用户和场景的需求，满足复杂应用环境。04MI云深度学习平台概述平台核心组件服务应用领域用户访问方式数据经FDS系统存储，处理后数据返回MI云，综合分析得出结果，支持各类应用场景。数据处理流程智能设备通过App服务器将图像、语音、文本数据传输到MI云，进行分析处理，为用户提供服务。MI云深度学习平台应用应用场景应用实例覆盖1500+种物体分类，助力智能家居，可应用于场景识别和产品分类。物体识别功能定位人脸位置，分析性别、年龄信息，适用于图像分析、安防监控等场景。MI云人脸检测服务01内部广泛使用，提升资源利用率，缩短启动时间，支持分布式训练和故障迁移。MI云服务优势02支持数十个功能，兼容近20个深度学习框架，满足异构硬件和多框架需求。平台功能特性03提供自动超参数调优，实现无人值守操作，支持从训练到上线的完整流程。自动化优化服务04建成多租户隔离、资源共享的高性能平台，集成训练和服务功能，提升用户体验。创造用户价值应用状况“4M”智能营销PARTSIX大数据类营销MI公司产品矩阵涵盖手机、电视、路由器，依托大量用户基础进行大数据用户画像。营销效果评估对比通投，点击率提升87%，搜索关键词相关用户增长显著，展现大数据营销优势。精准营销阶段划分三个阶段深入挖掘科沃兹目标用户：种子用户挖掘、潜在受众寻找、潜在受众更新。大数据维度应用依据用户年龄、收入、购车意向等五维数据，定位并推送广告，提升营销精准度。全场景类营销用户佩戴PUMA定制MI手环，锁屏提示运动数据，鼓励用户积极参与户外运动。evoKNIT跑鞋结合“酷跑街头”理念，通过MI运动实现跨平台展示，锁屏即见运动数据。MI手机与生态链产品无缝对接，全场景包围用户，打造智能生活体验。MI生态链产品整合PUMA跑鞋营销创新运动健康场景融合01MI公司培育粉丝文化，借助粉丝群体进行话题互动，增强用户参与感，实现品牌与用户深度互动。022016年10月，华润怡宝借助MI新品发布会，开展线上猜价活动，通过微博话题吸引用户参与，提升品牌曝光度。03MINote2发布会现场发放特制华润怡宝纯净水，结合直播贴，实现线上线下联动，品牌曝光次数显著增加。粉丝文化与社群营销华润怡宝跨界合作案例新品发布会创新营销社群类营销创意创新类营销设计别克汽车互动专题，以动物勋章激励用户参与，结合多渠道推广，引导用户参与线下试驾，提升品牌曝光和用户参与度。创新营销策略别克品牌曝光量达到8000万次，点击量超120万次，活动期间形成多次参与高潮，有效转化为潜在消费者。活动执行效果MI广告交易平台PARTSEVENMI广告平台涵盖MI应用商店、浏览器等软硬件业务的变现，支持多种广告形式，如图2-12所示。01MI广告平台架构对接MI用户手机、服务器等，管理流量，配置和运营。02接入层功能包含广告核心逻辑，如广告交易平台、效果服务和排期服务。03广告服务层描述负责点击率预估、预算平滑和精准定向等算法，实现广告精准投放。04算法数据层职责存储广告数据，提供广告和用户数据的访问，支持数据访问层。05存储层作用构建DSP服务广告主，统一管理平台提升广告效率，支持多种竞价模式如PDB、PD、PrivateAuction和PublicAuction。包括DSP，方便广告主和代理公司统一管理多账户，支持CostPerClick和CostPerDay付费模式。提供综合性管理界面，实现按日付费和按点击付费，促进广告交易的便捷与高效。已历经三个发展阶段，不断优化升级，满足广告交易的多样需求。MIAdExchange功能概述MAX平台体系架构广告交易服务MI广告平台发展历程广告交易平台点击率预估MI公司广告部门通过优化用户特征值和使用FTRL算法，提升广告在应用分发中的效果，尤其重视用户行为特征的运用。应用分发01搜索是通过应用商店和浏览器利用搜索流量进行广告变现，通过上下文、广告、用户和组合特征进行精准推送，模型已从相关性模型升级为点击率模型，效果显著提升。搜索02起源于Facebook的信息流广告在今日头条、微博等平台成功，MI公司一点资讯、浏览器为其主要载体，通过个性化算法提升广告效果，实现流量的精准售卖。信息流03大数据反作弊应用MI公司开发的硬件标识方案能生成设备唯一的ID，有效识别设备真伪，应用效果良好。设备真伪识别MI公司通过大数据分析用户异常行为，构建包含客户端、服务端和前端的广告反作弊系统，以强化监控和识别作弊行为。用户行为分析品牌广告业务PARTEIGHT售卖方式售卖方式有CPT(按时间计费)和CPM(按展示量计费)广告，以及合约式广告，后者若违约需补量赔偿。定向方式MI公司MI品牌广告业务提供多样定向选择，如用户属性、设备型号、人群包、时间、内容及特殊天气状况等。频控绝大多数的广告需要有频次控制，MI品牌广告业务以小时、日、周进行频控。第三方监测MI品牌广告业务委托秒针、Admaster和DoubleClick等第三方机构进行专业的监测。业务的特点系统架构MI公司的SSP管理手机电视流量，对接多个DSP，实现广告的效果服务和品牌服务，如检索、过滤、预估、定向等。广告检索系统广告售卖系统是广告排期工具，具备订单管理、库存分配（依赖流量预估）等功能，支持定量、寻量等操作。广告售卖系统数据处理包含日志服务、实时和离线数据处理，其中流量预估是基础，支持在线投放和库存分配。数据处理分为在线和离线两部分，在线提供查询接口，离线包括总量、定向数据处理和算法评估。流量预估系统架构依赖请求日志，数据求和后用Holt-Winters算法进行总量预估，用于流量预测。总量数据预估针对日期、广告位和定向条件，离线部分使用BitMap和正交算法处理请求日志，定向数据存储在MySQL。广告位定向处理通过RMISE、高估率和低估率等指标，评估预估算法的准确性，持续优化流量预估。算法评估与优化流量预估库存分配处理大量订单，解决定向冲突，优化库存利用率，尤其在节日高峰期。广告订单处理基于预估流量和订单数据构建二分图，确保每个订单得到有效分配。二分图构建与分配分析请求日志预测流量，生成最小化定向条件，简化后续分配。流量预估与定向条件结合订单优先级应用启发式算法，保证分配效率与公平性。分配算法与优化01020304优化订单完成率和平滑投放，面对实际流量偏离预期时的快速修正需求。在线投放目标与挑战通过实时数据处理得出订单完成率，不断进入循环优化，确保投放精准有效。数据驱动优化兼顾实时流量预估修正与订单完成率动态反馈，实现小时级模型训练更新。实时反馈机制闭环流程，实时数据进入库存分配模型训练，生成方案，结合品牌需求发布广告，通过日志服务处理数据。在线投放流程在线投放01实时分析debug请求，追踪广告投放关键步骤，快速定位实时问题所在。广告运营问题定位02小时级数据统计，结合总请求、过滤次数，全面分析历史问题，判断预估或分