计算广告学 课件 第三章 计算广告数据处理

数据处理计算广告DataProcessing第三章目录数据采集DATACOLLECTION数据清洗DATACLEANING数据洞察与建模DATAINSIGHTANDMODELING01数据采集采集目标在数据采集之前，首先要确定本次广告活动想要达到的营销目标与广告效果，如了解消费者的需求转移路径，或者产品之间的关联性等。采集来源第一方数据是在广告主自有平台上产生和被采集的，所有权属于广告主的数据。第二方数据是在外部平台上产生和被采集的，所有权属于广告主的数据。第三方数据即在外部平台上产生和被采集的，所有权属于第三方的数据。采集系统计算广告数据种类较多，并且不同种类数据产生的方式与来源不同。据此，采集系统主要分为系统日志采集系统、网络数据采集系统和数据库采集系统等三种类型。数据库数据采集常见的三种采集方式是直连同步、数据文件同步和数据库日志解析同步。HSDKTUOPMN数据采集是通过传感器、社交网络、移动互联网等渠道获得各种类型的结构化、半结构化及非结构化的海量数据，以供后续数据开发和使用。广告采集的数据主要有四种类型：系统数据、指标数据、监控数据和性能数据。数据采集02数据清洗用户标识数据私有用户标识仅仅标识了用户的签约状态，不需要告知别人，用户也无须感知；公有用户标识包括UserID、Cookie、IDFA、IDFV、IMEI、AndroidID、MAC、OAID、OpenID、UnionID。人口属性数据人口属性是指人口所固有的性质和特点，包括生物属性和社会属性两个方面。生物属性是社会属性的自然条件；社会属性是人口区别于生物群体的根本标志。地理位置数据地理位置数据是指与地理空间或水平面上存在的物体或元素相关的信息。地理位置信息可以用于用户行为和生活状态分析。用户行为数据主要有转化、预转化、搜索广告点击、展示广告点击、搜索点击、搜索、分享、页面浏览、广告浏览。根据效果广告的有效性来划分，用户行为可以分为决策行为、主动行为、半主动行为和被动行为。社交关系数据在线社交网络是由互联网用户通过自组织方式构建组成的集合，是真实物理世界的社交关系在虚拟网络世界的一种映射，其本质是人与人之间的关系网络。包括双向确认的社交网络数据、单向关注的社交网络数据和基于社区的社交网络数据。数据分类数据标准化——不标准数据形式标准化主要解决数据的形式问题；数据同趋化处理解决不同性质的数据问题；数据无量纲化处理主要解决数据的可比性问题。异常数据过滤——不干净异常数据是指那些在数据集中存在的不合理的值。首先使用工具和数据分析来进行异常数据的排查，之后进行异常数据过滤，常用方法有七种：删除、视为缺失值、平均值修正、盖帽法、分箱法、回归插补、多重插补。数据ID打通——不整合ID打通也称为“同人”，即找到“人和设备”“设备和设备”之间的关联。ID打通常用的几个合规做法包括会员体系ID打通、IP同源ID打通、多场景ID适配。数据整理数据库技术数据模型管理常用的数据模型数据库技术是研究如何组织和存储数据，如何高效地获取和处理数据，是一种计算机辅助管理数据的方法。包括存储、查找、添加、修改、删除数据等功能。数据模型是现实世界在数据库中的抽象，也是数据库系统的核心和基础。数据模型通常包括数据结构、数据操作和数据完整性约束三个要素。数据库理论领域中最常见的数据模型主要有层次模型、网状模型和关系模型三种。数据管理03洞察建模数据洞察计算广告数据洞察针对广告投放后的数据报表及其分析，涵盖推广账号、推广计划、广告组、定向标签等多个层级的数据，并支持按日、按小时进行查询。基于“数据扩充”的数据洞察基于“数据扩充”的数据洞察法是根据广告主采集的的9直接采购外部供应商的现成标签用以数据洞察。数据分析和数据挖掘数据分析是通过SQL、Python、Excel等工具汇总数据，将数据转换为可理解可使用的信息。数据挖掘是通过建模来挖掘数据的内在关联，主要是通过机器学习从训练集中发现一定的规律，从而将数据转换为信息。基于“知识图谱”的数据洞察基于“知识图谱”的数据洞察法即通过“知识图谱”结构化数据，建立自定义标签用以数据洞察。常规的知识图谱有URL图谱、App图谱、Location图谱、互动行为图谱和产品分类图谱。数据洞察数据建模计算广告本质是一个流量售卖的过程，是广告主、媒体方和用户三方的博弈。广告主通过流量的购买最大化自己的投资回报率（ROI），媒体方通过流量的售卖进行充分“变现”，用户可以从广告中获取自己需要的信息。从交易方式来看，计算广告可以分为合约式广告和竞价广告两大类。合约式广告由广告代理公司和媒体签订协议，确保某些广告位在某时间段为指定的广告商所占有，同时广告商按整体合同支付广告费用，合约交易并不需要广告模型。

在竞价广告中，广告主针对曝光展示机会出价竞购，最后由流量方按照竞价规则（一价或者二价）将流量售卖给广告主。数据模型类型数据模型作用数据建模步骤概念数据模型是面向用户、面向现实世界的数据模型，通常是对实际的客观对象的简化描述。逻辑模型是指数据的逻辑结构。物理模型就是把逻辑模型的内容在具体的物理介质上实现出来。计算广告数据模型的作用是通过分析广告投放数据、用户行为数据和其他相关数据，预测广告的点击率、转化率等关键指标。数据建模的具体步骤分为选