大数据应用基础计算广告

计算广告大数据应用基础魏炜1互联网广告概述广告是用于说服消费者采取某种行动（购买、注册或关注等）的传媒手段，它的历史可以追溯到三千多年以前。如今从街头巷尾、报刊杂志，再到电视、电影，广告无处不在。广告的宣传推广作用非常大，尤其对推动整个商品零售业的发展，直到了至关重要的作用。传统广告中，广告主不知道受众是谁，也不知道受众是否喜欢广告，因此难以衡量广告投放效果。广告是很多互联网公司赚钱的基本途径，例如谷歌、新浪、雅虎、百度这些大公司、以及广大的中小网站。通过计算广告，可以计算出来广告的效果。计算广告和推荐系统很大程度上是相通的：通过收集用户行为数据，了解用户对物品的兴趣，进而给用户推送可能感兴趣的物品。2第一条互联网广告1994年10月，在HotWired网站上出现了人类历史上第一条互联网广告。用户点击了该广告以后，就会被引导到AT&T的网站上。约40%的用户点击了该广告。3互联网广告的分类4互联网广告分两类展示广告：它注重“品牌”宣传。它不管成单，只求有个铺天盖地的品牌宣传阵势、进入用户的视线，而不是直接促成交易。注重的是潜移默化的积累。所以，它通常色彩亮丽、生动活泼。2002年以前，横幅广告是主要的互联网广告模式。典型的平台有新浪、搜狐。它按展示次数向广告主收费，即CPM(Costpermile)。它的缺点是定位不准确。近年来兴起的RTB广告也算是展示广告，但是跟传统展示广告非常不同，它定位比较准确。每次曝光收费都不同。5互联网广告分两类效果广告：它注重可衡量的“效果”。相比于传统的展示广告，效果广告的重要性越来越高。它具体分为：搜索广告、广告网络。收费模式：按单次点击成本（CPC）、单次购买成本（CPA）收费。知道了CPC/CPA（单个广告的成本）和CTR（单个广告的价值），企业广告部门就可以评估广告投放的ROI。6效果广告分两类搜索广告（基于搜索记录的广告）：根据用户当前的搜索关键词，投放相应广告。广告网络：根据用户的历史行为，投放相关广告。只要是效果广告，都是按照点击量收费的，并且要用到点击率预估的算法。7（提供广告网络和搜索广告的）平台网站如何对效果广告的响应率进行预测用户对一则广告的响应的模型是：P(响应|用户，广告，情境)响应：点击或转化从item的角度讲就是广告主提供的广告的特征，例如格式、尺寸。从user的角度来看就是用户属性库和用户画像，例如用户的年龄、性别、地域、学历、职业、兴趣爱好等从context（情境）的角度看有时间、页面内容、展位、环境（比如搜索或浏览网页）等谷歌AdWords、百度、微软、雅虎等都用监督学习算法来预测响应率。通常是用以往的被点击和未被点击的样本来训练逻辑回归模型。逻辑回归模型适合高维度、大数据量。就像之前提到的，如果知道了点击率、转换率，广告主就可以算出ROI，也就是能把广告投放效果加以量化。8广告网络广告网络（AdNetwork）广告网络能帮助中小网站出售广告位。并且，也能帮助大网站的冷门频道把广告位卖出去。最成功的广告网络是由主要的搜索引擎提供的，因为搜索引擎是上网的主要入口，天然就是广告主和网站之间的桥梁。例如：谷歌的AdSense、百度网盟。9广告网络比如，百度网盟和几十万愿意被投放广告的中小网站的站长合作，这些网站把部分广告位授权给百度进行投放。广告主向百度投放的广告就在这些网站上展示，每当一个网民点击了广告，广告主就要付广告费了，这个广告费大约一半给百度、一半给那个网站。百度自己是不展示这些广告的，而是依靠为数众多的联盟网站来展示。10广告网络的受众兴趣识别方法相比于搜索广告，广告网络无法依靠用户明确给出的query来了解用户意图，而是需要费力地收集用户大量的历史行为数据来掌握其兴趣。广告网络通过Cookie收集用户的历史行为数据。11广告网络的受众定向方法和搜索引擎基于query定向不同，广告网络通过受众定向的方式进行广告匹配。主要依据有以下方面：行为定向。按照用户行为（搜索、浏览等），分析出用户的兴趣。这是最主要的依据。其他依据还有：用户重定向。也就是把广告再次推送到访问过广告主网站的用户。这种定向的效果很好。上下文定向。对网站的内容和广告内容进行匹配。按用户的人口统计学信息（性别等）和地理位置定向。受众定向实际上是对广告主、用户和上下文打标签。百度可以用这些标签做点击率预估。如果点击率预估准确，意味着广告和用户的匹配更准确。12移动广告网络移动广告网络就是把广告网络放在手机端。和PC端的广告网络相比，它最大的优点是能更好地依据实时地理位置来推送广告。13广告网络提供给广告主的后台在互联网上，广告主可以同时在10家媒体上投放1000个广告，然后可以每天打开后台，看到每个广告给我带来了多少点击、注册、付费。我可以按点击、注册或付费数量支付广告费。然后即时调整广告策略。14互联网广告的基本生态环境互联网广告有五种主要参与者，而不只是广告主。广告主：提供广告内容，并付费；互联网用户：浏览并点击自己感兴趣的广告。网站：吸引互联网用户，并提供广告展示空间；广告平台（主要见于广告网络、广告交易平台这两种广告模式）：依据某种规则把广告位分配给广告主，并收取费用，与网站分成。此外，还有广告主的代理（例如DSP）、网站的代理（例如SSP）。代理主要见于广告交易平台这种广告模式中。前三种参与者无疑是最基本的。15展示广告的新进展——DSP从2011年开始，广告领域出现谷歌等广告交易平台。DSP也就应运而生。和传统的展示广告相比，DSP虽然仍然是基于展示收费，但它的投放精准度有了很大的提高。当它能跟踪到点击率时，它也可以做点击率预估，从而进一步提高投放精准度。而且，DSP采用程序化购买，而不是人工跟少量媒体进行谈判。16RTB广告与广告交易平台广告交易市场（AdExchange）里交易的不是广告位，而是特定标签的受众。它把广告位转化成不同标签的受众。整个运行流程如下：广告主买了某个标签的受众。当一个这样的受众打开某网站（媒体）时，这个网站会判断是否通过广告交易市场出售曝光（impression，广告展现机会）。如果决定出售，就需要把受众信息（用户的Cookie信息）和页面信息（URL、关键词）以及网站设定的最低价格发送给广告交易市场。当广告交易市场获知这个出售请求后，把这个信息转发给广告主。不过，通常其实是发给广告主的委托代理人（DSP，DemandSidePlatform）。DSP的职能是为广告主寻找物美价廉的曝光，最大化广告主的ROI。17RTB广告与广告交易平台DSP把收到的信息与自己数据库或DMP（数据管理平台）的数据库中用户的信息进行比对，确认用户的身份、属性和爱好，然后决定是否需要这个曝光，如果需要的话，就向广告交易市场竞价（告诉它最高报价）。广告交易平台会收到来自多个DSP的报价。它通过既定的拍卖规则确定赢家。然后把赢家的广告物料传递给提供曝光的那个网站。上述过程所花的时间是毫秒级的。整个过程是通过对每一次曝光进行实时竞价（RTB，Real-timeBidding）的方式进行的。18RTB竞价流程19广告交易平台20广告交易平台广告交易平台通过竞价决定在某个广告位给某个用户呈现哪个广告。21广告交易平台的特点和应用场景对广告主来说，和广告网络相比，广告交易平台：实现了程序化购买，而不是人工购买。从而减少成本。买的是受众，而不是媒体。最大的广告交易平台是几家互联网巨头：谷歌、百度、阿里、腾讯等。22DSP公司的受众特征数据根据一个Cookie有过浏览、搜索、购买等行为的网页的内容中含有哪些关键词（先用爬虫抓取下来网页，然后再提取其中的关键词标签），把这个Cookie和这些关键词联系起来，也就是给这个Cookie贴上一系列标签，得到一个关键词向量。一般而言，购买是最强的表明用户兴趣的信号，其次是点击，而浏览则是很弱的信号。由此，给这几个行为不同的权重，进而就得到用户兴趣向量。除了基于使用行为的人群定向，还可以基于人口统计学属性、地域、回头客（新老客）特征来定向。这些定向方式和广告网络中的定向方式很相近。23DSP公司的受众特征数据比如，对8亿Cookie用5000多个人群标签进行描绘。这些标签包括人口属性、地域、兴趣、新老客几类。其中，人口属性包括性别、年龄、职业、月收入、学历、所处关键人生阶段等维度。24DSP怎样决定是否出价你是一个DSP，当一个曝光需求向你询价的时候，你怎么办呢？

比如，你收到这组信息：

300*250flashIP37？通过这些你只知道地域、时间、广告的大概位置、媒体属性、展现形式和用户IP地址，但是通过平时积累的cookie的兴趣数据，你就能判断他是不是你的受众。25DSP公司的算法广告主希望最大化ROI（投资回报率）。广告主如果出价低了，就买不到RTB广告的曝光。广告主如果出价高了，成本就会过高。所以，用算法来调整出价、最大化ROI，是很重要的。需要在几十毫秒内判断每个曝光机会是否符合广告主所要吸引的目标人群，然后根据预测的点击率合理出价，并选择最合适的广告物料。想象一下，每个人打开每个网页后的一两秒内，都要迅速完成竞价，都要让广告展示在那里。26DSP公司的优化师优化师（媒介执行人员）就像华尔街的股票操盘手。他们每天就是在盯盘，即：在系统后台的实时报表系统观察广告投放的效果数据：例如：参与了多少竞价？竞价成功率是多少？实现了多少曝光、点击、转换？然后，根据效果，通过人工做出实时调整：调整物料（创意）、地域、时段、投放频次、出价，甚至调整预算、目标人群标签。一开始广告主经常不能说清楚人群是谁、用哪个物料、哪个时间段最合适，但是由DSP根据对效果的观察进行不断调整，就能最终实现打中靶心的作用。比如，广告物料可以随时更换。可以出几个创意，然后只要上线跑一下，就马上看到哪个创意效果最好。27DSP公司的后台系统中的变量28DSP公司的收费标准它是一种展示广告。它是按照CPM收费的，也就是按展示次数收费。但是，每次展示的收费都不一样，因为每次曝光都要竞价。29DSP公司的反作弊怎样去掉无效的、恶意的点击，避免无效的广告投放？这也是DSP要考虑的。如果广告主心存顾虑，不敢给钱，DSP就挣不到钱了。30DSP的适用场景广告主使用DSP和RTB的前提是：广告主的目标人群中有很多人上网；并且目标人群分散在很多网站上，而不是都集中地访问某几个大网站。31主要DSP公司中国目前有几十家DSP公司了，其中很多家都说自己是中国最强的。品友互动：2008年成立。创始人：黄晓南和谢鹏。MediaV悠易互通易传媒新好耶互动通AvazuAdTime力美亿玛亿赞普亚马逊推出的DSP腾果：腾讯推出的DSP32DMPDMP是什么：DMP通过JS插码和Cookie获取了大量的用户访问信息，然后将其加工成为用户关注类和购买类标签，提供给DSP用于RTB竞价。秒针系统Admaster易传媒缔元信国双安客诚友盟柠檬数据33DSP和DMP的关系DSP能覆盖的cookie是有限的，而独立的DMP可以收集更多的数据，提供给DSP。DMP全心全意为广告主服务梳理核心数据,而DSP负责竞价投放。不过，趋势是：独立的DMP越来越少了。更多是同时开展DSP+DMP。34SSP这类公司代表网站（媒体）来和广告交易平台接洽。替媒体来打理流量，让媒体的从广告中获益实现最大化。不过，很多公司都是身兼DSP和SSP，也就是说，它们同时给广告主和媒体做代理。35DSP和广告网络的区别DSP是展示广告；广告网络是效果类广告。DSP是基于展现次数来收费；广告网络是基于点击次数来收费。有些做广告网络的公司，顺应趋势，也同时做DSP。但是，DSP怎样能更好地结合“效果”，比如收集到广告所引起的购买的数据。这是一个不足，也是未来的一个方向。36原生广告（NativeAdvertising）原生广告与媒体内容融为一体。让广告成为网站或APP的内容的一部分。它比横幅广告更漂亮、更自然。它的兴起是为了应对消费者一见广告就反感这个挑战。有的人说“原生广告和软文没什么区别”。37Twitter、Facebook、雅虎、纽约时报、凤凰网、有道词典等都做了这种广告。原生广告在纽约时报网站上，原生广告很像是记者写的稿子，但其实是由广告赞助商提供，所以可以看成是付费文章。38原生广告效果的测量从2014年起，秒针系统等公司开始研究怎么测量原生广告的效果。比如，可以测量用户看了原生广告后的搜索行为、在社交媒体上转发与提问等行为。39对于广告主来说，广告投放渠道有谷歌