计算广告学-第二章课件

计算广告的技术实现基础第二章本章学习要点与要求

了解计算广告的四大技术实现基础；熟悉大数据的定义和特点;掌握大数据的应用场景和商业模式；了解大数据的风险与防护;熟悉大数据在计算广告中的应用；熟悉云计算的定义、类型和特点；了解云计算的风险与防护;熟悉云计算在计算广告中的应用;熟悉新算法的定义和特点；了解新算法的内容；熟悉人工智能、机器学习和深度学习之间的关系；了解新算法的风险与防护;熟悉新算法在计算广告中的应用；了解区块链的定义与类型；熟悉区块链的核心技术与面临的挑战;熟悉区块链在计算广告中的应用。第二章

计算广告的技术实现基础本章目录第一节大数据技术的丰富“矿场”第二节云计算技术的共享“大脑”第三节新算法技术的精巧“设计”第四节区块链技术的强大“免疫系统”第二章

计算广告的技术实现基础一、什么是大数据第一节大数据技术的丰富“矿场”（一）定义1、形象化定义所谓大数据，就是从各种类型的数据中，快速获得有价值信息的全面数据，它是一座盛产矿石的有用矿场。大数据只有通过数据挖掘才能成为有价值的资源。第一节大数据技术的丰富“矿场”一、什么是大数据（一）定义大数据技术是指从各种类型的大体量数据中快速获得有价值信息的技术。目前所说的大数据不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据所涉及的关键技术大致包括6个方面:数据采集与数据管理分布式存储和并行计算大数据应用开发数据分析与挖掘大数据前端应用数据服务和展现一、什么是大数据第一节大数据技术的丰富“矿场”（一）定义2、科学化定义大数据指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的数据集合和信息资产。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。大数据主要包括前端展现、数据仓库和数据集市三方面。一、什么是大数据第一节大数据技术的丰富“矿场”（二）特点大数据的基本特点可以概况为五个V：第一，数据体量大。（volume）第二，数据类型多。（variety）第三，数据真实。（veracity）第四，价值密度低。（value）第五，处理速度快。（velocity）一、什么是大数据第一节大数据技术的丰富“矿场”（二）特点从内容上看，大数据的基本特点可以概况为以下十点。第一，从“流程”核心转变为“数据”核心。以数据为核心，反映了当下IT产业的变革，数据成为人工智能的基础，也成为智能化的基础，数据比流程更重要，数据库、记录数据库，都可开发出深层次信息。云计算机可以从数据库、记录数据库中搜索出你是谁、你需要什么，从而给你推荐你需要的信息。一、什么是大数据第一节大数据技术的丰富“矿场”（二）特点第二，从“功能是价值”转变为“数据即价值”。数据能根据我们已有的客户行为数据判断客户的未来，告诉我们每一个客户的消费倾向，他们想要什么，喜欢什么，每个人的需求有哪些区别，哪些需求又可以被集合到一起来进行分类。一、什么是大数据第一节大数据技术的丰富“矿场”（二）特点第二，从“功能是价值”转变为“数据即价值”。

一、什么是大数据第一节大数据技术的丰富“矿场”（二）特点第三，从“抽样”转变为“全样本数据”。你不知道的事情比你知道的事情更重要，但如果数据足够多，它会让人能够看得见、摸得着事情背后的规律。第四，从“关注精确度”转变为“关注效率”。大数据能提高生产效率和销售效率，原因是大数据能够让我们知道市场的需要和人的消费需要。大数据让企业的决策更科学，由关注精确度转变为关注效率的提高，大数据分析能提高企业的效率。一、什么是大数据第一节大数据技术的丰富“矿场”（二）特点第五，从“关注因果关系”转变为“关注相关性”。传统的因果思维一定要找到一个原因，推出一个结果来。而大数据思维没有必要找到原因，不需要用科学的手段来证明这个事件和那个事件之间有一个必然先后关联发生的因果规律;只需要知道，出现某种迹象的时候，数据统计高概率显示出它会有相应的结果，那么只要发现这种迹象，就可以去做决策。一、什么是大数据第一节大数据技术的丰富“矿场”（二）特点第六，从“难以预测”转变为“可以预测”。在大数据规律面前，每个人的行为没有本质变化，所以商家会比消费者更了解消费者的行为。例如，微软大数据团队在2014年巴西世界杯足球赛前设计了世界杯模型，该预测模型正确预测了赛事最后几轮每场比赛的结果，包括预测德国队将最终获胜。一、什么是大数据第一节大数据技术的丰富“矿场”（二）特点第七，从“人找信息”转变为“信息找人”。在这个时代，使用搜索引擎的频率大大降低，使用的时长也大大缩短。那么，为什么使用搜索引擎的频率在下降，时长在缩短？原因是推荐引擎的诞生，也就是说从人找信息到信息找人越来越成为一个趋势。推荐引擎很懂我们，知道我们所知道的。一、什么是大数据第一节大数据技术的丰富“矿场”（二）特点第八，由“人懂机器”转变为“机器更懂人”。让机器懂人，是让机器具有学习的功能。人工智能已逐渐转变为研究机器学习。大数据分析要求机器更智能，具有分析能力，因此机器即时学习变得更重要。机器学习是指计算机利用经验改善自身性能的行为。机器学习主要研究如何使用计算机模拟和实现人类获取知识(学习)的过程，创新、重构已有的知识，从而提升自身处理问题的能力，其最终目的是从数据中获取知识。一、什么是大数据第一节大数据技术的丰富“矿场”（二）特点第九，大数据改变了电子商务模式，让电子商务更“智能”。商务智能在大数据时代已被重新定义。例如，传统企业进入互联网，在掌握了“大数据”技术应用途径之后，会有一种豁然开朗的感觉，就像整天在黑屋子里面找东西找不着，突然碰到了灯的开关，会发现原本需要费力才能找到的东西，原来很容易就可找到。一、什么是大数据第一节大数据技术的丰富“矿场”（二）特点第十，从“企业生产产品”转变为“由客户定制产品”。下一波的改革方向是大规模定制，即为大量客户定制成本低且个性化的产品和服务。比如消费者希望他买的车身上涂有红色、绿色，厂家希望有能力满足要求，但成本又不至于像手工制作那般让人无法承担。在厂家负担得起大规模定制带来的高成本的前提下，要真正做到提供个性化产品和服务，就必须对客户需求有很好的了解，这就需要依靠大数据技术。一、什么是大数据第一节大数据技术的丰富“矿场”（三）应用场景大数据的商业化主要有以下五个价值点和应用场景。1、用户标签化管理用户标签化管理主要涉及基础信息、消费信息、社交信息三方面。一、什么是大数据第一节大数据技术的丰富“矿场”（三）应用场景2、AR/VR大数据商业广告实景增强和模拟一、什么是大数据第一节大数据技术的丰富“矿场”（三）应用场景3、提高销售投入回报率比如PRADA纽约的旗舰店中每件衣服上都有RFID码。当顾客拿起一件PRADA进试衣间，数据会传至PRADA总部，总部便会得知每件衣服在哪个城市哪个旗舰店的什么时候被拿进试衣间，停留了多长时间。一、什么是大数据第一节大数据技术的丰富“矿场”（三）应用场景4、交互式客户关系管理交互式客户关系管理，可以理解为社交CRM(customer

relationshipmanagement，客户关系管理)或者互动CRM，即根据客户所处的场景采集客户基础信息、捕捉用户行为，从不同维度分析客户，全面了解每个客户的喜好、习惯、消费倾向和消费能力等，以数字运营方式挖掘新客，提升品牌客户关注度，提高客户的忠诚度，刺激客户的持续性消费等。一、什么是大数据第一节大数据技术的丰富“矿场”（三）应用场景5、个性化精准信息推送商场可以在法律允许的范围内，通过分析不同用户的消费行为和商铺热度，有根据地进行运营优化。例如可以根据用户的消费能力和频率，精准推送优惠信息给用户，刺激用户的冲动型消费。一、什么是大数据第一节大数据技术的丰富“矿场”（四）商业模式1、企业数据自营模式这种商业模式的成功运行建立在以下四个条件之上。首先，数据来自企业内部，可以是生产经营信息或管理信息;其次，企业拥有先进的大数据技术，能够对信息进行充分的挖掘和提炼;再次，企业具备高效的分析能力，能够对数据分析结果进行准确评价;最后，企业具备数据决策能力。一、什么是大数据第一节大数据技术的丰富“矿场”（四）商业模式2、数据租售模式数据就是资产。通过一定的媒介，将广泛收集、精心过滤的数据销售或者租赁给客户，以此来获取报酬的方式，就是数据租售模式。3、数据平台模式通过建立平台，实现数据的分析、分享和交易等功能，为用户提供方便快捷的个性化平台服务来获取利润的商业模式就是数据平台模式。数据平台模式主要包括数据分析平台模式、数据分享平台模式和数据交易平台模式。一、什么是大数据第一节大数据技术的丰富“矿场”（四）商业模式4、数据仓库模式通过整合所有类型的数据来为企业提供决策支持，从而获得利润，这种商业模式被称为数据仓库模式。5、数据众包模式数据外包模式是指企业将数据收集、数据处理等业务环节剥离出来，外包给专业机构，即通过优化资源配置降低成本，增强核心竞争力的商业模式。数据外包主要包括决策外包和技术外包。一、什么是大数据第一节大数据技术的丰富“矿场”（四）商业模式6、数据外包模式数据外包模式是指企业将数据收集、数据处理等业务环节剥离出来，外包给专业机构，即通过优化资源配置降低成本，增强核心竞争力的商业模式。数据外包主要包括决策外包和技术外包。二、大数据的风险与防护第一节大数据技术的丰富“矿场”（一）风险数据信息过度采集。一旦发生数据泄露，便会危及用户的隐私、财产甚至是人身安全。数据信息安全问题。很多互联网企业对网络安全和数据信息的保护不够重视，存在很大的安全隐患。数据信息交易泛滥。数据信息的交易泛滥，也是导致网络犯罪频发的重要原因之一。二、大数据的风险与防护第一节大数据技术的丰富“矿场”（二）防护1、用户要提高防范意识2、企业要采取安全措施：企业要及时通过数安时代GDCA安装SSL证书。企业要选择知名品牌的SSL证书。企业要选择具有公信力的CA机构。三、大数据在计算广告中的应用第一节大数据技术的丰富“矿场”（一）大数据开启一个新时代阿里宣称平台、金融和数据是阿里未来的三大战略方向。其实，“阿里未来本质上是一个数据公司”，电商越来越离不开数据，金融的核心也是数据。阿里设立首席数据官并把首席数据官升任为CEO显示出其大数据战略萌芽。车品觉出任阿里数据委员会的安全责任人之后认为，今后一段时间，数据质量、数据安全以及数据化运营将是阿里必须翻越的三座“大山”。三、大数据在计算广告中的应用第一节大数据技术的丰富“矿场”（二）从“淘数据”起步

淘宝严格意义上的第一个数据产品是“淘数据”，说白了就是一个经营数据报表。淘宝商业智能部一名元老级数据分析师说:“每个公司都需要了解经营业务状况，淘宝业务大了也需要看经营状况做未来决策。‘淘数据’就是为内部报表服务的一个工具，大约是淘宝成立两年后的2005年开发的。”随着数据越来越多，原来的处理方式已不能进一步扩展，淘宝在用传统数据库方法处理数据问题时遇到了麻烦。一位淘宝分析师认为:“我们早上9点上班要看数据，但传统数据处理技术很难在9点之前让所有人看到结果，数据处理的时间成本非常高。再这样发展下去，就扛不住了。”这一问题触发了淘宝第一次技术层面的架构变迁，把以Oracle为主的传统数据库迁到了大数据技术Hadoop数据库上，正式开启阿里的大数据实践应用。三、大数据在计算广告中的应用第一节大数据技术的丰富“矿场”（三）两条腿走路

淘宝的数据视野并没有停留在公司内部决策上。2009年，淘宝的数据应用与开发开始走向外部，即向淘宝商户分享数据。在这一背景下，淘宝商业智能部的一部分人“被赶了出来”，开发能分享给淘宝商户的数据产品。这是淘宝的一次大胆尝试，技术架构调整为挖掘更多有价值的数据腾挪出了空间，要让数据变成产品为公司挣钱。当然，此时淘宝并不是从挣钱的角度开发数据产品，而是想整合数据为商户提供优质服务。一、什么是云计算第二节云计算技术的共享“大脑”（一）定义1、形象化定义以前没有网络，每台电脑(PC)，就是一台单机。后来，有了网络(network)，单机与单机之间，可以交换信息、协同工作。再后来，单机性能越来越强，就有了服务器(server)。再后来，小型网络变成了大型网络，就有了互联网(internet)。小型机房变成了大型机房，就有了IDC(internet

datacenter，互联网数据中心)。越来越多的计算机资源和应用服务(application，例如看网页、下电影)被集中起来，就形成了云计算。无数的大型机房，就成了“云端”。一、什么是云计算第二节云计算技术的共享“大脑”（一）定义1、形象化定义一、什么是云计算第二节云计算技术的共享“大脑”（一）定义2、科学化定义云计算是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云计算本质上是分布式计算的一种，指通过网络“云”将庞大的数据计算处理程序分解成无数个小程序，然后通过多部服务器组成的系统处理和分析这些小程序，最终得到结果并将其返回给用户。一、什么是云计算第二节云计算技术的共享“大脑”（二）类型1、按服务类型分一、什么是云计算第二节云计算技术的共享“大脑”云计算服务的具体应用案例如图所示。一、什么是云计算第二节云计算技术的共享“大脑”2、按部署形式分云计算按部署形式可以分为三类：公共云、私有云和混合云。云计算技术优势明显。云计算的技术优势包括:快速部署和拓展、稳定性强、安全可靠、易于整合、低成本等。一、什么是云计算第二节云计算技术的共享“大脑”（三）特点大规模和分布式虚拟化和便利性高可靠性和扩展性按需服务和更加经济专业和安全二、云计算的风险与防护第二节云计算技术的共享“大脑”（一）风险1、技术风险（1）IaaS层风险分析其中一个主要风险是缺乏安全的API。API一般由云服务提供商提供，以便用户与他们的服务以及服务管理无缝集成。API或应用程序的更新很容易导致兼容性问题，甚至可能造成数据泄露，因此用户应该定期测试自己的程序和API交互的部分。二、云计算的风险与防护第二节云计算技术的共享“大脑”（一）风险1、技术风险（2）PaaS层风险分析在PaaS上进行网络应用开发是存在着一定风险、漏洞的。具体的威胁风险包括黑客攻击、软件设计缺陷或者不良的测试方法。这些风险有可能影响应用或大幅度降低应用的性能。二、云计算的风险与防护第二节云计算技术的共享“大脑”（一）风险1、技术风险（3）SaaS层风险分析很多企业，尤其是大型企业，因为安全问题而不愿使用SaaS。SaaS解决方案缺乏标准化，企业为了保护核心数据，便不希望这些核心数据由第三方来负责。现在的数据中心建设规模都很大，因为只有规模上去，云计算的优势才能更加明显。拥有海量数据的数据中心规模太大，很容易成为被攻击的目标。以阿里云为例，它平均每天遭受数百起DDoS攻击，其中50%攻击流量超过5GB/s。二、云计算的风险与防护第二节云计算技术的共享“大脑”（一）风险2、管理风险（1）云服务无法满足SLA企业依靠SLA（服务等级协议）来要求云计算供应商为所提供的服务提供保障，并在发生服务故障时提出维权主张。但是，当谈及云计算SLA时，问题的症结往往在于细节。二、云计算的风险与防护第二节云计算技术的共享“大脑”（一）风险2、管理风险（2）云服务不可持续风险企业用户必须确认保存在云中的共享数据是长期可用的。（3）身份管理混乱（4）恶意攻击（5）数据泄露二、云计算的风险与防护第二节云计算技术的共享“大脑”（一）风险3、法律法规风险（1）数据跨境。当使用云计算后，你将无法知道数据确切的存放位置，甚至不知道数据被存放在哪个国家。（2）隐私保护。由于云计算同时为多个用户提供服务，一个用户的数据很有可能与其他云用户的数据存放在一起，所以隐私保护的难度很大。（3）犯罪取证。云计算同时为多个用户提供服务，同时记录了多个用户使用云计算的情况，当某一个用户需要被调查时，这种多个用户使用云计算的日志被记录在一起的情况增加了司法调查的难度。二、云计算的风险与防护第二节云计算技术的共享“大脑”（二）防护选择可信的云服务商做好风险的评估区分不同的云类型三、云计算在计算广告中的运用第二节云计算技术的共享“大脑”亚马逊AWS(AmazonWeb

Services)是亚马逊提供的专业云计算服务。亚马逊网络服务所提供的服务包括:亚马逊弹性计算网云(Amazon

EC2)、亚马逊简单储存服务(Amazon

S3)、亚马逊简单数据库(Amazon

Simple

DB)、亚马逊动态模拟数据库(Amazon

DynamoDB)、亚马逊简单队列服务(Amazon

Simple

Queue

Service)亚马逊云锋(Amazon

Cloud

Front)等。一、什么是新算法第三节新算法技术的精巧“设计”（一）形象化定义算法(algorithm)，它是指解决某个问题的计算方法、步骤。新算法一般会根据三个维度来预估用户期待看到什么。

第一个维度：文本内容。当计算机获得一个文本内容时，它可以通过一套算法，迅速分析这个内容的主要特征。第二个维度：人。我们在手机、电脑上的点击、阅读时间、点赞、评论、转发等，都可以在后台被量化，形成标签。第三个维度：环境特征。当一个人在不同的环境下，会想看不同的内容。一、什么是新算法第三节新算法技术的精巧“设计”一个完整的广告系统，从广告商投放广告到用户看到广告，需要以下几个重要组件：第一，面向广告商的工具。第二，新算法个性化推荐。第三，新算法决定在哪里放广告。第四，新算法定价。基础的搜索算法有深搜(DFS)和广搜(BFS)。它们的搜索效率差不多，都是复杂度为O(E)的算法。一、什么是新算法第三节新算法技术的精巧“设计”（二）科学化定义目前，被广泛认可的算法专业定义是：算法是模型分析的一组可行的、确定的、有穷的规则。算法是机器学习的核心，机器依靠算法的持续迭代优化更新，才变得越来越聪明。一、什么是新算法第三节新算法技术的精巧“设计”计算广告领域程序化购买的一系列市场主体———DSP、SSP、DMP、ADX、DCOP、AVP等，它们解决的其实是广告和消费者中间的链路问题。DSP(demand

side

platform，需求方平台)SSP(sell

side

platform，供应方平台)DMP(data

management

platform，数据管理平台)ADX(ad

exchange，广告交易平台)DCOP(dynamic

creative

optimization

platform，动态创意优化平台)AVP(ad

verification

platform，广告验证平台)一、什么是新算法第三节新算法技术的精巧“设计”（三）特征与类型一个典型的算法一般都可以抽象出五个特征：有穷性、确切性、输入、输出、可行性。按照算法的应用领域可以将其分为以下几种：基本算法、数据结构相关算法、几何算法、图论算法、规划算法等按照算法的确定性可以将其分为以下几种：确定性算法、不确定性算法按照算法的思路可以将其分为以下几种：递推法、递归法、穷举法、贪心算法、分治法等。一、什么是新算法第三节新算法技术的精巧“设计”（四）作为新算法的深度学习深度学习(deep

learning，DL)是基于人工神经网络的机器学习算法，它使用神经网络来模拟人类大脑的工作方式。二、新算法的风险与防护第三节新算法技术的精巧“设计”（一）风险1、技术偏见。输入数据存在数据偏见风险，算法设计存在设计者偏见风险，输出结果存在解读偏见风险。2、信息茧房。基于信息“闭环”算法所产生的“智能定制”在高效且迎合受众口味的同时也促成着相应的局限性和危害性，使受众在享受智能传播之时容易忽略传播的质量，成为性情暴躁或放弃思考的阅读机器。3、权力失衡。算法时代的信任危机背后是技术所导致的权力关系的失衡，这种失衡容易引发隐私问题。二、新算法的风险与防护第三节新算法技术的精巧“设计”（二）防护1、建立行业自律机制2、制定合理的法律法规三、新算法在计算广告中的应用第三节新算法技术的精巧“设计”亚马逊A9算法提供了打造有效战术体系以提升产品排名的办法。（一）相关性+转化率=高排名

A9算法是面向卖家的一种算法，作用是帮助亚马逊计算和推荐产品排名。而亚马逊排名取决于两个关键因素：相关性(relevancy)和转化率(conversions)。（二）为产品页面建立相关性亚马逊通过产品推广API(ProductAdvertisingAPI，这是一个包含许多有用信息的宝库)来定义相关性。三、新算法在计算广告中的应用第三节新算法技术的精巧“设计”（三）选择正确的产品类目（四）进行有效的关键词研究（五）价格+评价=高转化率三、新算法在计算广告中的应用第三节新算法技术的精巧“设计”（六）展示信息感十足的主图和视频三、新算法在计算广告中的应用第三节新算法技术的精巧“设计”（七）利用A

+页面所谓A+页面就是图文版商品详情页面，通过它，商家可以使用额外的图片和文本进一步完善商品描述部分。（八）创作高可读性和点击率的产品标题（九）提升销售速度三、新算法在计算广告中的应用第三节新算法技术的精巧“设计”（十）进行站外引流（十一）利用折扣和免费产品（十二）争取上首页的机会一、什么是区块链第四节区块链技术的强大“免疫系统”（一）定义1、形象化定义一、什么是区块链第四节区块链技术的强大“免疫系统”（一）定义2、科学化定义区块链是一个信息技术领域的术语。从本质上讲，它是一个分布式的共享账本和数据库，使用密码学方法相关联产生的数据块及存储于其中的数据或信息，具有“去中心化”“开放性”“自治性”“信息不可篡改”“匿名性”等特征。一、什么是区块链第四节区块链技术的强大“免疫系统”（一）定义2、科学化定义一般说来，区块链系统由数据层、网络层、共识层、激励层、合约层和应用层组成一、什么是区块链第四节区块链技术的强大“免疫系统”（二）类型二、核心技术与面临的挑战第四节区块链技术的强大“免疫系统”（一）核心技术分布式账本。分布式账本指的是交易记账工作由分布在不同地方的多个节点共同完成的账本，每一个节点记录的是完整的账目，因此它们都可以参与监督交易合法性，同时也可以共同为其作证。非对称加密。存储在区块链上的交易信息是公开的，但是账户身份信息是高度加密的，只有在数据拥有者授权的情况下才能访问到，从而保证了数据的安全和个人的隐私。二、核心技术与面临的挑战第四节区块链技术的强大“免疫系统”（一）核心技术共识机制。共识机制就是所有记账节点之间达成共识，去认定一个记录的有效性。这既是认定的手段，也是防止篡改的手段。智能合约。智能合约是指基于这些可信的不可篡改的数据，可以自动化地执行