大数据管理与应用概论 课件 第七章 基于商务大数据的管理决策应用

7.1商务大数据商务大数据的概念商务大数据是大数据的一个类别，是企业在组织内部运转、经营活动、客户关系管理和数据交易等活动中积累的，具有庞大规模的，对企业有一定价值的信息资产。随着计算机的普及应用带来的商业模式变革，以及数据存储能力的不断提升，使得如今的商业数据相较于传统存储方式下的商业数据呈指数级增长。数据规模商务大数据不仅仅局限于文字和数字，还包括语音、图像和视频等多媒体数据，对企业决策更具有指导意义，同时其处理手段也更加的灵活多样。数据类型商务大数据的特征商务大数据继承了大数据的“4V”特征，由于其具有的商业属性，商务大数据在特征的具体表现上又有其独特性。VolumeVelocityValueVariety“4V”特征商务大数据快速增长，体量庞大商务大数据的多样性更明显商务大数据的产生速度越来越快商务大数据的价值被越来越多的企业广泛认识商务大数据的特征——规模性丰富的企业活动和消费者行为所产生的数据均可被记录下来并加以利用，这使得商务大数据的体量不断扩大。存储单位变大数据来源变多数据库技术升级B、KB、MB、GB、TB、PB、EB、ZB、YB等组织内部、商业交易、社交媒体、传感器等Hadoop、MongoDB等商务大数据的特征——多样性商务大数据具有多样性，数据的多样性加剧了分析和处理的难度，只有利用专业化的大数据分析技术才能从中揭示出以前很难或不可能确定的重要关联。商务大数据的多样性体现在数据来源和数据类型的多样数据来源企业自身的内部数据大部分是结构化数据可用外部数据大部分是非结构化数据数据类型结构化数据具有定义好的结构，可以使用传统的数据管理和分析方法进行存储和分析非结构化数据包括图像、即时通讯对话、博客、上传视频、语音记录和传感器数据等商务大数据的特征——高速性随着互联网在商业领域的深入应用，商务大数据的产生速度会越来越快，实时数据流并行处理有助于从连续快速流动的数据记录中提取有价值的意见。AmazonWebServicesKinesis，一种处理分析数据流的流应用程序商务大数据的特征——价值性在商业领域，大数据已经被当成企业资产，企业不仅可以从商业大数据中挖掘信息为企业创造价值，还可以直接将数据进行交易。商务大数据的分类商务大数据按照其发展来看，可以分为传统数据和新型数据。数据类型主要来源传统数据数据仓库主要来源于存放在数据仓库中的企业内部数据，由企业日常商务活动产生。新型数据互联网主要来源是过去5-10年激增的社交网络，大多是非结构化数据，包含了数以百万计的社交媒体帖子和其他数据，通过全球网络每秒的用户互动生成。传感器可穿戴设备可以在任何给定的时间点收集个人的数百项测量数据，是未来商务大数据的一个重要来源。商务大数据的挑战企业通过各种渠道获得的商务大数据中，并不是所有的数据都是高质量的数据。数据准确性问题低质量“脏”数据数据过拟合影响数据价值分析存储维护成本高模型结果解释难数据收集成本高制定数据利用策略分析组织内部数据集与外部资源集成商务大数据的挑战利用商务大数据，意味着企业需要对所需的技术和基础设施进行大量投资，能否在企业接受的范围内以较少的开支获取想要的资源是企业必须考虑的因素。高投资成本问题数据获取成本数据存储成本技术失败风险获取完整准确数据难度大存储海量数据成本高投资新技术失败风险高云计算基础设施即服务（IaaS）软件即服务（SaaS）平台即服务（PaaS）数据即服务（DaaS）商务大数据的挑战数据的隐私保护是大数据分析和处理的一个重要方面，保护个人隐私至关重要，同时也不能抹杀企业利用数据推动业务发展的能力。数据隐私保护问题公开最小化信息技术安全漏洞透明公开数据获取与处理减小隐私侵犯风险影响数据泄露等信息安全数据安全问题区块链技术分布式数据库加密安全扩展结构商务大数据的挑战商业交易的前提是清晰的产权归属，而商务大数据来源广泛，许多数据甚至找不到最初的数据提供者。对于企业所搭建的平台上的用户数据，数据的所有权更是难以界定。数据所有权问题企业自身生产的数据社会公众产生的数据例如：产品数据、生产过程数据、运营数据这类数据的产权清晰例如：经授权许可并进行隐私处理后的数据这类数据的产权问题亟待研究小结本节的主要内容商务大数据的概念商务大数据的特征商务大数据的分类商务大数据的挑战7.1商务大数据7.2商务大数据的管理决策分析商务大数据的收集商务大数据是由消费者和企业商务行为产生的数据，分布在企业内部系统、各电商平台、第三方服务平台、社交媒体等，商务大数据按收集来源可分为以下三种类型。包括企业的内部信息和外部信息。企业通过在数据采集端上部署大量数据库，并在这些数据库之间进行负载均衡和分片，完成数据的采集获取工作。离线数据包括web服务器上的用户访问行为、web用户的财产记录、网络监控的流量管理等。这类日志一般为流式数据，企业通过日志采集工具来获得实时数据。实时数据指在网络空间交互过程中产生的大量数据，例如抖音、微博等社交媒体产生的数据。个体用户大部分采用API的方法或者爬虫来获取互联网数据。互联网数据商务大数据质量标准对于收集得到的商务大数据质量，有对其进行评估的标准，以下几个维度分别从不同方面评估数据的质量。评价指标具体要求真实性数据必须真实反映客观的实体存在或业务。真实的数据是经营者正确经营决策的第一手资料。

准确性用于分析和识别不准确或无效的数据。不可靠的数据可能会导致严重的问题，影响企业的决策。唯一性不能出现重复数据。冗余的数据可能导致业务无法协同，决策产生偏差等问题。完整性用来度量哪些数据是缺失的或哪些数据不可用。任何数据集都可能有缺口和数据缺失，但是有些缺失的数据可能包含重要的信息。一致性所有实例之间的数据必须保持一致。它用来描述同一信息主体在不同的数据集中信息属性是否相同，各实体、属性是否符合一致性约束关系。及时性能否在需要的时候获取到数据。企业的数据处理速度越快，及时性就越好，企业的业务处理效率和管理效率就越高。关联性指存在数据关联的数据关系缺失或错误，例如：函数关系、相关系数、主外键关系、索引关系等。存在数据关联性问题，会直接影响数据分析的结果，进而影响管理决策。商务大数据质量提升方法为了提升数据质量，去除“脏”数据，得到干净一致的数据，常采用数据预处理的方法，数据预处理主要分为几下几个步骤。数据清洗重复数据清洗缺失数据清洗噪声数据清洗数据集成模式集成实体识别问题数据冗余数据值冲突数据归约数维消减数据压缩离散化......数据变换函数变换数据规范化获取初始数据数据分析商务大数据分析方法大数据分析指的是通过适当的技术从大量数据中获取有用信息的过程。根据运筹研究与管理科学研究所，商务大数据的分析被定义以下三个层次。描述性分析预测性分析规范性分析了解与数据相关的具体情况，分析其潜在趋势和原因。采用统计技术和数据挖掘技术，确定未来可能发生什么。识别正在和将要发生的事情，做出决策以尽可能达到最佳绩效。商务大数据的可视化分析商务大数据的可视化是大数据生命周期管理的最后一步，也是最重要的一步。为实现信息的有效传达，挖掘数据背后隐藏的价值，数据可视化应包含以下4个特征。直观化关联化交互性艺术性数据可视化商务大数据可视化示例-漏斗图商务大数据的可视化分析商业大数据的可视化以其极高的研究价值在国内外都备受重视，但也面临着如下三点挑战：数据快速动态变化可感知的交互的扩展性对复杂高维数据分析能力不足常以流式数据形式存在，缺乏流数据的实时分析与可视化方法。从大规模数据库中查询数据可能导致高延迟，使交互率降低。当前的软件系统以统计和基本分析为主，分析能力尚有欠缺。商务大数据对推荐系统的影响与传统推荐系统不同，在商务大数据环境下，推荐系统数据的规模、类型、形式、价值以及推荐实时性都发生了显著的变化，这给推荐系统带来了一些挑战。特点传统推荐系统大数据环境下的推荐系统数据规模数据规模小数据规模大，从TB级别跃升到PB级别数据类型以显式评分数据为主以隐式反馈数据为主数据形式以动态形式为主，更新频繁以静态形式存储在硬盘中，更新少，存储时间长数据价值数据价值密度高数据价值密度低推荐实时性实时性要求低实时性要求高推荐系统面临的挑战计算复杂性的提升用户隐式兴趣的发现可扩展性问题......商务大数据对推荐系统的影响根据功能的不同，商务大数据环境下的推荐系统可以分为以下四个层面。商务大数据对推荐系统的影响商务大数据环境下的推荐系统通常包括数据建模、用户建模、推荐引擎和用户接口四个部分。商务大数据对预测分析的影响商务大数据环境下的预测分析主要是利用对商业领域产生的多源数据的洞察来提供关于未来的商务智能。从数据源角度看，商务大数据环境下的预测分析需要拓展以下几种关键技术领域的研究。文本分析，是指从非结构化文本中提取有用的信息和知识的过程。常见的文本挖掘技术包括信息提取、主题建模、分类、聚类、观点挖掘等。文本分析网站分析社交网络分析移动分析网站分析旨在从网络文档和服务中自动检索、提取和评估用于知识发现的信息。网站分析研究的一个主要新兴组成部分是云计算平台和服务的开发。社交网络包含大量的链接和内容数据，在社交网络的背景下有两个主要的研究方向：基于链接的结构分析和基于内容的分析。随着移动计算的快速发展，越来越多的移动终端在全球范围内部署，网络服务的轻量级编程模型为移动web服务的快速发展做出了贡献。商务大数据对精准营销的影响商务大数据提供了消费者行为、购买历史、购买频率和许多方面的信息，一些分析工具和软件可以从数据中获得相关的见解，从而创造精准营销优势。消费者、活动和各项组织资源结构化、半结构化和非结构化数据数据采集与集成结构化、半结构化和非结构化数据商务大数据分析消费者洞察分析动态和适应能力分析商务大数据对精准营销的影响商务大数据的出现对于传统营销组合中的4P产生了重要的影响。产品价格渠道协助新产品和新理念的设计分析顾客的价格敏感度确定销售产品的正确渠道的信息促销预测客户的反应并提出相关的营销策略商务大数据对精准营销的影响商务大数据的出现对营销组合的4P进行了扩展，给予了营销人员更好的合作视角，新的4P包含了以下四个部分。4PProductPlacePromotionPriceNew4PPeopleProcessesProgramPerformance商务大数据对精准营销的影响商务大数据分析有助于企业开展与消费者相关的营销活动，从而吸引顾客购买产品和服务。麦当劳根据时间、天气和顾客行为数据进行动态化的营销活动制定。商务大数据对精准营销的影响商务大数据分析有助于企业确定产生创造力的最有效方式，促进创造力的正确结构，从而创造竞争优势。Airbnb通过商务大数据分析不同国家旅客的出行需求，并对界面不断调整，提高地区转化率。商务大数据对精准营销的影响商务大数据分析有助于企业持续监控营销活动，确定各种营销活动、促销活动是否成功，以确保客户的印象和参与产生积极影响。美国零食制造公司Nabisco通过分析发现，用户更加偏爱有趣的产品图像，从而进行产品包装的升级。小结本节的主要内容商务大数据的收集商务大数据质量标准商务大数据质量提升方法商务大数据的可视化分析商务大数据对推荐系统的影响商务大数据对预测分析的影响商务大数据对精准营销的影响7.2商务大数据的管理决策分析7.3应用案例——数据驱动的汽车品牌管理系统汽车品牌管理背景汽车是复杂系统的典型代表，其价值高，品牌的建立和维护对产品的销量和市场份额来说举足轻重，因此也是最早开展品牌关系管理的行业之一。在当前新的营销方式和传播渠道下，对于汽车行业来说，汽车品牌的管理面临着数据基础和管理方法的挑战，也同时面临着数据缺失、错误和难以分析的问题。挑战和机遇汽车品牌关系的维护，通过传统的媒体，如客户问卷调查、电话访问、广告等方式进行。云计算和大数据时代的到来，汽车行业可收集的数据呈爆发性的增长，传统的汽车品牌关系管理不再适合。品牌管理方式面向汽车品牌管理的数据工程数据工程旨在通过数据获取、数据过滤、数据结构化等过程，获取到可应用于品牌关系管理的大数据，过滤掉其中的垃圾数据，融合多源异构数据，实现从非结构化数据到结构化的数据的转变，从而实现减轻数据获取瓶颈和提高数据价值密度以及数据利用率的目标。数据获取数据过滤数据结构化数据工程——数据获取针对数据分散性问题，面向汽车品牌管理的数据工程可开发面向网络媒体的数据采集器，采集消费者、汽车和情境等方面相关数据。可用数据示例如下：分类详细来源消费者论坛数据汽车之家、搜狐汽车、网易汽车等八大汽车论坛口碑信息汽车之家汽车零售商、制造商数据汽车之家车型参数数据汽车之家销量数据搜狐汽车情境天气及空气质量数据天气网汽车石油相关股票信息东方财富网PPI、CPI、进出口数据东方财富网数据工程——数据过滤在品牌关系管理中，可以采用基于布隆过滤器的海量数据过滤方法。首先构建品牌关系管理相关的本体库，主要分为两个环节：本体库构建构建综合评价指标体系构建领域本体在原有评价指标基础上，从评论内容出发，围绕产品或服务的特征，综合多重视角构建完善的评价指标体系。选取语料进行人工标注，提取评论内容中描述产品或服务特征或情感的固定搭配，并标注极性，建立特征词和情感词的关联关系。数据工程——数据过滤布隆过滤器是一种空间效率很高的随机数据结构，它利用位数组表示集合，并判断一个元素是否属于该集合。基于本体库利用布隆过滤器，可以过滤和清洗无用数据，解决数据的冗余问题，确保价值数据密度高，从而保障后续挖掘任务顺利开展。布隆过滤器设计第一步：利用布隆过滤器多Hash函数压缩参数空间，匹配过滤。第二步：基于语义规则匹配“特征-情感对”，计算点互信息。数据工程——数据结构化用户生成内容大多是非结构化的文本信息，需要通过数据结构化过程识别文本主题，才能有效的开展商务分析任务。利用潜在狄利克雷模型（LatentDirichletAllocation,LDA）可以从汽车论坛的文本数据中提取不同主题，实现数据结构化。主题序号主题中词结果1车满意一点油耗空间动力外观好比较内饰感觉操控性价比舒适性不错人开太高点描述小买坐选择觉得喜欢公里后排2油泵螺丝随后小姐电路越野凤凰插头泵破同学保修精准度顾问漏风进水工作室联络中线小偷手工费提升机加急旅行动力面向汽车品牌管理的竞争分析汽车企业视角所得的结论与消费者的认知不完全一致，企业视角获得的竞争性指标与消费者感知的竞争性指标存在差异。与访谈和问卷数据的“事后”或者“事前”感知相比，在线数据记录着消费者在购买决策过程中对不同产品的对比和评价，因此能够更加准确的反映产品之间的竞争关系。面向汽车品牌管理的竞争分析节点：汽车车型边：车型之间的竞争关系越密集、颜色越深的部分，车型竞争越激烈中低端汽车新能源汽车高端汽车汽车车型的竞争关系可视化面向汽车品牌管理的品牌画像对企业而言，品牌画像是品牌形象传播的基础，是品牌战略管理的关键环节；对消费者而言，品牌画像是品牌感知价值的真实写照，是购买决策行为的重要参考。从消费者角度认知需求出发，选择产品、服务、市场、品牌四个方面作为品牌画像的维度，体现消费者不同的需求层次对应的品牌特征。

品牌画像一级维度二级维度指标产品价格；外观；功能；质量；性价比

式样、包装、配饰；性能；安全性、耐用性、瑕疵性

服务保养服务；维修服务增值服务；配送服务保修期限、保修费用；设备、环境、网点体系；个性化、差异性、创新性；安全性、及时性、方便性市场表现；目标人群行业排名、市场占有率、美誉度；年龄、职业、学历、收入、性别、地域品牌标识；个性；价值商标、名称、品类、产地、品牌来源、品牌推广；真诚、刺激、称职、教养、粗犷；文化价值、社会价值、利失价值、情感价值面向汽车品牌管理的品牌画像企业通常根据以下步骤构建基于用户生成内容的品牌画像：构建品牌本体构建品牌个性词典识别用户认知标签识别品牌个性用以描述维度与特征词之间的关系网络，同时可对后续提取的认知标签进行组织归类用于描述品牌类人特征的、具有象征意义的主观形容词汇根据本体特征，提取用户生成内容中对应特征的情感词，作为特征-情感认知标签提取用户生成内容中与品牌个性词典相匹配的特征词汇，确定品牌个性面向汽车品牌管理的销量预测销量预测是商业分析的重要任务之一，是对产品的未来销量进行预测，也是对消费者的需求量进行预测。企业已经不能仅仅通过成本优势占据市场地位。进行较为准确的产品销量预测是有效地管理供应链的一个重要方面。销量预测历史销售数据在线评论历史同期销售数据利率、节假日、物价指数、早期销量、口碑情感、网络活跃度…在线评论：考虑大众对产品的看法，深入挖掘专业汽车论坛用户评论数据；历史同期销售数据：车市的销量会随着季节的变化而呈现出高峰低谷的规律性周期变化；其他影响因素：挑选合适的销量影响因素，避免出现冗余，增加预测模型的复杂性和计算负担。面向汽车品牌管理的销量预测汽车销量常用的预测方法主要分为定性预测和定量预测两类。随着统计学习和机器学习等新模型的广泛使用以及市场对于销量预测越来越严苛的要求，销量预测的方法也从传统定性的描述越来越多转向定量的分析