商务数据分析课件：商务数据分析基本概念与框架

商务数据分析商务数据分析基本概念第一节商务数据分析概述

商务数据分析指的是为解决商务决策问题，选择恰当方法和工具对收集的数据进行分析，得到隐含的、未知的、有潜在价值的关系、模式和趋势。数据和分析是其中的核心组成部分。

１．数据类型（１）结构化、半结构化、非结构化数据

结构化数据指可以用二维形式展现和存储的，用统一整齐格式表示的数据，常见的有数字、符号等。结构化数据用二维表结构表示时，一般用一行数据刻画一个实体，而每一列表示实体的某一个属性特征。结构化数据的存储、排列有规律，易于处理。在商务活动中，典型的结构化数据包括商品的价格、销量等数值型数据。

１．数据类型（１）结构化、半结构化、非结构化数据

半结构化数据指并非二维表形式能够存储的，但是有基本固定结构模式的数据。属于同一类的实体可以有不同的属性，且属性的顺序也可以不同。常见的半结构化数据有XML、HTML、JSON等。例如，在电商平台中网页上展示的商品信息。

１．数据类型（１）结构化、半结构化、非结构化数据

非结构化数据指没有固定结构的数据，如文档、图片、视频、音频等数据。对于非结构化数据，一般存储其二进制的数据格式，例如商品的评论文本、介绍图片等。

１．数据类型（２）离散型、连续型数据离散型数据是指数值只能用自然数或整数单位计算的数据例如消费者人数、商品个数、评论数量、消费者评论打分等。这类数据一般由计数方法获取。连续型数据能够在相应范围内任意取值，例如消费者购买金额、评论时间等。

２．数据分析类型（１）描述型分析在商务数据分析中，描述型分析是将历史数据进行定性或定量的描述，得出诸如单日平均销量、月度销量总和等汇总数据。基于描述型分析，可以比较不同时间、不同地区的表现。（２）验证型分析在商务数据分析中，验证型分析通常用来验证决策的后果，例如技术改进、策略变化、产品升级等行为的发生是否达到预期目标。（３）预测型分析在商务数据分析中，预测型分析则是通过分析过去历史数据和当前相关的数据，对未来可能出现的市场环境变化、用户痛点等关键问题进行预测。

３．数据分析方法（１）描述统计描述统计是通过图、表等方式，对数据进行整理、分析，揭示数据的分布情况、数字特征、变量关系，目的是寻找数据中蕴含的规律。描述统计是最基础的分析方法，它能够让我们对数据集有一个直观的认识，方便进行后续的分析。比如，客户收入区间统计（２）时间序列分析时间序列分析侧重研究销量、价格等时间序列数据的互相依赖关系。基本原理是：事物发展有一定的延续性，利用过去的数据可以推测未来发展趋势。比如，预测价格和销量

３．数据分析方法（３）回归分析回归分析是一种预测性的建模技术，它研究的是决策问题和影响因素之间的关系，多用于预测分析。相比于机器学习进行预测的方法，回归分析的优势在于可以定量地揭示某个影响因素对结果有多大的影响。例如，研究产品的受欢迎程度。

（４）机器学习机器学习是一门交叉学科，涉及概率论、统计学、算法等理论。它的核心是使用算法解析数据，模拟人类的学习行为，对某件事情做出决定或预测。例如，对用户进行细分。

３．数据分析方法（５）社会网络分析社会网络是社会个体之间通过社会关系形成的网络体系。从分析对象来看，社会网络分析既可分析网络中单独节点的特性（如重要性），也可以分析整个网络的特性（如连通性）等。例如，用户社区分析（６）复杂数据分析复杂数据分析方法可以将文本、图像、视频等非结构化数据转为计算机可以理解和计算的数据，并参与到建模中。例如消费者评论数据分析

第二节商务分析理论１．4P理论4P理论为我们在进行商务数据分析时如何确定分析对象和营销因素提供了重要的理论参考。产品Product：对产品进行数据分析时，需要围绕理论中对于产品特异性的要求，抓住产品的独特之处进行着重分析。价格Price：对于不同种类的产品，要根据产品特点、市场定位制定价格。对顾客进行数据分析时，需要围绕各个属性和行为特征，对顾客进行类别划分，从而为个性化定价和推广提供依据。渠道Place：建立恰当的分销渠道，能够增加企业利润。渠道所产生的数据，例如经营平台的广告投放、销售记录、订单的密集程度等都是进行商务数据分析时需要考量的因素。促销Promotion：企业注重通过销售行为的改变来刺激消费者，以短期的行为促成消费的增长，促销方式设计是商业数据分析的一个重要任务。２．用户画像用户画像是一种根据用户的个人属性、产品喜好、消费特征等信息抽象出来的标签化模型。通过用户画像，可以有效地将用户抽象成一个标签集合，集合中的标签代表了用户的各方面属性。构建用户画像时首先需要收集数据，形成某些基础数据标签；同时可以针对某一主题，建模分析用户大概率可能采取的行为，进而根据行为特征为用户构建画像；还可以围绕某一个决策，综合多个模型分析的结果，构建画像。

２．用户画像为了更加立体地反映用户特征，在构建用户画像的时候，可以分层次地建立多级指标。

３．用户点击流分析用户点击流（Clickstream）分析是指在获得电商平台用户基本操作数据的情况下，对用户的点击、浏览、加入购物车、购买等行为进行统计、分析，从中发现用户行为规律。这些规律首先可以对用户的下一步行为进行预测，然后，将这些规律与营销策略等相结合，可以对用户的行为进行干预。另外，用户行为分析也可以帮助评价目前的网络营销策略，指导未来营销活动的制定。

４．顾客价值对企业而言，实现所有顾客的个性化产品或服务，其成本是无法承受的。对顾客区分的主要依据是顾客能够为企业提供的价值。顾客当前为企业贡献的价值，根据销量高低对顾客进行排序，重点分析排名靠前的顾客特点，提供相应的服务产品。通常这类顾客会服从80-20分布。

４．顾客价值顾客当前价值和潜在价值两个维度，在一个二维坐标里可以将客户分为四类：I类、

II类、III类和IV类。企业针对四类顾客提供不同的服务。例如IV类客户既有很高的当前价值也有很大的潜在价值，是对企业最有价值的一类客户。

４．顾客价值RFM理论R（recency）代表最近一次购物距离当前的时间长短，F（Frequency）代表一段时间内的购物频率，M（Monetary）代表购物金额。根据顾客在这三个指标上的综合表现，对顾客进行细分。

第三节数据分析主要应用在商务领域中，通过数据分析可以监控和管理整个运营，可以通过数据了解用户、改进产品服务、提高运营效率、降低成本。数据分析在商务领域的应用主要集中在以下几大方面。

1.市场营销（１）用户细分客户细分就是根据客户的特征信息（年龄、性别、收入、受教育程度、购买金额等）将客户划分成不同的群体.每个群体中的客户具有相同或相似的特征，特征相似的客户群具有相似的潜在需求；而不同群体之间的客户特征差异较大。由此可以针对不同群体的客户提供有一定差异的营销策略和产品服务提升客服和营销活动效率，降低成本。

1.市场营销（２）用户行为分析不同的用户群体具有互不相同的行为习惯，精准确定不同用户群的行为特点，提供符合其特征的个性化服务。基于用户行为分析，可以进一步对用户进行流失分析、生命周期分析、影响力分析、价值分析等。

1.市场营销（３）销量预测通过对销量进行预测，可以为商家提供参考，商家可以据此制定合理的采购计划、配置合适的库存，在降低成本的同时，提前对销售变化做好准备。（４）行业竞争和行情分析数据分析可以用来监测和分析对手行业的产品特性和用户反应。通过收集行业主要竞争对手的销售情况和销售策略，以及当前市场宏观变量，可以有效地掌握当前市场行情和未来市场预期。

２．运营管理（１）运营监控（２）决策支持（３）量化运营效能

３．产品研发（１）产品优化支持企业可以在销售之前就能够获取客户反馈信息，获得明确的用户需求，实现了“Pull”

的方式。还可以基于数据对相关业务线产品进行全面的分析，包括用户分析、营收分析、行为分析、活动效果评估等，从而更加科学地为产品优化和业务运营提供支持。（２）新产品研发支持通过分析目标用户喜好，收集当下热门产品和功能，可以为新产品的开发提供决策依据和方向，以用户和市场真实需求为基础，设计更加符合消费喜好的产品。还可以针对特定用户群体，设计差异化产品，个性化地满足不同用户群的特殊需求，提高产品吸引力的同时增加用户满意度和忠诚度。

商务数据分析框架商务数据分析框架商务数据分析框架分为六个模块，分别为问题明确、数据理解、数据预处理、模型建立、模型评价和模型发布。这是一个明确商业目的，进行数据的收集、整理、加工和分析，提炼出有价值信息的过程。

1.问题明确问题明确是最开始同时也是最重要的一个环节，这一环节的确定严重影响着后续工作是否有意义。在数据分析之前明确数据对象是谁，数据分析的目的是什么，解决什么样的业务问题。

２．数据理解数据理解包括数据收集和统计描述。数据收集是按照第一环节的问题和分析思路，有目的性地收集、整合相关数据的过程，它是数据分析的重要基础。常见的数据收集渠道有内部渠道和外部渠道。数据规模和数据灵活性也在不断变化，从简单的数值数据到文本数据再到音频、视频数据均可以收集到。数据的统计描述主要是对数据绘制图表进行统计分析，简单地分析数据的数量和质量，判断收集到的数据能否满足问题的分析目的，以及发现哪些数据值得进一步分析。虽然统计分析比较简单，但它可以实现很多功能。

３．数据预处理数据预处理是对收集到的数据继续进行加工、整理，以便开展后期的模型建立，它是数据分析必不可少的阶段。这一阶段是比较复杂同时也是较为占用时间的，但它必不可少，在一定程度上影响了数据质量的保证以及后期模型的表现。数据预处理主要包括数据清洗、数据变换、数据集成、数据规约和特征选择等。

４．模型建立模型建立是数据分析的核心步骤，通过具体的模型，对数据进行分析，发现数据中隐藏的规律关系和模式。模型建立首先要进行模型选择，根据不同的业务问题需求在众多模型中选择出最适合的模型、最合适的参数配置。建立模型实际上就是找到在这个模型的情境下输入和输出之间的关系模式。需要观察已有的数据，使用已有的一些常用关系模式对数据进行拟合，建立模型。

４．模型建立（１）数据集、训练集、验证集、测试集数据集：数据集合，模型的建立有两方面的考虑：其一是模型数据的维度，其二是数据的数量。训练集：用于建立模型的数据集。验证集：用于调整模型参数、对模型的能力进行初步评价的数据。测试集：用于评价已经建立的模型的表现。

４．模型建立（１）数据集、训练集、验证集、测试集数据集：数据集合，模型的建立有两方面的考虑：其一是模型数据的维度，其二是数据的数量。训练集：用于建立模型的数据集。验证集：用于调整模型参数、对模型的能力进行初步评价的数据。测试集：用于评价已经建立的模型的表现。

４．模型建立（2）数据划分方法根据样本的大小不同可以做出不同的划分选择，但是测试集必须

保证未知并且保持与训练集、验证集的独立性。

４．模型建立（2）数据划分方法留出法将所有数据按照一定比例分为互斥的两部分在分割数据的时候，需要保证这两部分的数据分布是尽可能一致的。使用留出法时，一般需要进行若干次随机划分并重复进行实验评估后取平均值，然后将其作为最终的评估结果。交叉验证法将数据均匀地分为大小相似且互斥的k份数据子集，在每次训练时，取其中的一份作为测试集其余的k-1份作为训练集。进行k次训练和测试，得到k个测试结果，对这k个测试结果取平均，将其作为最后的测试结果。交叉验证法评估结果的稳定性在很大程度上与k有关，通常也叫作“k折交叉验证”。

４．模型建立（３）过拟合、欠拟合与调参误差在使用训练集拟合输入和输出之间的关系时，总会存在误差，这种在训练模型时产生的误差叫作训练误差或者经验误差，在训练集之外的测试数据上进行预测产生的误差叫作泛化误差。建模的最终目标并不是使训练误差小，而是使模型在测试数据上的泛化误差更小，即建立一个可以被广泛应用在其他数据集上的模型。过拟合模型过多地学习到了仅存在于训练样本中的关系，由于这些关系在其他样本中可能是不存在的，模型在其他样本上的表现将远不如在训练样本上的表现，即泛化误差大。原因：学习能力过于强大，建立了复杂度过高的模型。解决方法：在构建模型时对模型进行控制和修剪欠拟合模型没有表达出