数据采集与处理 课件全套 项目1-7 数据采集与处理认知 - 商务数据分析与应用

项目一数据采集与处理认知任务一认识数据与信息网商的手机预约数真的可信吗？数据是一个很枯燥的东西吗？数字数据=应用在日常生活的各个领域我们很多时候都在和数据打交道一、认识数据（一）什么是数据豆瓣评分天气预报例如，我们去电影院看电影前喜欢先看网上的评分（见图1-2），购买商品时将各个平台的价格进行对比，查看旅行攻略中涉及的各种路线所需的时间和花费，每天都很关注天气预报（见图1-3）等。因此，我们大多数人都对数据产生过兴趣，又在日常生活中接触过数据，怎么能说数据是枯燥的呢？数据：对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合。

它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，例如，“0、1、2...”“阴、雨、下降、气温”“学生的档案记录”等都是数据。

也就是说数据不是单纯地指各种Excel表格和数据库，图书、图片、视频、报表、短信等也属于数据的范畴，如通过搜索引擎所做的图片识别、音频识别等都是数据的表现形式。数据使问题更加客观和准确数据能够给我们更多的反馈信息数据能让我们的观点更有吸引力数据的作用例如：《价值3000元和价值30000元文案的区别》例如：教育机构分析学生成绩，制定辅导计划例如：温度的高低、每月工资8000元是高是低（二）什么是商务数据商务数据：主要指记载商业、经济等活动领域的数据符号。在电子商务领域，商务数据可以分为两大类：前端行为数据和后端商业数据。

前端行为数据：是指访问量、浏览量、点击流及站内搜索等反应用户行为的数据；

后端商业数据：更侧重于商业数据，如交易量、投资回报率及全生命周期管理等。（三）什么是数据库数据库：简单地说，数据库是结构化数据的集合。严格地讲，数据库是长期储存在计算机内、有组织的、可共享的大量数据的集合。数据库中的数据按照一定的组织、描述和储存，具有较小的冗余度、较高的数据独立性和易扩展性，并可为各种用户共享。基本特征：（四）数据的计量尺度

数据采集与处理离不开数据，数据也是数据采集与处理的结果。

数据计量是指根据规则，对人或事物的数据特征进行的分类、标识和计算。数据计量一般分为四个层次或四种计量尺度。（四）数据的计量尺度1.定类尺度

定类尺度也称类别尺度，是将数据采集对象分类，标以各种名称确定其类别的方法，实质上是一种分类体系。

定类尺度可以用文字来表示，也可以用数值来表示，但数值本身没有实质性意义，仅是一种符号，目的是为了区分不同的类别，而且只具有等于（=）或不等于（≠）的数学特性。定类尺度等级最低，只是给不同类别起个名称。常见的定类数据有：国家、户口、性别、民族、婚姻状况、职业等变量特征的计量。（四）数据的计量尺度2.定序尺度定序尺度也称顺序尺度，是指对计量对象的属性和特征的类别进行鉴别并能比较类别大小顺序的一种计量方法。例如，人们的生活水平有贫困、温饱、小康、富裕，这是一种由低到高的等级排列；再如城市有特大城市、大城市、中等城市、小城市，这是一种由大到小的排列；教师的职称有讲师=1、副教授=2、教授=3等。常见的定序数据有：教育程度、服务评级、比赛名次。（四）数据的计量尺度3.定距尺度定距尺度是一种不仅能将变量（社会现象）区分类别和等级，而且可以确定变量之间的数量差别和间隔距离的方法。例如我们对A(33℃)、B(30℃)、C(37℃)三人的体温（Unit:℃）进行统计，可得到这三人的体温依次为：33℃、30℃、37℃。我们将A和B的体温相减33-30=3，则可知A比B的体温高3℃。所以对于定距数据而言，其支持+、-运算，但是不可以进行×、÷运算。比如在本例中，我们将A、B的体温相除33/30=1.1，我们不能说A的体温比B体温热1.1倍。因为摄氏温度中的0℃不表示绝对的零点，即没有温度，其只是一个人为定义的标准。所以对于定距数据而言，由于不存在绝对的零点，故对其进行×、÷运算是没有任何意义的。在定距数据中，0值是作为比较的标准，而不是表示没有。当然，其同样亦支持＝、≠、>、<运算。常见的定距数据有：摄氏温度、华氏温度、年份、纬度、经度、考试成绩等。（四）数据的计量尺度定距尺度可以较方便地转换为定序尺度，例如，若考查课的成绩要以五级制成绩表示，则需要将百分制分数转换为五级制分数，一般百分制中的“60~70”对应五级制中的“及格”，其他分数以此类推。但需要注意的一点是，通常定序尺度数据不能转换为定距尺度数据，如五级制分制不能转换为百分制。（四）数据的计量尺度4.定比尺度定比尺度是能够计量事物间比例、倍数关系的计量方法，通过对比计算，可以形成新的相对数，用以反映现象的构成、比重、速度、密度等数量关系。定比尺度是计量中的最高层次，含有前三个计量尺度的特征。定比尺度下的数据可以进行加减乘除运算，运算结果具有实在的意义。例如我们对A(50kg)、B(25kg)、C(10kg)三人的体重（Unit:kg）进行统计，可得到这三人的体重依次为：50kg、25kg、10kg。我们将A、B的体重相除50/25=2，这时我们就可以说A比B重2倍。原因在于体重数据是存在绝对的零点，显然体重为0kg时表示的是没有体重。所以对于定比数据而言，其之所以支持×、÷运算，是因为存在绝对的零点，即0值表示没有。当然，其同样亦支持＝、≠、>、<、+、-运算。常见的定比数据有：体重、身高、体积等。（四）数据的计量尺度四种计量尺度的比较见表1-1-1：功能类别分类排序间距比值定类尺度

定序尺度

定距尺度定比尺度（五）数据的分类1.按照来源分类（1）原始数据

原始数据是通过直接数据采集获得的数据，也是未经过处理或简化的数据，称为一手数据或直接的统计数据，如产品的出库资料、数据采集问卷等。主要是通过访谈、询问、问卷、测定等方式直截了当获得的,通过收集一手数据可以解决特定问题。（2）次级数据

次级数据也称二手数据，是已经经过别人的初步数据采集、加工和处理后的数据，有时也称为间接的数据，如统计年鉴、文献资料、统计报告等。与一手数据相比，二手数据具有取得迅速、成本低、易获取等优点。当然，二手数据也存在相关性差、时效性差和可靠性低的缺点。（五）数据的分类2.按照数据来源的范围分类（1）外部数据以互联网企业为例，它的外部数据主要包括：社会人口数据：人口的概况、人口的分布、人口的素质、民族的构成等。宏观经济数据：生产总值、国民生产总收入、消费水平等。新闻舆论数据：新闻的广告、舆论的监测等。市场调研数据：对渠道、广告、产品及价格方面的调研数据。（2）内部数据内部数据包括用户行为数据、服务端日志数据、客户关系管理、数据和交易数据等。其中用户行为数据是指用户在网站的停留时间、跳出率、回访次数及回访率等。（五）数据的分类2.按照采用的计量尺度分类（1）定性数据定性数据也称为品质数据，分为定类数据和定序数据。1）定类数据：是由定类尺度计量形成的数据，是数据的最低级，它表示个体在属性上的特征与类别上的不同变量，仅仅是一种标志，没有序次关系。2）定序数据：是由定序尺度计量得到的，表现为类别，但有顺序，数据的中间级，用数字表示个体在某个有序状态中所处的位置，不能做四则运算。（五）数据的分类2.按照采用的计量尺度分类（2）定量数据定量数据又称数值数据，可分为定距数据和定比数据。1）定距数据：是由定距尺度计量得到的数据，具有间距特征的变量，它对事物能进行准确测度。定距数据表现为“数值”，有单位，可以加减运算，但不能做乘除。2）定比数据：是由定比尺度计量形成的数据，表现为数值，可以进行加、减、乘、除运算，没有负数。数据的最高级，既有测量单位，也有绝对零点，例如职工人数，身高。一般来说，数据的等级越高，应用范围越广泛；等级越低，应用范围越受限。（五）数据的分类四种数据类型的比较：数据类型测量结果测量精度计算方法信息数量定性数据定类数据A、B公司是国有企业是否是国企无A、B公司是国有企业定序数据A公司是大型企业B公司是中型企业规模的大与小无A、B公司是国有企业A公司比B公司规模大定量数据定距数据A公司创设于1963年B公司创设于2003年确定的企业年限加、减A、B公司是国有企业A公司比B公司规模大A公司比B公司早成立36年定比数据A公司成立60年B公司成立20年确定的企业年限加、减、乘、除A、B公司是国有企业A公司比B公司规模大A公司比B公司早成立36年A公司的成立年限是B公司年限的3倍（五）数据的分类3.按照规模分类（1）传统数据传统数据就是一般意义上的数据，是对客观现象的属性、特征进行分类、标示和计算等计量活动的结果。（2）大数据（五）数据的分类大数据：指的是所涉及的资料量规模巨大到无法通过目前主流的软件工具，在合理时间内提取、存储、搜索、共享、分析和处理的数据集合。

大数据的特征：Volume（大量）Velocity（高速）Variety（多样）Value（价值）（五）数据的分类大数据的应用：大数据教育大数据交通大数据医疗大数据金融（五）数据的分类4.按照反映时间状态分类（1）横截面数据横截面数据是指在同一时间(时期或时点)截面上反映一个数据采集对象的一批(或全部)个体的同一特征变量的观测值，是样本数据中的常见类型之一。例如，工业普查数据，人口普查数据，家庭收入调查数据。（2）时间数列数据时间数列数据是指按照时间顺序排列的数据序列，它反映一系列时间上发生的状态、过程、活动或者现象的数据。（五）数据的分类（五）数据的分类二维表结构，通过关系型数据库存储和管理字段可根据需要扩充，即字段数目不确定不方便用数据库二维逻辑表来表现，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等（五）数据的分类本月店内康师傅冰红茶每天的销售量今天店内康师傅冰红茶、绿茶、茉莉蜜茶的销售量本月店内康师傅冰红茶、绿茶、茉莉蜜茶每天的销售量（五）数据的分类智商分数100.5、100.6。。。班级个数、学生人数。。。（六）数据集数据集（Dataset）：是一个数据的集合，通常以表格形式出现。

每一列代表一个特定变量。每一行都对应于某一成员的数据集的问题。二、认知信息1.信息信息：是指用语言、文字、符号、情景、图像、声音等所表示的具体内容统称为信息。信息有以下两点内涵：1）信息是向人们或机器提供关于现实世界新的事实的知识，是数据、消息中所包含的意义。2）信息是对客观世界中各种事物的运动状态和变化的反映，是客观事物之间相互联系和相互作用的表征，表现的是客观事物运动状态和变化的实质内容。（一）什么是信息2.信息的载体形式信息的载体形式：文字、图像、图形、声音、符号、动画、视频等。3.信息的特征信息有如下几个特征：传递性、共享性、依附性、可处理性、价值相对性、时效性和真伪性。（二）数据与信息有一句话是这么说的“数据是爆炸了，信息却很贫乏”，那么数据与信息之间到底有什么关系呢？（二）数据与信息1.关系数据和信息是相互联系的概念，数据是信息的具体表现形式，而信息是数据的内涵。数据是反映客观事物属性的记录，如文字、数字、图形和曲线等，这些数据本身没有意义，只有当它们被解释、运用或解算时，才能成为信息。信息是数据经过加工处理后得到的，如报表、账册和图纸等，信息被用来反映客观事物的规律，从而为管理工作提供依据。（二）数据与信息数据和信息可以相互转化。例如，昨天的销售情况是数据，而明天可能的销售情况实际上就是信息，如果我们把过去一年的销售情况收集起来进行加工，就又会得到长期变化规律的新信息。数据和信息是无法割裂开的，数据对人类真正的用途是加工出不同的信息，这也能使我们更好的认识事物，得到正确的信息更能帮助我们做出正确的决策。（二）数据与信息2.区别数据是数据采集时提供的，信息是从采集的数据中获取的有用信息。即：数据=信息+数据冗余。由此可见，信息可以简单地理解为数据中包含的有用的内容。不严格的说，“不知道的东西，你知道了，就获得了一个信息”。也可以说数据在未被接收对象获取前可以称为数据，一旦被对象获取，即可称为信息。数据是客观的，它不依人们的主观意志为转移；信息是带有主观性的，同样一条消息（数据），经过某人的解释，对某人来说很有用处，很有价值，但对另外一个人，可能没有什么价值。三、数据的职能（一）信息职能数据的信息职能是指系统地采集、整理和提供大量的以数量描述为基本特征的数据，能够给我们反馈更多的信息，如企业在了解市场、分析对手等方面数据使问题更加客观和准确。在数据的三种职能中信息职能是最基本的职能，是数据的咨询和监督职能得以发挥的基础。三、数据的职能（二）咨询职能数据的咨询职能是指根据掌握的丰富的数据信息资源，经过数据处理，为科学决策和管理提供咨询意见和对策建议，数据也能使提供的观点或建议更有吸引力。三、数据的职能（三）监督职能数据的监督职能是指根据数据采集与处理，从总体上对宏观国民经济和社会运行状况及微观数据采集单位进行全面、系统的定量检查、监测和预警，及时揭示经济运行中的问题，促使社会经济及数据采集单位按照客观规律的要求发展。项目一数据采集与处理认知任务二认识数据采集与处理的相关概念

数据采集在我们日常生活当中是随处可见的，尤其是2020年初的新冠疫情，我们每个人每天都要不断的在小区入口，公司上班处，或在线填写各类身体健康信息的表格和数据，这些就是数据采集的过程。

一、数据采集对象与数据采集单位

数据采集对象：是指由许多同质的、客观存在的个体构成的整体；

数据采集单位：构成数据采集对象的个体就是数据采集单位。

一般来说，在一个数据采集对象中，数据采集单位在某些方面必须有一个或多个相同的性质。例如要采集一个地区民营经济的相关数据，当地所有的民营经济体就构成了一个数据采集对象，在所有制性质这一点上，所有的民营经济体都是相同的。对于该数据采集对象来说，每一个民营经济体就是数据采集单位。二、标志与指标（一）标志

标志：是采集对象各单位所具有的共同特征的名称，即用来说明总体单位特征的名称。

从不同的维度来考察，每个数据采集单位可以有许多特征，而且这些特征有不同的表现，这种表现叫做标志的特征值，也是数据采集所需要的结果，例如：一家电子厂职工的性别、年龄、民族等。1.按特征值的表现分为不变标志和变异标志不变标志：当一个标志在各个采集单位的特征值都相同时,这个标志称为不变标志；变异标志：当一个标志在各个单位的特征值有可能不同时，该标志称为可变标志或变异标志。例如，电子厂的员工，如果按厂籍来看都一样，这个厂籍就是不变标志，如果按照性别、年龄、学历等来区分，则有所不同，这些标志就是可变标志。数据采集的标志主要是可变标志。标志的分类2.按其性质可分为品质标志和数量标志品质标志：表示事物质的特征，其特征值是不能用数值表示的，例如员工的民族、性别、工种等。数量标志：表示事物量的特征，其特征值用数值表示，例如员工的年龄、工资、工龄等。（二）指标及指标体系1.指标的概念指标：是反映数据采集对象总数量特征的名称和具体数值。例如，全国电商厂商数、天猫“双十一”商品销售额、人均工资收入等。指标一般由六个要素构成：指标名称、计量单位、计算方法、时间范围、空间范围、具体数值。例如，2022年全年我国国内生产总值（GDP）为1210207亿元，这个指标就反映了2022年我国GDP的总体情况。2.指标的种类(1)按反映数据采集对象内容的不同分类指标按反映数据采集对象内容的不同，分为数量指标和质量指标。1）数量指标也即是总量指标，是说明数据采集对象总规模、总水平的指标。例如,员工总数、企业固定资产总额、工资总额、进出口总额等。数量指标所反映的是数据采集对象的绝对数量,有计量单位，其数值的大小随着数据采集对象范围的变化而变化,它是认识数据采集对象的基础。2.指标的种类2）质量指标是说明数据采集对象内部数量关系或数据采集单位水平的指标。例如，各省经济总量占全国经济总量的比重、某电子厂员工的性别比例，年龄构成，农业、轻工业、重工业比例，平均年龄等。它的表现形式有相对数和平均数,其数值的大小与范围的变化没有直接关系。2.指标的种类(2)按其表现形式和作用的不同分类指标按其表现形式和作用的不同,分为总量指标、相对指标和均值。1）总量指标又分为实物指标、劳动指标和价值指标三种。2）相对指标也称相对数，是用两个有联系的指标进行对比、用来反映数据采集对象之间数量关系的指标，如频率、结构、发展程度、强度、普遍程度等。3）均值则是反映数据采集对象内部某一数量标志在一定时间、地点下所达到的一般水平的指标，如平均身高、平均寿命、平均亩产量等。2.指标的种类(3)按管理功能的不同分类指标按管理功能的不同，分为描述指标、评价指标及预警指标。1）描述指标是用来反映数据采集对象的状况、过程和结果，达到对数据采集对象现象的基本认识，是数据信息的主体。例如，反映某网络店铺拥有粉丝数量指标、年销售额指标；再如某地区劳动资源指标、国内生产总值指标、财政收入指标、投资指标等。2）评价指标包括宏观国民经济评价指标和数据采集对象经济活动评价指标，用于对社会经济运行的结果进行比较、评估和考核，以检查工作质量或其他定额指标的结合使用。如产品的合格率、就业率、计划完成程度等指标。3）预警指标主要用于对数据采集对象的运行进行监测，对数据采集对象运行中即将发生的失衡、失控等进行预报、警示。通常选择数据采集对象运行中的敏感性、关键性经济现象，构建相应的监测指标体系。如针对经济增长、经济周期波动、失业、通货膨胀等，可以建立GDP与国民收入增长率、CPI、汇率、利率、社会积累率、消费率、失业率等预警指标。（二）指标及指标体系3.指标体系（1）指标体系指标体系就是各种相互联系的指标所构成的一个有机整体,用来说明所研究现象各个方面相互依存和相互制约的关系，它主要用于解决由于现象的复杂多样性，及各种现象之间相互联系的性质，例如只用个别指标来反映是不全面的,这样就需要采用指标体系来进行综述。（2）指标体系的分类1）根据所研究问题的范围大小分类指标体系根据所研究问题的范围大小，可以建立宏观指标体系和微观指标体系。宏观指标体系：就是反映整个现象大范围的指标体系，如反映整个国民经济和社会发展的指标体系。微观指标体系：就是反映现象较小范围的指标体系，如反映企业或事业单位的指标体系。介于这两者之间的可以称为中观指标体系，如反映各地区或各部门的指标体系。2）根据所反映现象的范围内容不同分类指标体系根据所反映现象的范围内容不同,可分为综合性指标体系和专题性指标体系。综合性指标体系：能较全面地反映总系统及其各个子系统的综合情况，如国民经济和社会发展指标体系。专题性指标体系：则是反映某个方面或问题的，如经济效益指标体系。三、变异、变量和变量值（一）变异一般意义上的变异是指标志（包括品质标志和数量标志）在总体单位之间的不同表现。如人的性别有男女之分,各时期、各地区、各部门的工业总产值各有不同等,这种差别叫作变异。严格来说，变异仅指品质标志的不同具体表现。如性别表现为男、女，民族表现为汉、满、回、苗等。与变异相对，变量则是用来描述数量标志的具体表现。（二）变量及变量值1.变量的概念变量就是可以取不同值的量，这是数学上的一个名词，在数据分析中，变量就是数量标志的名称或指标的名称。变量包括各种数量标志和全部指标，它都是以数值表示的，不包括品质标志。例如,职工人数是一个变量,因为各个工厂的职工人数不同。（二）变量及变量值2.变量的分类变量按其数值是否连续可分为连续变量与离散变量两种。1）连续变量连续变量是指在一定区间内可任意取值的变量叫连续变量,其数值是连续不断的,相邻两个数值之间可作无限分割，即可取无限个数值。例如，生产零件的规格尺寸、人体测量的身高、体重、胸围等为连续变量，其数值只能用测量或计量的方法取得。（二）变量及变量值2.变量的分类2）离散变量离散变量是指可按一定顺序一一列举其数值的变量叫离散变量,其数值是断开的。例如，企业个数、职工人数、设备台数、学校数、医院数等，都只能按计量单位数计数,这种变量的数值一般用计数方法取得。（二）变量及变量值3.变量值变量的具体数值表现称为变量值。例如，某工厂有852人,另一工厂有1686人，第三个工厂有964人等等，都是职工人数这个变量的具体数值，也就是变量值。这里要注意区分变量和变量值，在上例中，852人、1686人、964人三个变量值的平均数，不能说是三个“变量”的平均数，因为这里只有“职工人数”这一个变量，并没有三个变量。任务三数据采集与处理的工作过程一、数据采集与处理的意义（一）数据采集与处理的概念数据采集与处理：是指利用科学的方法，根据要求对数据采集对象中各采集单位的数据信息资料进行采集、处理，通过作图、制表和各种形式的拟合来计算某些特征值，分析数据采集对象规律性的活动。一、数据采集与处理（二）数据采集与处理的意义1.事前预判

通过数据采集与处理，能从整体上反映和分析事物的数量特征,能观察出事物的本质和发展规律,从而可以做到事前预判，并作出正确的决策。

例如,企业通过分析市场整体数据,可以了解市场与行业的现状，预测市场和行业的未来发展走向，从而为企业调整运营策略提供有效的数据支持。一、数据采集与处理2.事中监控在数据化运营过程中，市场主体可以通过数据分析来监控各个指标,这样能够及时发现异常，并尽快解决问题，而不会影响正常的运营。（1）宏观上看，数据采集与处理是国家宏观调控和管理的重要工具。（2）从微观上看，数据采集与处理是企业管理与决策的依据。一、数据采集与处理3.事后优化根据数据分析的结果，对于企业而言，就可以定期进行优化调整，不断提升运营工作的质量,持续提高竞争力。

在这方面，数据采集与处理的价值包含3个方面：一是帮助领导做出决策;二是预防风险；三是把握市场动向,通过数据分析,可以帮助企业发现做得好的方向、需要改进的地方,以及指出企业出现的问题。一、数据采集与处理4.数据采集与处理是进行科学研究的重要方法

为使观点与结论具有事实依据和说服力，必须根据数据采集或实验取得的数据来说明问题，通过数字揭示事物在特定时间方面的数量特征,以便对事物进行定量乃至定性分析,从而做出正确的决策。二、数据采集与处理工作过程目的：一是对现状数据进行深入的分析，提供现阶段事物整体状况及构成情况,包括各项业务的发展以及变动情况，即事前预判；二是进行原因分析，发现存在问题的原因,并依据原因制订相应的解决方案，即事中监控；三是预测分析，依据采集和处理的数据对事物未来的发展趋势做预测，以便制订相应的计划，即事后优化。二、数据采集与处理工作过程数据采集与处理工作过程大致分为以下几个环节，即数据分析需求识别、数据采集与处理设计、采集数据、数据处理以及数据呈现，具体步骤如下：1.明确数据采集与处理需求和目标2.数据采集与处理设计3.采集数据及存储数据4.数据处理5.数据呈现任务四认知数据采集与处理工具一、常用数据采集工具（一）平台提供的数据工具（二）第三方专项数据采集工具（三）网页数据采集工具（爬虫）（四）其他数据采集工具（一）平台提供的数据工具主要包括平台的店铺后台、生意参谋（淘宝/天猫）、京东商智（京东）、数据易道（苏宁）等数据采集工具。（一）平台提供的数据工具1.生意参谋通过生意参谋，数据采集人员不仅可以采集自己店铺的各项运营数据（如流量、交易、服务、产品等数据），通过市场行情板块还能够获取到在淘宝/天猫平台的行业销售经营数据。如图所示。（一）平台提供的数据工具（一）平台提供的数据工具（一）平台提供的数据工具2.京东商智京东商智是京东为卖家提供数据服务的平台，卖家在订购京东商智之后，可以从PC端、APP、微信、手机QQ、移动端五大渠道获取店铺的流量、销量、用户、商品等数据，并能够获取整个行业及同行业中其他卖家的数据，以此来支持运营决策。同时，京东商智还支持购物车营销、用户营销等精准营销，帮助卖家提升销售，如图所示。（一）平台提供的数据工具3.数据易道

数据易道是苏宁面向外部卖家、供应商及品牌工厂等合作伙伴的官方数据分析产品平台，依托苏宁海量数据价值和大数据能力，旨在通过优质的数据产品及服务为合作伙伴提供业务数据分析和决策建议，实现合作伙伴与苏宁的商业价值共享共赢。如图所示。（二）第三方专项数据采集工具第三方专项数据采集工具，主要包括：多多情报通（多多参谋）、店侦探（淘宝/天猫）、淘数据（淘宝/京东/wish/shopee等）、逐鹿工具箱、店数据、升业绩等工具。（二）第三方专项数据采集工具1.多多情报通

多多情报通(多多参谋)是拼多多电商平台的数据工具,提供大盘走势、竞品（“竞争商品”的简称）分析、货源分析、成交高峰、物流预警、开团监控、店铺探索、深度分析活动商品信息、关键词监控等多维度的数据服务,辅助卖家的数据化运营，如图所示。（二）第三方专项数据采集工具2.店侦探

店侦探是一款专门为淘宝及天猫卖家提供数据采集、数据分析的数据工具。通过对各个店铺、宝贝运营数据进行采集分析，店侦探可以快速提供竞争对手店铺的销售数据、引流途径、广告投放、活动推广、买家购买行为等数据信息。如图所示。（二）第三方专项数据采集工具3.淘数据淘数据由阿里巴巴集团推出，主要针对淘宝、天猫等阿里电商平台的交易数据和用户行为数据进行收集和分析。如图所示。（二）第三方专项数据采集工具淘数据和生意参谋都是提供电商数据统计和分析的工具，但有以下区别：（1）数据来源不同。淘数据主要从淘宝、天猫等阿里电商平台进行数据采集和分析，而生意参谋主要从京东、苏宁、天猫、淘宝、唯品会、拼多多等多个电商平台进行数据收集和分析。（2）数据覆盖范围不同。淘数据主要关注淘宝、天猫平台的交易数据和用户行为数据，而生意参谋覆盖范围更广，不仅包括交易数据和用户行为数据，还包括流量、广告、竞争情报等数据。（3）数据处理方式不同。淘数据提供基于自然语言处理和机器学习算法的数据挖掘，可以进行一些高级的分析和预测，而生意参谋提供的更多是基于数据指标的可视化展示，通过图表和报告的方式直观地显示数据情况。（4）使用方式不同。淘数据是一款纯数据分析软件，需要用户自行对数据进行分析和解读，而生意参谋除了提供数据分析之外，还提供了一些营销策略和推广工具供商家使用，能够帮助商家更好地制定营销计划和优化营销效果。综上所述，淘数据主要关注淘宝、天猫平台数据的分析，而生意参谋是一个全维度的电商数据工具，覆盖多个电商平台数据并提供更多的营销策略和推广工具，供用户根据自身需求选择使用。（二）第三方专项数据采集工具4.逐鹿工具箱

逐鹿工具箱是一款电商多领域营销软件，提供了查排名、选款选品、主图评测、关键词挖掘、关键词市场分析、SEO优化，直通车优化，活动分析等功能，可帮助卖家全面提升店铺经营效率。（三）网页数据采集工具（爬虫）1.八爪鱼采集器

八爪鱼采集器是一款通用网页数据采集器，使用简单，可执行完全可视化操作；其功能强大，任何网站均可采集；另外，其采集的数据可导出为多种格式。八爪鱼采集器可以用来采集商品的价格、销量、评价、描述等内容。如图所示。（三）网页数据采集工具（爬虫）2.火车采集器

火车采集器是一个供各大主流内容平台系统、论坛系统等使用的多线程内容采集发布程序。其对于数据的采集可分为两部分：一是采集数据，二是发布数据。借助火车采集器可以根据采集需求在目标数据源网站采集相应数据并整理成表格或TXT格式导出。（三）网页数据采集工具（爬虫）3.后羿采集器

后羿采集器功能强大，操作简单，是为广大无编程基础的运营、销售、金融、新闻、电商和数据分析从业者，以及政府机关和学术研究等用户量身打造的一款产品。后羿采集器不仅能够进行数据的自动化采集，而且在采集过程中可以对数据进行清洗。在数据源头即可实现多种内容的过滤。通过使用后羿采集器，用户能够快速、准确地获取海量网页数据，从而彻底解决了人工收集数据所面临的各种难题，降低了获取信息的成本，提高了工作效率。如图所示。（三）网页数据采集工具（爬虫）后羿、八爪鱼和火车采集器的异同：后羿：支持跨平台，个人使用完全免费，对于大多数网站来说，只需输入网页地址，软件就会自动识别并提取相关字段信息，包括列表、表格、链接、图片等，不需配置任何采集规则，一键采取，支持自动翻页和数据导出功能，对于小白来说，非常容易学习和掌握。八爪鱼：相比较后羿采集器来说，八爪鱼采集器目前仅支持Windows平台，需要人为设置采集字段和配置规则，因此更繁琐，但也更灵活，内置了大量数据采集模板，可以轻松采集京东、天猫等热门网站，官方教程非常详细，对于小白入手来说，也非常容易掌握。火车：相比较后羿采集器和八爪鱼采集器来说，规则设置上更为灵活、智能，可以迅速抓取网页上散乱的数据，同时提供数据分析和辅助决策功能，对于日常爬取网站数据来说，是一个非常不错的软件。4.集搜客集搜客GooSeeker始于2007年，是国内最早的网络爬虫工具之一，近年来，集搜客已把互联网内容结构化和语义化技术成功推广到金融、保险、电信运营、电信设备制造、电子制造、零售、电商、旅游、教育等行业。软件通用于国内外网站，免编程，大批量抓取，可作为微博采集工具箱，采集数据一键输出至Excel表格；软件还可自动分词和情感分析、报表摘录和笔记等。软件现提供免费版、专业版、旗舰版、VIP版。（三）网页数据采集工具（爬虫）（四）其他数据采集工具1.

ScrapyScrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据，也可以用于抓取非结构化数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。（四）其他数据采集工具2.

Import.ioImport.io是一个网页抓取工具，它可以帮助用户从互联网上采集各种类型的数据。这个工具可以非常灵活地处理各种不同的数据类型，包括文本、图片、视频等等。使用Import.io的用户可以通过简单的拖拽操作来完成数据采集任务，并且支持自动化抓取大规模数据。优点：（1）简单易用，不需要编写代码，只需要进行简单的拖拽操作即可完成数据采集任务。

（2）可视化编辑器：Import.io提供了一个可视化编辑器，用户可以通过这个编辑器来创建自己的抓取器，并且可以对抓取器进行编辑和修改。

（3）支持多种数据源：支持从各种不同的数据源中采集数据，包括网页、API、数据库等。（4）自动化抓取：使用Import.io可以实现自动化抓取大规模数据，并且可以根据需要设置自动化任务。缺点：速度较慢，数据准确性不高、可能会存在一定程度的误差，虽然提供免费版，但是如果需要使用更加高级的功能，则需要付费。（四）其他数据采集工具3.

ApacheNutchApacheNutch是一款开源的网络爬虫软件，可以用于抓取互联网上的非结构化数据。它支持多种文件格式，包括HTML、XML、PDF、Word等，并且可以自定义抓取规则。非结构化数据是指那些没有特定格式和组织的数据，比如文本文档、邮件、音频、视频等。这些数据通常难以用传统的关系型数据库来存储和处理。（四）其他数据采集工具4.

BeautifulSoupBeautifulSoup是一款Python库，用于解析HTML和XML文档。它可以将非结构化的HTML或XML文档转换为结构化的Python对象，并且可以通过标签名、属性等方式来查找指定内容。BeautifulSoup可以与Scrapy等网络爬虫框架搭配使用，实现数据的采集和处理。（四）其他数据采集工具6.ContentgrabberContentgrabber采集机是一种高效的网络数据采集工具。它可以自动化地从任何网站上抓取和提取数据，并将其转换为结构化的格式，以便于后续处理和分析。它提供了可视化的操作界面，并支持自动生成脚本，使得即使没有编程经验的用户也能够轻松地使用它。此外，contentgrabber采集机还具有更高的效率和更好的灵活性。结构化数据也称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。与结构化数据相对的是不适于由数据库二维表来表现的非结构化数据，包括所有格式的办公文档、各类报表、图片和音频、视频信息等。二、常用的数据处理工具（一）SAS（二）R语言（三）SPSS（四）Python二、常用的数据处理工具（一）SASSAS的产生与发展SAS系统全称为StatisticsAnalysisSystem，最早由北卡罗来纳州立大学的两位生物统计学研究生编制，并于1976年成立了SAS软件研究所，正式推出了SAS软件。SAS是用于决策支持的大型集成信息系统，但该软件系统最早的功能限于统计分析，至今，统计分析功能也仍是它的重要组成部分和核心功能。二、常用的数据处理工具（一）SAS2.SAS的应用SAS系统是一个组合软件系统，它由多个功能模块组合而成，其基本部分是BASESAS模块。BASESAS模块是SAS系统的核心，承担着主要的数据管理任务，并管理用户使用环境，进行用户语言的处理，调用其他SAS模块和产品。也就是说，SAS系统的运行，首先必须启动BASESAS模块，它除了本身所具有数据管理、程序设计及描述统计计算功能以外，还是SAS系统的中央调度室。它除可单独存在外，也可与其他产品或模块共同构成一个完整的系统。各模块的安装及更新都可通过其安装程序非常方便地进行。二、常用的数据处理工具（一）SASSAS系统具有灵活的功能扩展接口和强大的功能模块，在BASESAS的基础上，还可以增加如下不同的模块而增加不同的功能：SAS/STAT（统计分析模块）、SAS/GRAPH（绘图模块）、SAS/QC（质量控制模块）、SAS/ETS（经济计量学和时间序列分析模块）、SAS/OR（运筹学模块）、SAS/IML（交互式矩阵程序设计语言模块）、SAS/FSP（快速数据处理的交互式菜单系统模块）、SAS/AF（交互式全屏幕软件应用系统模块）等等。二、常用的数据处理工具（一）SAS综合来看，SAS是一种商业化的数据分析软件，它提供了多种数据处理和分析功能，如数据挖掘、统计分析、预测建模等。SAS支持多种数据格式，如CSV、TXT、Excel等。SAS还提供了一套完整的数据挖掘流程，可以帮助用户方便地完成数据挖掘任务。二、常用的数据处理工具（二）R语言1.R语言产生与发展历程R语言来自S语言，是S语言的一个变种。S语言在贝尔实验室开发，著名的C语言、Unix系统也是贝尔实验室开发的。R语言提供了一系列用于数据处理、计算和绘图的工具，包括数据框、数组、向量和矩阵等数据结构，以及用于统计分析的函数，如参数和非参数假设检验、线性回归、广义线性回归、非线性回归、可加模型、树回归、混合模型、方差分析、判别、聚类、时间序列分析等。二、常用的数据处理工具（二）R语言2.R语言的应用R语言广泛的应用与统计、应用数学、计量经济、金融、生物、数据可视化以及人工智能等领域，应用前景越来越广阔。R是一种专门用于统计分析和数据可视化的编程语言和环境。它提供了丰富的数据处理和分析函数，可以进行各种高级统计分析、机器学习和数据挖掘任务。R也提供了各种绘图功能，可以生成美观和信息丰富的数据可视化图表。二、常用的数据处理工具（三）SPSSSPSS软件诞生于1968年，是一款用于统计学分析运算、数据挖掘、预测分析和决策支持任务的专业统计软件产品。SPSS最初称为“社会科学统计软件包”(StatisticalPackageforSocialScience)，2002年SPSS公司将其名称改为“统计产品与解决服务方案”(StatisticalProductandServiceSolutions，SPSS)。问世50多年来，SPSS软件在医疗、商业、市场研究、教育、保险、银行等多个领域和行业得到了广泛应用，是当今最权威的统计学软件之一，有Windows和MacOS等多个操作系统版本。二、常用的数据处理工具（三）SPSSSPSS有如下一些优势：功能强大:SPSS囊括了各种成熟的统计方法和模型，为统计分析用户提供了全方位的统计学算法。兼容性好:在数据方面,不仅可以在SPSS中直接进行数据录入工作,还可以将日常工作中常用到的Excel表格数据、文本格式数据导入SPSS中进行分析，从而节省了相当大的工作量。易用性强:SPSS之所以有广大的用户群，不仅因为它是一种权威的统计学工具，提供了强大的统计功能，也因为它是一种非常简单易用的软件。扩展性高:SPSS直接和R语言进行对接，通过直接调用R语言的各种统计模块，直接实现了对最新统计方法的调用（新版本已经增加对Python的支持）。二、常用的数据处理工具（四）PythonPython是一种通用的编程语言，可以用于网络爬虫进行数据采集，也广泛用于数据处理和分析。Python有许多强大的数据处理库，如Pandas、NumPy和SciPy，可以进行各种数据操作、统计分析和机器学习任务。Python也支持各种可视化库，如Matplotlib和Seaborn，可以生成各种图表和可视化效果。二、常用的数据处理工具（五）SQLSQL（结构化查询语言）是一种用于管理和操作关系型数据库的编程语言。通过编写SQL查询语句，可以从数据库中提取、过滤和分析数据。SQL可以执行各种数据操作，如创建表、插入、更新和删除数据等。三、数据处理的主要操作软件---Excel（一）Excel软件简介Excel是微软公司出品的Office系列办公软件中的一个组件，确切的说，它是一个电子表格软件，提供了各种各样的功能，使得用户可以轻松构建、修改和管理各种数据表格，完成许多复杂的数据运算，进行数据的分析和预测并且具有强大的制作图表功能。Excel广泛应用于金融、财税、审计、行政等领域，有助于提高工作效率，实现办公自动化，是目前应用最为广泛的数据处理软件之一。三、数据处理的主要操作软件---Excel（二）Excel的功能Excel功能强大，可以执行各种计算任务，从简单的加减乘除运算到复杂的统计分析、图形展示和数据处理，其功能主要有6个部分：1.表格操作：Excel支持用户对表格中的数据进行增加、删除、修改、查找、排序、筛选等操作。2.公式操作：Excel支持用户编写公式，并通过输入文本框中的数据来计算表格中的数据。3.图表操作：Excel支持用户对表格中的数据进行数据可视化展示，包括折线图、柱状图、饼图等多种类型的图表，帮助用户更直观地分析数据。三、数据处理的主要操作软件---Excel（二）Excel的功能4.数据分析：Excel支持用户利用函数和数学公式对表格中的数据进行计算、分析和汇总，包括求和、平均值、最大值、最小值、方差等多种类型的数据分析。5.页面设置：Excel支持用户对工作表的页面进行设置，包括设置页边距、设置工作表标签等。6.宏操作：Excel支持用户编写宏，并通过运行宏来自动执行一系列的操作。

总的来说，Excel是一款功能强大的电子表格处理软件，可以用于数据处理、数据分析、图表展示等多种场景。项目二数据采集概述任务一认知数据采集一、认知数据采集

数据采集，就是按照数据分析研究的目的和任务，运用科学的数据采集组织形式和方法,有组织、有计划地采集数据资料的工作过程。由于无论何种形式的次级数据都是由原始数据资料过渡而来，所以数据采集所要搜集的资料主要是指原始数据资料。（一）数据采集的概念一、认知数据采集数据采集是整个研究分析工作的基础环节，通过数据采集,取得有关被采集对象的具体数据资料，为数据处理提供基础依据。而且，数据采集工作的质量影响到整个数据采集与处理工作的质量，数据采集搞得好，就能准确、及时、全面地反映被研究对象的本质及规律性。反之，如果数据采集搞不好，所得资料不准确、不真实或者不及时，即使经过科学整理和分析，也得不到正确的判断，这将影响整个数据采集与处理工作的成果。所以，数据采集阶段是保证研究工作顺利完成、提高数据采集与处理工作质量的首要环节，是整个数据采集与处理工作的前提与基础。（二）数据采集的意义二、数据采集的种类1.全面数据采集（一）按照数据采集对象包括的范围划分全面数据采集：是对数据采集对象中的所有单位进行无一遗漏的观察登记。例如，要了解全国的汽车产量，就要对全国所有汽车厂家进行数据采集；要了解我国的人口结构和素质，就要对全国的所有人口进行数据采集。二、数据采集的种类1.全面数据采集（一）按照数据采集对象包括的范围划分这种数据采集方式能掌握所有总体单位的资料，但是耗时长、花费高。这种数据采集方式仅适用于有限总体，且应限于反映国情国力的重要指标。二、数据采集的种类2.非全面数据采集非全面数据采集：仅对数据采集对象中的部分单位进行观察登记。例如，对中小企业融资方式进行数据采集，不必将所有中小企业都纳入数据采集范围，选择一部分即可。这种数据采集方式工作量小、耗时相对较短、花费也相对较低，数据采集结果可以反映某地区的情况或在一定程度上可以反映总体的一般情况。二、数据采集的种类1.报表数据采集（二）按照数据采集的组织方式划分报表数据采集：是指按照统一规定的表式要求，自上而下地统一布置、自下而上地逐级汇总上报的一种数据采集方式。二、数据采集的种类2.专门数据采集（二）按照数据采集的组织方式划分专门数据采集：是指为研究某些专门问题，由采集单位专门组织进行的一种调查方式。包括全面数据采集、重点数据采集、典型数据采集、抽样数据采集等。二、数据采集的种类1.经常性数据采集（三）按数据采集登记时间上的连续性划分经常性数据采集：指在一定时期内对客观事物的发展变化情况连续不断地进行登记的采集方式，其目的是取得某事物在一定时期的发展变化过程中所累积的总量。如：工业产品产量、销售量等。二、数据采集的种类2.一次性数据采集（三）按数据采集登记时间上的连续性划分一次性数据采集：是指间隔一段时间，对社会经济现象在某一时点上的数量特征进行一次性的登记和观察，分为定期、不定期数据采集。二、数据采集的种类1.直接观察法（四）按采集资料的方法不同划分直接观察法是指数据采集人员到现场对数据采集对象亲自进行观察和计量。2.报告法报告法是指由报告单位根据原始资料和核算资料，按要求规定的统一的表格和要求，按一定的呈报程序提供资料。3.采访法采访法主要是指面谈、电话、互联网访问法。三、数据采集的要求（一）可靠性可靠性要求也称准确性要求，是指数据必须是真实对象或环境所产生的，必须保证采集的数据能反映真实的状况，保证数据来源是可靠的。可靠性关注的是数据记录中存在的错误，如字符型数据的乱码现象就存在着准确性的问题，还有就是异常的数值：异常大或者异常小的数值、不符合有效性要求的数值等。三、数据采集的要求（二）完整性完整性要求是指数据采集必须按照一定的标准要求，采集反映事物全貌的信息，完整性原则是数据处理的基础。

完整性关注的是数据信息是否存在缺失的状况，数据缺失的情况可能是整个数据记录缺失，也可能是数据中某个字段信息的记录缺失。三、数据采集的要求（三）实时性及时性要求是指数据自发生到被采集的时间间隔，要符合当前的时间需求，间隔越短就越及时，最快的是数据采集与数据发生同步。

比如一份数据是采集当日的，结果都是第二天甚至第三天才能采集完，这种数据就不符合数据及时性要求。三、数据采集的要求（四）相关性相关性原则是指采集的数据与要分析处理的目标要紧密相关。例如，要准备自己企业的年度会计报告内容，其他企业的年度会计报告内容与你要准备的内容不相关，因为会计信息使用者需要的是自己企业的数据，而其他企业的数据不能满足会计信息使用者的需求，对会计信息使用者的决策影响不大，不具有相关性。三、数据采集的要求（五）经济性经济性原则是指数据分析人员在选择要分析的指标、确定数据采集方法以及数据采集过程中，可能要涉及的人力、物力、财力及时间等成本与产生的收益来配比，从而制定出比较经济可行的数据采集设计，一般也称为成本效益原则。经济性原则要坚持“最少、必要”原则，不采集不相关数据、也不采集不必要数据或过多的冗余数据。三、数据采集的要求（六）准确性数据信息要准确，只有正确的信息和数据才能整理分析后得到正确的结果和结论。数据信息的正确性要求我们通过各种渠道获取信息进行比对。项目二数据采集概述任务二认知数据采集方案【任务导入】

某淘宝网店长期经营零食坚果类商品，市场采购部门决定在近期计划增加产品种类，现需要在“葡萄干”、“巴旦木”、“碧根果”三类商品中选择一种，选择的依据主要为商品近一年的用户关注度高、目标用户群体大等。

任务描述：要求数据分析人员针对该需求撰写数据采集与处理方案，并对相关数据进行采集。为了确保数据采集结果的准确性和可靠性，在数据采集之前一般都需要制定一份完整的数据采集方案。一份完整的、有指导意义的数据采集方案应该包括一下几方面的内容。一、确定数据采集与处理的目的及任务目的:就是数据分析人员完成数据分析后对项目运营各部门基于什么样的目的提出的建议及调整策略。只有明确了数据采集与处理的目的及任务，才能确定数据采集范围,即向谁采集和采集什么，以及采集所采用的方式方法。数据采集与处理的目的应尽可能具体,要抓住主要矛盾,突出中心问题，切忌轻重不分，只有这样才能提高数据采集的质量。（一）数据采集的概念一、确定数据采集与处理的目的及任务在确定数据采集与处理目的时要适当的进行背景介绍，让项目参与人员了解该数据项目的来龙去脉，明确分析的环境和所处情况。（一）数据采集的概念二、确定数据采集对象和采集单位确定数据采集对象，首先需要对所研究的现象进行认真分析，掌握其主要特征；其次需要明确数据采集对象范围,划清与其他社会现象的界限，避免资料的重复或遗漏，保证采集的数据资料的准确性。三、拟定数据采集提纲和采集表数据采集提纲是在数据采集前所确定的数据采集项目,包括需要向数据采集单位了解的有关的标志和其他情况。（一）拟定数据采集提纲（二）设计数据采集表数据采集表是搜集原始资料的基本工具,把数据采集提纲中的各个数据采集项目按照一定的顺序排列在一定表格内，就构成了数据采集表。三、拟定数据采集提纲和采集表商务数据采集表常用的形式有以下几种：1.店铺流量类数据采集报表店铺流量类数据采集表主要是为了了解店铺的流量来源情况及流量结构，常用的数据采集报表有店铺UV、PV、IP数据采集表等。店铺UV数据采集表三、拟定数据采集提纲和采集表2.店铺日常运营数据类采集报表店铺运营类数据采集表类型多样，最常见的就是店铺运营日报表，包含的数据指标通常有流量类、订单类、转化类、交易类等。店铺运营日报表三、拟定数据采集提纲和采集表3.营销推广类数据采集表营销推广工作直接关系到整店的成交转化情况，因此营销推广数据采集表在日常运营过程中使用也非常广泛，营销推广类数据采集表通常包含通过各营销推广渠道的成交类指标、流量类指标、费用类指标等。CPS推广基础数据登记表四、确定数据来源渠道及数据采集工具（一）数据采集来源常见的数据采集来源大致可以分为三类：1.日常数据采集：主要包括平台运营数据、网站数据库数据以及企业管理系统数据等2.专题数据采集：专项调研数据和实验实测数据。3.外部环境数据：行业发展数据及竞争对手数据。四、确定数据来源渠道及数据采集工具（二）常用的数据采集渠道与采集工具数据采集渠道与采集工具一览表采集渠道采集工具适用范围政府部门、行业协会、媒体爬虫、Excel等行业数据等数据平台百度指数、360指数等行业数据的关注热度等商家后台生意参谋、京东商智、店侦探、自有系统等；市场数据、客户数据、产品数据等咨询公司数据平台爬虫、Excel等行业数据、产品数据等问卷调研问卷星、腾讯在线表单等目标客户分析、产品体验等五、确定数据采集时间和采集方法六、制订数据采集工作的组织实施计划数据采集的成功实施必须要有严密细致的组织工作,因此,必须在数据采集方案中拟定一个周密的组织实施计划。其主要内容包括:确定数据采集工作的领导机构和办事机构、数据采集人员的组织与分工、采集前的准备工作,如人员培训、文件资料的印发、方案的传达布置以及公布数据的时间等。项目二数据采集概述任务3认知数据采集的方法（一）数据的常见种类按照获取途径的不同，可分为初级数据和次级数据。1.初级数据一、初级数据的采集方法初级数据也称原始数据或一手数据，是指反映被调查对象原始状况的数据，是直接从被研究对象处取得的资料。如原始记录、统计台账，调查问卷答案，实验结果等。初级数据的优点是及时、可信度高，可以解决二手数据不能解决的问题；但也存在主观性强、收集成本高、难以收集的问题。（一）数据的常见种类2.次级数据一、初级数据的采集方法次级数据又称二手数据，是指已经存在的经他人整理分析过的数据，如期刊，报纸、广播、电视以及互联网上的资料，各级政府机构公布的资料，企业内部记录和报告等。次级数据的优点是客观、易于获取、取得迅速、成本低；缺点是相关性、时效性、可靠性较差。（二）初级数据的采集方法1.实地调查法一、初级数据的采集方法1）访问法

访问法是通过有目的、有计划、有方向的口头交谈向被调查者了解问题和情况，获取原始资料的一种方法。

该种方法的优点是:被调查对象的回答率大大高于问卷法，适应性强，调查内容机动性大，访谈者对资料采集过程可进行有效控制；缺点是：访谈成本高、匿名性差，访谈结果与访谈人员的素质、能力及其现场表现直接相关。

根据调查人员与被调查者接触方式的不同，又可将访问法分为人员访问、电话访问、邮寄访问和网上访问等。1.实地调查法一、初级数据的采集方法2）观察法观察法是指观察者带有明确目的到观察现场，凭借自己的眼睛或摄像器材，在调查现场进行实地考察，记录正在发生的市场行为或状况，以获取各种原始资料的一种非介入性调查方法，又称为直接观察法。

观察法一般用于对受访者客观状况进行调查，这种方法的主要特点是：调查者与被调查者不发生直接接触，而是由调查者从侧面直接地或间接地借助仪器把被调查者的活动按实际情况记录下来，避免让被调查者感觉正在被调查，从而提高调查结果的真实性和可靠性，使取得的资料更加贴近实际。1.实地调查法一、初级数据的采集方法2）观察法优点：是可以获得更加真实，客观的原始资料；缺点:首先，观察法仅是取得表面性资料，只能观察到正在发生的动作和现象；其次，调查者必须具备较高的业务能力、敏锐的洞察能力和良好的记忆力；再次，观察法要求较高的调研费用和较长的观察时间。1.实地调查法一、初级数据的采集方法3）实验法实验法是指在实验中控制一个或多个变量，在有控制的条件下得到观测结果的一种调查方法。在实验中，研究人员要控制某一情形的所有相关方面，操纵少数感兴趣的变量，然后观察实验的结果，获得的实验数据就是在实验中控制实验对象而搜集到的变量数据。1.实地调查法一、初级数据的采集方法4）报告法报告法亦称通讯法，是指由受访者填写有关报告表格，向调查人员报告自身情况的资料采集方法。

这种方法是被调查者根据统计报表的格式要求，按照隶属关系，逐级向有关部门上报统计资料的一种调查方法。其特点是：具有统一项目、统一表式、统一要求和统一上报程序;能够进行大量调查。现行统计报表制度采用的就是这种方法。1.实地调查法一、初级数据的采集方法5）问卷调查法问卷调查法就是根据调查目的，由调查者运用统一设计的问卷向被选取的调查对象了解情况或征询意见的调查方法。问卷调查法是目前最常用的调查方法,其优点在于利用问卷限定了访问员的询问方式和受访者的回答方式,从而有助于获得符合分析要求的定量数据。问卷调查法不需要访问员进行自由联想和发挥,从而降低了对访问员自身素质的要求,更适用于大规模的民意调查和商业调查活动。2.网络直接调查法一、初级数据的采集方法网络直接调查法即利用互联网直接进行问卷调查、电子邮件调查、网上论坛调查、网上在线座谈会调查调查等收集初级数据的地方。（一）内部数据采集二、次级数据的采集方法

内部数据来自组织内部。内部数据的采集来源为业务资料、统计资料、数据库等，采集方法包括报表采集、数据库采集、系统日志数据采集等。（一）内部数据采集二、次级数据的采集方法（1）报表采集。企业可以通过相关业务部门每日、每周、每月的工作报表进行采集，如销售明细、出入库清单、客服记录等，进行数据采集。（2）数据库采集。企业将数据库采集系统直接对接到业务后台的服务器。业务后台每时每刻都会产生大量业务记录，并可直接被数据库采集系统采集，最后由特定的处理系统进行数据分析。（3）系统日志数据采集。系统日志数据采集主要针对互联网上的商务活动，例如网站日志会记录访客IP地址、访问时间、访问次数、停留时间、访客来源等数据。通过对这些日志信息进行采集、分析，可以挖掘数据中的潜在价值。（二）外部数据采集二、次级数据的采集方法外部数据是指来自组织外部获得的二手数据。外部数据的采集来源为公开出版的资料、计算机数据库、互联网资料等。（二）外部数据采集二、次级数据的采集方法1.文献资料采集

文献资料采集主要是通过政府部门、行业协会、新闻媒体、出版社等发布的统计数据、行业调查报告、新闻报道、出版物采集数据。2.情报联络网法

情报联络网法,就是企业在全国范围内或国外有限地区内设立情报联络网,使情报资料采集工作的触角伸到四面八方。3.专业数据库

数据库指的是按照一定要求采集且具有内部相关性的数据的集合体。例如,中国知网数据库、辛迪加数据等。（二）外部数据采集二、次级数据的采集方法1.文献资料采集

文献资料采集主要是通过政府部门、行业协会、新闻媒体、出版社等发布的统计数据、行业调查报告、新闻报道、出版物采集数据。2.情报联络网法

情报联络网法,就是企业在全国范围内或国外有限地区内设立情报联络网,使情报资料采集工作的触角伸到四面八方。3.专业数据库

数据库指的是按照一定要求采集且具有内部相关性的数据的集合体。例如,中国知网数据库、辛迪加数据等。项目二数据采集概述任务4采集网络数据一、常规网络数据的采集常规网络数据采集方法主要是针对网络平台数据那些可下载或可复制数据所采用的数据采集方法。1.当在网络上浏览到需要采集的数据时，如果该平台允许下载（或导出）页面中的数据,一般会在该页面中显示与下载(或导出)相关的超链接或按钮,用户只要单击该超链接或按钮,设置数据文件的名称和保存位置，然后点击保存即可。一、常规网络数据的采集/sj/zxfb/202401/t20240129_1946971.html一、常规网络数据的采集2.如果网络平台没有提供与下载(或导出)相关的超链接或按钮，但允许选择并复制数据内容，用户可以点击并按住拖拽鼠标，将需要采集的数据全部选中，在所选区域单击鼠标右键,在弹出的快捷菜单中选挥“复制”命令。启动Excel点击鼠标右键，在弹出的快捷菜单中选挥点击“粘贴”命令，或按“Ctrl+V”组合键即可将剪贴板中的数据粘贴到Excel的工作表。一、常规网络数据的采集/sj/zxfb/202402/t20240228_1947915.html二、利用Excel进行网络数据采集

对于网络数据也可以采用Excel进行数据采集。下面以东方财富网上的股票行情中心数据（/center/gridlist.html#hs_a_board）为例，利用Excel进行网络数据采集。下图为东方财富网行情中心部分股票数据。二、利用Excel进行网络数据采集第一步，启动Excel工作簿，点击编辑页面的“数据”选项卡，在出现的页面中，单击功能区中的“自网站”选项，会弹出“从Web”的对话框；二、利用Excel进行网络数据采集第二步，在URL中录入网址：/center/gridlist.html#hs_a_board，点击“确定”按钮；二、利用Excel进行网络数据采集第三步，在上述步骤之后，会出现“导航器”对话框，二、利用Excel进行网络数据采集第四步，在导航对话框中，点击“显示选项”中的“table0”选项；二、利用Excel进行网络数据采集第五步，点击【加载】按钮，就可以将有关资料采集下来。三、使用gooseeker抓取网页数据GooSeeker集搜客网络爬虫软件是一款功能齐全并且免编程的批量爬虫软件，该软件提供自定义采集和快捷采集两种主要采集方式，自定义采集适用于非常规网站和个性化采集，快捷采集适用于主流网站数据采集，比如知乎、京东、淘宝、安居客、前程无忧、微博等网站，爬取方式简单易用。下面以本软件为例，进行网页数据抓取演示。三、使用gooseeker抓取网页数据（一）数据抓取前的准备工作1.下载与安装首先进行软件安装，软件下载地址：/pro/gooseeker.html该软件提供免费版和高级版本，初学阶段建议使用免费版。三、使用gooseeker抓取网页数据2.激活账号下载软件后，双击安装。安装后双击打开，第一次运行GS爬虫浏览器，要登录才能激活网络爬虫功能，检查是否已经连上服务器(绿勾连接，红勾未连接)。注意：没有账号的请先在官网注册一个账号。如果是Mac版软件，需要购买专业版才能激活。Windows版界面如下（本节以Windows免费版进行讲解）。三、使用gooseeker抓取网页数据（二）使用gooseeker抓取网页数据下面以采集天猫商品评价为例简要说明软件使用方法。1.登陆天猫网站：在数据管家新开一个页签，在新页签打开天猫网站，并登陆一个天猫账号，一般直接用手机验证码就可以。三、使用gooseeker抓取网页数据2.进入快捷采集：点击数据管家左侧边栏的“快”按钮，进入快捷采集。三、使用gooseeker抓取网页数据3.选择合适的快捷工具：根据要采集的网页，选择类别-网站-网页。对于天猫商品评论来说，就是点击：电商

-

天猫

-

天猫商品评论采集三、使用gooseeker抓取网页数据如下图所示，可以打开示例页面看看，确保后面操作时添加的链接和示例页面类似。或者浏览网页下方的示例数据，进一步了解选定的快捷工具是否满足要求。三、使用gooseeker抓取网页数据4.获得网址在天猫的搜索页面上，输入要搜索的关键词，点击搜索，比如搜索“儿童超轻黏土”，复制出来的某条商品网址就是：/item.htm?abbucket=20&id=657886365325&ns=1&spm=a21n.18b7523cI92qPN三、使用gooseeker抓取网页数据5.粘贴网址，启动采集把上一步得到的网址用Ctrl+v粘贴到快捷工具的网址输入栏，启动采集。三、使用gooseeker抓取网页数据6.采集中的爬虫窗口点击获取数据之后，数据管家自动弹出两个采集窗口（窗口右下方有绿色的状态球），一个窗口加载网页，采集数据，一个窗口打包上传数据。两个采集窗口工作时，都不能关闭。三、使用gooseeker抓取网页数据7.打包下载数据采集完成后，采集状态会从橙色的“采集中”，变成绿色的”已采集”。然后打包下