认知数据分析及电商数据分析技能图谱课件

电商数据分析导论1.1认知数据分析1.2电商数据分析技能图谱1什么是数据分析23CONTENTS数据分析的作用数据分析的标准流程4数学、统计学和运筹学5数据分析方法论6数据分析工具7电商数据指标体系数据是客观的事实，能够被收集的数据都是过去的事情。数据的历史性信息的指向性什么叫数据分析每个人对相同的数据会产生不同的看法，所以不是所有从数据中提取的信息都能适用所有人。数据分析就是将数据转变为有效信息的过程两大特性：数据分析的核心数据分析的核心就是建立参考系，也是使用不同的角度去观察事物，运用维度和指标间的不同组合，能更清晰的看清事物的全貌例：分析自己的店铺数据时需要建立同期的行业大盘参考系数据有用信息建立参考系同期的行业过去的自己同期的对手不同的角度介于两者之间新角度转换数据分析的作用PARTTWO数据分析的实用数据分析可以给决策者在运营过程中提供策略的决策依据，特定的分析维度可以帮助运营做出有效决策。例：某企业想要从线下转入线上进入市场做决策，选择是开淘宝店或者天猫店平台店铺数量数量占比销售总额(元)销售总额占比淘宝435198.91%193858.724.36%天猫481.09%601822.775.64%总计4399100%795681.5100.00%采集某企业所经营的类目店铺及经营店铺，经统计后得到数据，如果选择入住淘宝平台，将面临激烈的竞争，而天猫的竞争小，份额大，所以建议入住天猫，由天猫进入市场。例：企业在优化产品标题时，需要替换哪些词，哪些词能提高引流效果？采集某企业商品的关键词数据，将关键词换成词根，发现“情人节”、“手工”和“友情”这3个词的访客数很低，没有流量所以应该换其他的有效词；而且替换新词会有更好的引流效果。数据分析的实用运营方向更清晰决策更精准成功率更高数据分析给运营的作用数据分析的标准流程PARTTHREE数据分析的标准流程明确目标明确分析维度和指标采集数据数据清洗数据整理数据分析数据可视化数据报告数据分析前期流程明确目标明确分析维度和指标数据采集数据清洗采集的数据一般不可直接使用，可能会有一部分“脏数据”，如果不处理它们将会影响分析的结果，所以我们在整理前需检查数据，发现“脏数据”就必须进行清洗。例：我们从生意参谋下载数据，其中第三行观测值存在“-”为标记的缺失值，此类缺失值如果不处理将无法进行下次操作，因此需将数据中的“-”符号替换为数字“0”。统计日期PC端支付金额PC端支付商品数PC端支付老买家数2017-05-03907.624182017-05-04268.941512017-05-051,196.9215-2017-05-061,938.211622017-05-07319.15235数据整理子行业名称销售额（千万元）时间T恤4,8772012年1月衬衫4,5262012年1月T恤15,2792012年2月衬衫17,5752012年2月T恤28,4202012年3月衬衫30,8462012年3月收集的数据一般都是零零散散的或者杂乱的，直接观察数据很难知道数据的意义，或者洞察信息，所以数据只有通过整理，形成整洁的数据，才便于我们分析。例：图1为女装T恤和衬衫两个品类在2012年1-3月的销售额数据，将数据整理为图2的形式，更便于分析。图1时间T恤衬衫总计2012年1月4877452694032012年2月1527917575328542012年3月284203084659266总计4857652947101523图2数据分析关键词词根访客数支付买家数工具箱34229五金451收纳箱120加厚73大号50手提式21数据分析目的是将数据转变成有效的信息。前面的步骤都是为了能在这一步得到信息，信息的提炼依靠对比法、拆分法、分组法等分析方法。例：将商品标题中的词根进行分析，从而对标题进行优化。通过对表中支付买家数进行对比，可以发现“收纳箱”和“大号”这两个词根的支付买家数为0，表示没有用户通过这两个词产生交易，因此得到的信息是“收纳箱”和“大号”这两个词可以优化。数据可视化数据可视化旨在借助图形化手段，清晰有效地传达与沟通信息。产品点击率指数转化率指数交易指数流量指数口碑指数A0.850.420.590.740.94B0.620.480.510.780.86C0.960.670.830.550.74例：通过可视化图表将数据直观的展现出来。数据报告数据报告是将一系列分析结果具有逻辑性地进行集中展现并阐述分析结论的文档，可以使用PPT、Word制作报告。数学、统计学和运筹学PARTFOUR电商数据分析的技能图谱电商数据分析师和业务数据分析师的定位相似，需要多种技能的支撑才可以完成数据分析任务，因此可以知道数据分析并不是一个独立的学科，它跟多个学科的知识有着紧密的联系。电商数据人才除了能从数字中获取有价值的信息之外，还需要具备熟练的数据处理能力。运筹学数据分析方法论电商数据指标体系数学和统计学数学和统计学是数据分析两门最基本的理论知识学科，数据分析就是这两门学科的应用。运筹学是现代管理学的一门重要专业基础课，主要研究求解最优解，可解决运营过程中的最佳决策问题。数据分析方法论：数据分析方法论是前人分析的经验归纳，套用方法论可以快速入门数据分析。工欲善其事必先利其器，数据分析单靠笔尖或者计算器速度太慢，而且面对大量资料的整理需要专业的技能，因此熟练掌握至少一个工具将大大提高数据分析的效率和精度。对于一名数据分析工作者来讲，业务场景的敏锐度十分重要，只有懂业务的分析师才能将数据转变成生产力。了解并掌握电商的数据指标体系可以帮助分析者更快更准确地开展数据分析工作。数据分析方法论PARTFIVE数据分析方法论许多电商从业者在分析数据的时候会遇到许多问题：不知从哪方面切入开展分析？分析的内容和指标不知是否合理、完整？这些问题都是因为分析人员缺少方法论的缘故；方法论可以帮助分析人员依据某些轨迹顺利地开展分析活动，常见的分析方法有以下9种。对比法拆分法分组法排序法交叉法只有通过参照物的对比才能了解现状和发现问题，通过横向和纵向的对比找到自己所处的位置。将大问题和相关的指标拆解成多个小问题和多个相关指标，通过拆解问题和指标可以快速找到问题产生的原因。将数据依据某些维度进行分组统计，通过观察分组后的结果洞察事物的特征。基于某个度量值进行递增或递减的排列，通过排序后的结果清晰地反映所有观测值的情况。将两个及以上的维度进行交叉分析，比如通过产品特征和价格区间两个维度的交叉分析，找到更符合企业定位的细分市场。降维法分析问题时指标的信息量过多，采用业务梳理的方式选择核心指标进行分析，减少过多指标的干扰。在统计学上也可以使用主成分分析或因子分析的方法达到降维的目的。降维法分析问题时指标的信息量不足，通过计算派生出新的指标，包含了更多的信息量，比如搜索竞争度=搜索人气÷商品数。指标法在分析时采用指标的方式分析结果，一般通过制成表格来查看分析结果。指标法在分析时采用图形的方式更加直观地分析结果。数据分析方法论除了以上常见的分析方法之外，还有一些在业务上常用的思维分析框架，如以下7种方法。SWOT分析法通过该方法了解自己所处的环境，对内外部因素进行分析并制定应对策略。描述性统计法描述性统计是用来概括、表述事物整体状况以及事物间关联、类属关系的统计方法，基于统计值来表示数据集的集中和离散等情况。矩阵分析法将主要因素放在矩阵的两个维度轴进行定量或者定性的分析，并通过某个点将数据分为四个象限。矩阵分析法将三个及以上的维度在表格、多维平面图或者三维图中进行观测分析。数据归一化将数值映射在[0,1]的范围上，消除因为值域不同产生的分析难点，一般配合多维分析法或在数据建模时使用。时间序列分析法针对连续的变化的时间数据的分析方法，主要用于预测连续的未来数据，比如分析店铺每天的销售额。时间序列分析法研究指标间的相关程度，常用于寻找关键影响因素。数据分析工具PARTSIX数据分析工具掌握两个及以上的分析工具才能更好的进行数据分析，而分析工具又五花八门，可将工具分成以下3类。数据分析与可视化统计与数据挖掘数据分析与可视化按照数据结构来组织、存储和管理数据的仓库。常见的数据库有Access、MSSQL、MySQL、Oracle、DB2。用于组织数据进行分析和可视化呈现的工具，常见的工具有Excel、PowerBI、Tableau。用于统计分析和数据挖掘算法的工具，常见的工具有R、Python、SPSS、SAS。数据分析工具根据企业的需求阶段需要掌握的工具不同，具体如下。第一阶段这个阶段的企业现状是数据用Excel或WPS文件存储，数据文件多而杂乱，经营多年的电商企业甚至会有超过10万张历史数据的表格，无法对庞大历史数据进行分析，数据管理杂乱。这个阶段企业需要解决数据的统一管理及分析的问题。这个阶段可选用Excel和MySQL，Excel解决分析层和应用层的问题，MySQL可解决大数据量的存储和计算问题，而且Excel和MySQL在国内企业的占有率和普及率相对较高。前期第二阶段这个阶段的企业现状是已经实现了统一管理和分析数据，但随着企业数据量和数据应用能力的提升，原有的Excel已经满足不了大数据量下进行多表建模联合分析的需求，可能刷新一张分析模型文件所需的时间很久。

此时需要使用BI产品满足复杂的业务建模需求，可选用微软的PowerBI。部分企业在这个阶段会有专业统计方法和数据挖掘的需求，可选择SPSS，掌握难度不大。SPSS有两个工具，一个是Statistics用于统计分析，一个是Modeler用于商业数据分析与挖掘，但是SPSS在国内企业的占有率较低。数据分析工具根据企业的需求阶段需要掌握的工具不同，具体如下。第三阶段这个阶段企业已经属于数据驱动型的企业，数据应用需要在生产、流通、销售和管理等各个环节渗透，随着数据种类的复杂化，原有的数据采集、清洗及算法应用的效率已经满足不了需求，要运用IT技术和算法解决商业问题，真正将数据转变成生产力，因此可以在R和Python之间二者择其一，这两者都是应用非常广泛的编程语言。后期第四阶段这个阶段企业已经是深度的数据驱动型企业，进入这个阶段的企业只有少数的龙头企业，它们通过技术手段极大地提高工作效率和商业收益，转型智慧商业领域，运用大数据和人工智能升级改造所有的环节。企业在这个阶段需要应用大数据框架（如hadoop）来解决并发问题，以及