电子商务大数据分析-Deep大数据

电子商务大数据分析---Deep大数据一、实验目的通过deep大数据非IT版掌握可视化数据库界面的基本操作和数据分析学会将数据导入数据库并抽取出表结构化数据学会将抽取出来的数据进行筛选如“去重”、“变换非数值列”、“格式转化”等学会将筛选出来的数据进行简单的分析如“逻辑回归”、“决策树回归”、“量化”等学会将分析出来的数据可视化，如柱状图、折线图、饼图等掌握将电子商务大数据收集、输入、抽取、筛选、分析并将其应用的相关技能培养通过大数据分析手段解决业务问题的意识培养通过大数据分析方法调研网络营销环境的意识培养使用数据为商品定价的思维培养的网络广告营销思维、培养学生客户画像的思维培养对用户进行聚类分析的思维、对评论进行数据分析挖掘隐藏信息培养用大数据规避供应链风险的意识培养电子商务培养学生对市场部门工作职能的认识培养通过数据思维理解市场信息，做出决策的能力支付安全的意识培养通过数据分析验证行业经验的意识培养通过数据思维进行精准营销的意识与能力培养数据挖掘的思维与能力、培养学生对数据的基本认知培养对市场的基本认知、培养学生对数据的基本认知、建立通过数据观察市场表现的意识加强对数据挖掘的基本认知、建立通过数据反映员工想法的意识二、实验内容1.用线性回归选择市场部门投放广告的方案2.性别、收入、年龄对购买自行车的影响3.用神经网络发现潜在购买自行车的客户4.用决策树审核交通事故是否理赔5.用逻辑回归模型预测员工离职人数6.母婴电商数据分析7.电商用户访问行为分析8.根据同类商品价格定价9.预测二手车平台的价格10.RFM用户聚类分析11.用户评论分析12.预测供应链订单是否会延期13.利用多层感知机识别支付是否安全三、实验步骤（包括所用实验设备及软件）与结果大数据理论基础与应用实战实验6广告的预测根据以往的广告数据制作回归分析并预测后续广告投放数据步骤：第1步新建一个项目，并命名为“广告预告，在工作流节点面板添加一个数据源第2步将课程数据库命名为广告数据库，并将“advertising”以及“advertising_predict”抽取出来第3步将之前抽取出的“advertising”以及“advertising_predict”的数据分别导入进一个“转换”节点，并用“numassemble”组装起来，将组装训练数据导入到一个“线性回归模型”并将该算法落地，在预报节点拖拽出一个“predict”并选择“线性回归”算法，最后设置一个查看点，点击调试，查看结果，就可以得到通过线性回归预测出来的数据视图预览通过对工作流节点的查看，可以发现，我们是先通过一个课程数据导入数据，并将其命名为“广告数据库“然后将其中的两个数据库抽取出来，再将这些数据分别拖入一个转换节点进行组装，组装所用到的是数据转换器当中的”numassemble“将需要组装的列依次拖入，然后将训练数据输入到一个线性回归模型当中，这样就可以通过predict进行预测了，将下面组装好的数据再输入一个转换节点，然后在数据转换器面板拖入一个predict，模型选择上面的线性回归，最后设置查看器，点击运行，就可以看到我们通过模型预测的结果。预测结果可以看到通过上面的流程运行以后，可以成功输出结果，这就是通过线性回归模型预测的在报纸/广播和电视等不同媒介上广告的数量分布。项目7精准营销第1步新建一个项目，并，命名为“精准营销“，在工作流节点面板添加一个数据源，默认名称为课程数据库，找到本课程的名称，然后点击连接，找到我们需要用到的数据“targetmail”，然后将其抽取出来。第2步在工作流节点拖拽两个转换节点，一个命名为“离散化过程”，另一个命名为“计算年龄最大最小值”然后在数据转换器面板将年龄通过聚合的方式计算出年龄的最大值和最小值，具体方法是通过在聚合属性里选择“最大值”和“最小值”。然后在算法栏目里拖拽出一个“离散化”的算法，将之前抽取的课程数据库“targetmail”数据导入进这个节点，设置好以后将其落地。第3步以上数据运行节点设置好以后，在最后的转换节点增加一个查看器，然后点击运行，就可以看到聚合之后筛选出的年龄最大值和最小值。第4步新建一个项目，然后和上面的操作一样，在抽取出数据以后添加一个转换节点，并命名为“年龄分组”，在年龄这一列选中“分组”，设置查看器，点击运行，就可以看到分组后的结果。第5步和前面一样，拖拽出一个课程数据库，然后将“targetmail”抽取出来，添加两个转化节点，分别命名为“性别”和“收入”，在收入节点之后再添加一个转换节点，并命名为“收入跟购买率”，然后设置一个查看点，点击运行，就可以看到结果如下图：以下是上面的运行结果从上面可以看到，在所统计的消费者里，年龄最大的是103岁，年龄最小的是33岁以上是离散化算法模型所得到的结果实验11法务理赔-决策树判断理赔第1步在工作流节点面板拖拽一个课程文件作为数据源，然后选择本课程并点击连接，找到“traffic_accident_claims”并将其抽取出来，这其中有“q28-q36”这9列数据。第2步在算法面板拖出9个统计分析，分别将其命名为q28-q36，然后把每一个都设置成计算相关数据，并将之前抽取出来的“traffic_accident_claims”连接到每一个节点。以下是上面程序运行出来的结果第3步新建一个数据工作流，和上面一样添加课程文件，同样抽取“traffic_accident_claims”，然后在工作流面板拖出两个抽样节点，将抽样比例分别设置为“80%”和“20%”，然后在这两个抽样节点后面都添加两个转换节点，一个用于训练数据，另一个用于组装测试。第4步在训练数据节点之后添加一个“决策树分类”的算法，把之前的抽样节点的数据连接到这个算法节点，设置好参数之后将这个算法节点落地，然后在组装测试数据后面再添加一个转换节点，在数据转换面板添加一个predict的数据转换器，算法模型选择之前我们设置好的决策树分类。在最后的节点设置一个查看器，点击运行，就可以看到预测结果。以上是运行结果(上上图)电子商务大数据实验1母婴数据分析第1步和上一门课类似，在工作流节点拖拽一个课程文件作为数据源，选择“电子商务大数据”这门课，点击连接，然后将我们要用到的婴儿数据和交易数据抽取出来。第2步在婴儿数据和交易数据文件后面分别添加一个转换节点，这一步是将非数值列转化成数值列，我们用到的主要方法是通过choice和constant的组合输出int整数。第3步我们添加一个云数据库，然后再添加一个转换节点，把之前加工好的婴儿数据和交易数据都连接到这个转换节点，并将其命名为“落地”，在属性面板勾选落地，落地目标是之前添加的云数据库。在最后的落地节点设置一个查看器，点击运行查看结果。以下是上面程序的运行结果第4步新建一个数据工作流，和之前一样导入数据，添加一个转换节点，并命名为“数据加工”，再添加两个转换节点，分别命名为“日期统计行为”和“时间统计行为”，并将数据加工节点的数据导入到这两个转换节点。第5步添加两个转换节点，分别命名为“日期用户去重”和“PV”，并将数据加工的数据导入到这两个节点。去重的方式是在属性面板取消勾选“允许重复行”第6步添加一个转换节点，命名为“UV”，将之前去重好的数据导入进这个节点，然后再新建一个转换节点，命名为“PVUV”，将之前处理好的PV和UV都导入进在这个节点第7步新建一个转换节点，并命名为“后一天”，将PVUV的数据导入进来，然后用日期转换的数据转化器将PVUV里面的日期加一天，然后再新建一个转换节点，将之前的PVUV和后一天的数据都导入进去，在筛选条件里面填写PVUV日期=后一天日期，以此来计算相差一天数据的差异，新建一个云数据库，将“日期统计行为”、“时间统计行为”和“PVUV”都落地到云数据库，最后在PVUV差异节点设置一个查看器，点击运行就可以查看差异的结果。以下是上面程序的运行结果四、问题讨论及实验心得首先打开软件开始实验之前，都需要先拖拽一个数据源，数据源可以是课程文件也可以是课程数据库，这是我们实验的基础数据，点击“连接”以后，就可以看到上面的各种数据，将所需要的数据抽取出来，就可以进行之后的数据加工/数据筛选/数据组装等操作。如果要对数据进行加工，可以从“工作流节点”拖拽一个转换，然后将之前抽取的数据源与转换连接，在数据转换面板左侧就可以看到导入进来的元数据，在转换节点，我们可以通过数据转换器面板的各种算法