物流信息技术与应用 课件 项目七 数据存储与处理技术

——·DataStorageandProcessingTechnology·——INTELLIGENTLOGISTICS数据存储与处理技术项目目标知识目标技能目标素质目标能复述物流大数据的概念、特征及作用。能复述物流大数据的未来方向和意义。能说出数据库技术、数据仓库与数据挖掘及其作用。能理解数据库系统的组成。能说出数据库数据组织的模型。能复述数据库系统的基本设计步骤。能说出大数据在物流领域的应用情况。项目目标知识目标技能目标

素质目标能根据物流企业的实际情况，进行数据库项目的需求分析。能使用ER图等手段，进行数据库的概念模型设计。能将ER图转换为关系模型，完成数据库的设计。项目目标知识目标技能目标素质目标通过探索物流大数据的应用，培养学生的自主学习能力和探究精神。通过理解物流大数据的发展，培养学生的创新意识、科学精神。通过熟悉数据库系统的设计和数据分析，培养学生养成理性思考问题的习惯。通过分组设计物流企业数据库管理系统，培养学生的团队合作精神和细致、严谨的工作态度。案例导入中储智运成立于2014年，是一家以“无车承运人”为基础产品的互联网运力平台，其宗旨是以“无车承运人”为核心，构建以数字驱动为核心的新供应链体系。中储物流网络遍布全国，拥有40座专业仓库、60条专用线路、70家物流实体、100个分支机构、5000名专业物流员工和10000家优质客户。该平台主要包括智慧物流交易系统及智慧物流分析预测系统。中储智运案例导入智慧物流交易系统通过大数据、云计算技术及核心算法能够第一时间实现车货资源的精准定位与智能匹配，实现网上议价、网上交易、货运全程追踪管理、运价结算等功能。智慧物流分析预测系统可以收集和处理高维、多变、强随机性的海量动态货运业务数据，并在此基础上，结合某一地区的天气、温度、社会事件等，通过复杂的核心算法获得未来一段时间的预测需求数据。该系统通过物流大数据实时公布热门路线的货量、运力情况、空车分布、发货频次、车辆类型等信息，为智慧物流交易系统做数据支撑。中储智运案例导入目前，中储智运的运输路线达32000余条，运输货物的品类涉及各行业领域，整合了超270万运力。作为全国第一批“无车承运人”试点企业，中储智运利用大数据等核心技术赋能货主企业，帮助货主企业进行风险控制，保证业务结算流程，结合智能调度进行运力维护。基于大数据技术的优势，中储智运帮助货主企业将综合成本降低了10%，司机找货时间减少了69%，极大提高了货主企业的运行效率。中储智运案例导入在疫情期间，受新冠病毒感染疫情的影响，交通管制和区域管控异常严格，公路货运市场遭受重大挫折，供求两端严重失衡，出现一车难求的现象。在此背景下，中储智运充分发挥以数字驱动为核心的新供应链体系优势，利用车货智能配对技术突破时间和空间的壁垒，让卡车、司机和客户在最低成本、最高效率的配置下实现对接，精准解决了运力短缺的问题。中储智运案例导入思考01案例中提到的物流大数据有什么特点？物流大数据帮助案例中的企业解决了什么问题？02物流大数据在物流领域中有哪些应用？目录CONTENTS02物流数据存储与处理技术03物流大数据的应用01物流大数据概述物流大数据概述PART01物流大数据一、物流大数据的概念是大数据在物流行业的具体运用，是指物流服务的供给、需求，物流活动过程的各种相关数据会以大数据的形式出现，反映整个物流行业的业态。物流与社会经济息息相关，物流大数据也会反映出社会经济发展的状态。二、物流大数据的特征海量数据采集、存储和计算的量都非常大高速数据增长速度快、处理速度快、时效性要求高多样数据的来源、种类和结构多样化。低价值密度数据的价值密度相对较低。真实数据的准确性和可信赖度要求高。二、物流大数据的特征价格更透明竞争更公平海量数据改变商业模式推动价值合理配置顾客群细分针对性销售稳定客户关系企业价值合理定位精确营销成趋势三、物流大数据的作用有利于物流企业做出智能化的决策和建议降低物流成本提高用户服务水平四、物流大数据的意义物流大数据的发展方向智慧物流智能化更为灵敏智慧物流覆盖面将更为广泛智慧物流企业发展大有可为智慧物流将带来劳动力合理分配物流大数据的意义信息对接，掌握企业运作信息提供依据，帮助物流企业做出正确的决策培养客户粘性，避免客户流失数据“加工”从而实现数据“增值”任务训练亚马逊公司(Amazon),是美国最大的一家网络电子商务公司，是网络上最早开始经营电子商务的公司之一，位于华盛顿州的西雅图。亚马逊成立于1995年，一开始只经营网络的书籍销售业务，现在则扩及了范围相当广的其他产品，已成为全球商品品种最多的网上零售商和全球第二大互联网企业，在公司名下，也包括了AlexaIntermnet、a9、lab126、和互联网电影数据库(InternetMovieDatabase，IMDB)等子公司。亚马逊坚持走自建物流方向，将集成物流与大数据紧紧相连。在亚马逊近二十年的历史中，自建物流不但是其发展过程中的关键环节，也与大数据挖掘结合在一起，帮助亚马逊在营销方面实现更大的价值。由亚马逊强大技术支持的智能物流系统是其价值链扩张的重要部分，使其在整条产业链上建立竞争优势。任务背景任务训练亚马逊及其它销售商为客户提供数百万种独特的全新、翻新及二手商品，如图书、影视、音乐和游戏、数码下载、电子和电脑、家居园艺用品、玩具、婴幼儿用品、食品、服饰、鞋类和珠宝、健康和个人护理用品、体育及户外用品、玩具、汽车及工业产品等。公司依托物流集成服务，通过物流中心、桔子机器人、外部卖家和拣货流程等系列服务，提高产品市场率和顾客满意度。任务背景任务训练在亚马逊大数据计算开发的参与人员中，包括消费者、其他进驻卖家和亚马逊公司自身三大组成部分。尽管亚马逊属于整合平台的提供商，但亚马逊实际上身兼多职，涵盖了价值链的多个环节，同时担任了服务商和运输者等多个角色。亚马逊在智能物流方面的创举，对其营销能力的增强起到了辅助作用。亚马逊凭借着对于顾客购买数据的多方位采集和挖掘，能够获得大量关于目标客户的信息。最后,在第三方卖家方面，亚马逊从数据的角度去研究商家需求，并与消费者数据相结合，同物流集成思想相结合，提高平台精准营销的能力。任务背景任务训练任务要求根据案例材料，并查找更多资料，分析亚马逊是如何使用大数据提升其在产业链上的竞争优势的。任务实施通过分组讨论，分析材料内容，形成各自观点，并在课堂上进行展示、交流。任务评价拓展训练商业零售连锁企业沃尔玛拥有世界上最大的数据仓库系统。为了能够准确了解顾客在其门店的购买习惯，沃尔玛对其顾客的购物行为进行购物篮分析，以了解顾客经常一起购买的商品有哪些。沃尔玛的数据仓库里集中了各门店详细的原始交易数据。在这些原始交易数据的基础上，沃尔玛利用数据挖掘工具对这些数据进行分析和挖掘。一个意外的发现是，与纸尿裤一起购买最多的商品竟是啤酒！这是数据挖掘技术对历史数据进行分析的结果，反映数据内在的规律。那么这个结果符合现实情况吗？是否是一个有用的信息？是否有利用价值？任务训练分析该案例中，沃尔玛实现尿裤与啤酒销售量双双增长的原因是什么？大数据起到了什么作用？物流大数据有什么特点？实训要求THANKS谢谢观看——·DataStorageandProcessingTechnology·——INTELLIGENTLOGISTICS数据存储与处理技术目录CONTENTS02物流数据存储与处理技术03物流大数据的应用01物流大数据概述物流数据存储与处理技术PART02物流大数据存储与管理PART01数据库（一）数据库数据库是存储在一起的相关数据的集合。这些数据是结构化的，无有害的或不必要的冗余，并为多种应用服务；数据的存储独立于使用它的程序；对数据库插入新数据，修改和检索原有数据均能按一种公用的和可控制的方式进行。若干条数据组成了数据表，而若干组数据表则构成了数据库。数据的组织方式（一）数据库供应商编号供应商名称联系人地址电话GYS001ABC有限公司张三广西贵港191xxxx2900数据项是可以定义数据的最小单位，也叫元素、基本项、字段等域数据项与现实世界实体的属性相对应，数据项有一定的取值范围，称为域。数据项数据项数据的组织方式（一）数据库供应商编号供应商名称联系人地址电话GYS001ABC有限公司张三广西贵港191xxxx2900记录由若干相关联的数据项组成。记录是应用程序输入一输出的逻辑单位。对大多数据库系统，记录是处理和存储信息的基本单位。记录记录数据的组织方式（一）数据库在关系型数据库中，表是一系列二维数组的集合，用来代表和存储数据对象之间的关系。表由纵向的列和横向的行组成。对于特定的表，列的数目一般事先固定，个列之间可以由列名来识别，而行的数目可以随时、动态变化。表数据库是比文件更大的数据组织。数据库是具有特定联系的数据的集合，也可以看成是具有特定联系的多种类型的记录的集合。数据库的内部构造是文件的集合，这些文件之间存在某种联系，不能孤立存在。数据库数据模型的组成（二）数据模型用于描述系统的静态特性，包括数据的结构和数据间的联系。用于描述系统的动态特性，是数据库中各种数据操作的集合，包括操作及相应的操作规则，如数据的检索、插人、删除和修改等。是一组完整性规则的集合，是给定的数据模型中数据及其联系所具有的制约和依存规则，用以限定符合数据模型的数据库状态以及状态的变化，保证数据的正确、有效、相容。数据结构数据操作数据的约束条件层次结构网状结构关系结构数据库中的数据模型（二）数据模型层次模型网状模型关系模型关系模型用最简单的二维表结构表示实体及实体间的联系。数据库中的数据模型（二）数据模型名称优点缺点层次模型存取方便且速度快结构清晰，容易理解数据修改和数据库扩展容易实现检索关键属性十分方便结构“呆板”，缺乏灵活性同一属性数据要存储多次，数据冗余大不适合拓扑空间数据的组织网状模型能明确且方便地表示数据间的复杂关系，数据冗余小网状结构的复杂性增加了用户查询和定位的困难需要存储用于数据间联系的指针，使得数据量增大数据的修改不方便关系模型结构特别灵活，概念单一，满足所有布尔逻辑运算和数学运算规则的查询要求能搜索、组合和比较不同类型的数据增加和删除数据非常方便具有更高的数据独立性、安全性和保密性数据库较大时，查找满足特定关系的数据费时对空间关系的建立无法实现数据库技术设计与应用PART02关系数据库（一）关系数据库概述关系数据库是建立在关系数据库模型基础上的数据库，它借助于集合代数等概念和方法处理数据库中的数据。在关系数据库中,现实世界中的各种实体以及实体之间的各种联系均用关系模型表示。关系数据模型（一）关系数据库概述关系模型主要涉及以下几个基本概念：关系关系数据模型简称关系模型，它建立在严格的数学概念之上，它的数据结构简单、清晰，存取路径透明，程序和数据具有高度的独立性。元组属性关键字域分量关系模式关系模型的优缺点（一）关系数据库概述与非关系模型数据库不同，关系数据库的关系模型具有较强的数学理论依据。数据库的数据结构简单、清晰，用户易懂、易用，不仅可以用关系描述实体，而且可以用关系描述实体间的联系。关系模型的存取路径对用户透明，具有更高的数据独立性、更好的安全性和保密性；同时，简化了程序员的编程和数据库系统的设计、开发工作。3个世界的划分（二）关系数据库的设计现实世界认识抽象信息世界计算机世界信息模型数据模型信息世界中的基本概念客观存在并且可以相互区别的“事物”称为实体。实体可以是可触及的对象，如一个学生、一本书、一辆汽车；也可以是抽象的事件，如一堂课、一次比赛等。实体实体的某-特性称为属性，如学生实体有学号、姓名、年龄、性别、系等属性。属性有“型”和“值”之分，“型”即属性名，如姓名、年龄、性别是属性的型；“值”即属性的具体内容，如（990001，张立，20，男，计算机），这些属性值的集合表示了一个学生实体。属性（二）关系数据库的设计信息世界中的基本概念若千个属性型组成的集合可以表示一个实体的类型，简称实体型，如学生（学号，姓名，年龄,性别，系）就是一个实体型。实体型能唯一标识一个实体的属性或属性集称为实体的键，如学生的学号。由于学生的姓名能有重名，不能作为学生实体的键。键（二）关系数据库的设计信息世界中的基本概念属性值的取值范围称为该属性的域，如学号的域为6位整数；姓名的域为字符串集合；年龄的域为某个整数（例如18）；性别的域为（男，女）。域在现实世界中，事物内部以及事物之间是有联系的，这些联系同样也要抽象和反映到信息世界中。联系（二）关系数据库的设计一对一联系一对多联系多对多联系计算机世界中的基本概念对应于属性的数据称为字段,也称为数据项。字段的命名往往和属性名相同，如学生有学号、姓名、年龄、性别、系等字段。字段（二）关系数据库的设计信息世界中的实体抽象为计算机世界中的数据，存储在计算机中。在计算机世界中，常用的主要概念如下。计算机世界中的基本概念对应于每个实体的数据称为记录，如学生（990001，张立，20，男，计算机）为一个记录。记录（二）关系数据库的设计信息世界中的实体抽象为计算机世界中的数据，存储在计算机中。在计算机世界中，常用的主要概念如下。对应于实体集的数据称为文件，如所有学生的记录组成一个学生文件。文件3个世界中各术语的对应关系（二）关系数据库的设计现实世界是设计数据库的出发点，也是使用数据库的最终归宿。信息世界的信息模型和计算机世界的数据模型是现实世界事物及其联系的两级抽象，其中的数据模型是实现数据库系统的基础。概念模型E-R图（二）关系数据库的设计

E-R图也称实体-联系图（EntityRelationshipDiagram），提供了表示实体类型、属性和联系的方法，是用来描述现实世界的概念模型。概念模型转换成数据模型（二）关系数据库的设计在E-R图的模型中有实体和关系两类元素，这些信息在数据库设计中将用数据库关系模型中的二维表（关系模式）表示。实体的信息可以用二维表表示概念模型转换成数据模型（二）关系数据库的设计联系也可以用二维表表示概念模型转换成数据模型（二）关系数据库的设计对于3个以上实体间的多元关系，根据相同的转换规则，按关系的不同类型进行相应的转换，如图7-12所示。同一实体集的实体间的自关系转换如图7-13所示。数据库设计的步骤（二）关系数据库的设计数据库设计是指根据用户的需求，在某一具体的数据库管理系统上，设计数据库的结构并建立数据库，它是信息系统开发和建设中的核心技术。物流大数据处理PART03物流大数据处理大数据就像一个永无休止的数据漩涡，因此可以将信息精简后统一集中到一个指定位置进行管理，这个指定位置就是数据仓库（DataWarehouse）。通过存储、校准、整合及输出，对数据进行集中分层次管理，在保证数据时效性和生态性的同时，还能够对数据完成不同程度的处理。与传统的面向对象的数据库不同，数据仓库内的数据包括多种数据结构（结构化数据、半结构化数据和非结构化数据等）和数据类型。任务训练某企业有物资、销售、劳动人事等3个管理部门，物资管理部门负责产品生产所需的零件采购以及对全部零件的保管，销售管理部门负责产品的销售，劳动人事管理部门负责管理职工的人事关系。具体梳理结果如下。物资管理部门——供应商提供产品和零件（数量），每个供应商可以供应多个产品和零件，每个零件可以由多个供应商供应。零件放仓库，产品直接卖。一种零件可以放多个仓库，一个仓库可以放多种零件（库存量）。仓库由多个职工管理，在职工里面选拔人才做领导。销售管理部门——产品由顾客下订单购买，每个顾客能下多张订单，每张订单由多个订单项构成，每个订单项对应一个产品，顾客通过收款账支付，每个顾客可能收到多个收款账。劳动人事管理部门——每个职工只属于一个部门，由一个部门领导，而且每个职工负责一项产品的销售，或者多个职工生产某几项产品。任务背景任务训练任务要求最后绘制3个部门的E-R图和综合E-R图。将综合E-R围转换为关系数据库管理系统支持的关系模型。任务实施对3个部门的需求描述进行分类、聚集和概括，先找实体，分析各自的属性，然后确定实体型之间的关系绘制3个部门的E-R图，并进行综合绘制综合E-R图，如图7-15～图7-18所示。概念结构设计任务训练任务实施任务训练任务实施将综合E-R图转换为关系数据库管理系统支持的关系模型，每个实体和联系都对应一个关系，用关系模式的形式表示:逻辑结构设计实体：供应商（供应商号，供应商名，地址，电话，信誉度）产品（产品号，产品名，价格）零件（零件号，零件名，型号）职工（职工号，职工名，性别，年龄，部门号，职务，工资，文化程度）部门（部门号，部门名称）仓库（仓库号，仓库名称，类型）订单（订单号，日期，备注）订单项（订单项号，描述）顾客（顾客号，名称，地址，联系电话，E-mail）收款账（收款账号，金额，收款缘由）任务训练任务实施联系：属于（部门号，职工号）生产（职工号，产品号，天数）负责（职工号，产品号）供应（供应商号，产品号，零件号，供应量）存放（仓库号，零件号，库存量）对应（订单项号，产品号）组成（订单项号，订单号）填写（顾客号，订单号）支付（顾客号，收款账号）将综合E-R图转换为关系数据库管理系统支持的关系模型，每个实体和联系都对应一个关系，用关系模式的形式表示:逻辑结构设计任务训练任务实施根据特定DBMS（例如VisualFoxPro）所提供的存储结构和存取方法，设计数据文件类型、索引结构和数据的存放次序、数据的存取方法和数据的存取路径等，然后利用具体的数据库管理系统在计算机中加以实现。物理结构设计和实施任务评价拓展训练在简单的教务管理系统中，有如下语义约束：一个学生可选修多门课程，一门课程可被多个学生选修；一个教师可讲授多门课程，一门课程可由多个教师讲授；一个系可有多个教师，一个教师或学生只能属于一个系。请用E-R图进行概念模型设计，然后将其转换为关系数据库管理系统支持的逻辑模型（用关系模式表示）。用E-R图表示实体。给每个实体设计三个以上的基础属性。绘制出综合E-R图。将概念模型转换为关系数据库管理系统支持的逻辑模型。实训要求物流大数据的应用PART03车货匹配通过对运力进行大数据分析，可以科学匹配公共运力的标准化需求和专业运力的个性化需求。通过对货主、司机和任务的精准画像，可实现智能化定价，为司机智能推荐任务，并根据任务要求指派配送司机。客户方面大数据平台会根据任务要求，如车型、配送公里数、配送预计时长、附加服务等自动计算运力价格并匹配最符合要求的司机，司机接到任务后会按照客户的要求进行高质量服务。司机方面大数据平台可以根据司机的个人情况、服务质量、空闲时间自动匹配合适的任务，并进行智能化定价。基于大数据实现车货高效匹配，不仅能减少空驶带来的损耗，还能减少污染。选址物流中心物流中心选址问题要求物流企业在充分考虑到自身的经营特点、商品特点和交通状况等因素的基础上，使配送成本和预定成本等之和达到最小。针对这一问题，可以利用大数据中分类树方法来解决。运输路线优化运输路线优化是一个典型的非线性规划问题，它一直影响着物流企业的配送效率和配送成本。物流企业运用大数据来分析商品的特性和规格、客户的不同需求（时间和金钱）等问题，从而用最快的速度对这些影响配送计划的因素做出反映（比如选择哪种运输方案、哪种运输线路等），制定最合理的配送线路。而且企业还可以通过配送过程中实时产生的数据，快速地分析出配送路线的交通状况，对事故多发路段做出提前预警。精确分析配送整个过程的信息，使物流的配送管理智能化，提高了物流企业的信息化水平和可预见性。运用大数据分析能为物流企业搭建起沟通的桥梁，最短化、最优化定制物流运输路径。调配仓库储位合理的安排商品储存位置对于仓库利用率和搬运分拣的效率有着极为重要的意义。对于商品数量多、出货频率快的物流中心，储位优化就意味着工作效率和效益。哪些货物放在一起可以提高分拣率，哪些货物储存的时间较短，都可以通过大数据的关联模式法分析出商品数据间的相互关系来合理的安排仓库位置。物流各方面的预测商品进入市场后，并不会一直保持最高的销量，是随着时间的推移，消费者行为和需求的变化而不断变化的。物流市场预测运用大数据分析商品品类，系统会自动分解用来促销和引流的商品。同时，系统会自动根据以往的销售数据进行建模和分析，以此判断当前商品的安全库存，并及时给予预警，而不再是根据往年的销售情况来预测当前的库存状况。库存预测物流各方面的预测如果运输车辆在路上抛锚，就需要再派一辆车，会造成延误和再装载负担，并消耗大量的人力、物力。美国UPS公司从2000年开始使用大数据技术监测有60000辆车的车队，这样能及时地进行防御性修理。以前，UPS每两三年就会对车辆零件进行定时更换，但这种方法并不科学，因为不需要更新的零件也会被淘汰，从而造成浪费。通过大数据技术监测车辆的各个部位，UPS如今只更新需要更换的零件，节省了好几百万美元。设备修理预测任务训练日日顺是海尔旗下的场景生态品牌，旗下有日日顺物流、日日顺乐家、日日顺乐农等企业平台。日日顺物流先后经历从企业物流到物流企业，再到平台企业的三个转型阶段，依托先进的管理理念和物流技术，整合全球一流的网络资源，搭建起开放的专业化、标准化、智能化大件物流服务平台。目前，日日顺物流已经为家电、家具、卫浴、健身器材及互补行业的用户提供了全品类、全渠道、全流程、一体化的物流服务。日日顺物流以数字化为驱动力，在大件物流智能化领域先行先试，获得众多荣誉，曾入选十