DM科技在物流方面的运用

DM科技在物流方面的运用1引言近年来，随着现代信息和通信技术的发展，以互联网为代表的信息技术为物流发展提供了强有力的信息技术支持。随着集成化物流管理信息系统的建立，以及网络技术、EDI、人工智能、条形码与POS等各种先进技术的应用，物流信息的商品化、物流信息收集的数据库化和代码、物流信息处理的电子化和计算机化，物流企业提高物流服务过程中都积累了大量的“粗糙”数据，这些数据和其所蕴含的信息是企业的财富。但是，面对如此海量的数据，企业很难对这些数据进行准确、高效的收集和及时处理，因此也就很难帮助决策者做出快速、准确地决策。目前，物流管理信息系统多数只是发挥着信息的收集、挑选、重组和转发的“中转站”作用。想要充分利用物流企业在运营中收集到的数据，挖掘蕴藏在这些海量数据中的潜在的和有价值的信息，就需要适应这些数据特点的数据挖掘技术。数据挖掘(DataMining，DM)是在20世纪末刚刚兴起的数据智能分析技术，它可以从数据库或数据仓库，以及其他各种大量数据类型中，抽取或发现有用的信息和知识，又称为数据库中知识发现，是一种基于计算智能的知识获取过程的一个主要步骤［1］。1996年，戴姆勒克莱斯勒公司、SPSS、NCR三个公司设想、构思了CRISP－DM，并于之后成了相应的委员会。CRISP－DM的全称是crossing－industrystandardprocessfordatamining，即跨行业数据挖掘标准过程。根据CRISP－DM标准，通常数据挖掘的基本步骤包括:业务理解、数据理解、数据准备、建立模型、评价、实施等六个步骤［2］。通过实践，以上数据挖掘的六个步骤过程并非完全按照CRISP－DM标准，要取得好的结果往往需要不断重复这些步骤，或者根据需要重新组合合适的步骤。2数据挖掘技术概述数据挖掘所用的技术方法很多，包括了统计分析方法、遗传算法、粗集方法、决策树、人工神经网络、模糊逻辑、规则归纳、聚类分析和模式识别等。其所实现的功能主要是:关联规则、序列模式、分类和预测、聚类、趋势分析和偏差检测。根据我国学者朱明的说法，数据挖掘的技术方法类型主要有:定性与对比、关联分析、分类与预测、聚类分析、异类分析、演化分析等六类［3］。本文对数据挖掘技术的探讨，基于以上分类。定性与对比就是对研究对象进行“质”的方面的分析，对获得的各种材料进行思维加工和比较，从而能揭示内在规律。概念描述是定性与对比的基本方法，即对含有大量数据的数据集合进行概述性的总结并获得简明、准确的描述。关联分析就是从给定的数据集发现频繁出现的项集模式知识(又称为关联规则)，广泛用于市场营销、事务分析等应用领域。通常关联规则具有:X□Y形式，即“A1A2．．．Am→B1B2．．．Bn”;其中Ai(i∈{1，．．．，m})和Bi(i∈{1，．．．，n})均为属性等值形式。关联规则X□Y表示“数据库中满足X中条件的记录也一定满足Y中的条件”。分类通常用于预测未知数据实例的归属类别(有限离散值)，但在一些情况下，需要预测某数值属性的值(连续数值)，这样的分类就被称为预测，一般是使用预测来表示对连续数值的预测，而使用分类来表示对有限离散值的预测。分类与预测所获的模型可以采用多种形式加以描述输出，主要技术方法有:分类规则、决策树、数学公式和神经网络等等。聚类分析与分类预测方法明显不同，后者所学习获取分类预测模型所使用的数据是已知类别归属，而聚类分析所分析处理的数据没有事先确定的类别归属。聚类分析中，首先需要将聚类分析的数据，对象划分为若干组。更进一步从这些同类别数据集，又可以通过分类学习获得相应的分类预测模型或规则。此外通过反复不断地对所获得的聚类组进行聚类分析，还可获得初始数据集合的一个层次结构模型。演化分析就是对随时间变化的数据，对象的变化规律和趋势进行建模描述。这一建模手段包括:概念描述、对比概念描述、关联分析、分类分析、时间相关数据分析。具有演化规则的遗传算法、人工神经网络等方法也可归入演化分析。异类分析则较为特殊，许多数据挖掘方法都在正式进行数据挖掘之前就将这些异类作为噪声或意外而将其排除在数据挖掘的分析处理范围之内。但在一些应用场合，如各种商业欺诈行为的自动检测，小概率发生的事件或数据往往比经常发生的事件或数据更有挖掘价值。对异类数据的分析处理通常就称为异类分析方法，由于异类分析应用较少，本文没有进行探讨。3数据挖掘技术在物流领域中的应用3．1应用的可行性目前数据挖掘技术正以前所未有的速度发展，已广泛应用于政府、电力、企业、电信、金融等行业部门，但在物流行业的应用还不是很普遍。随着数据挖掘技术的发展，数据挖掘开始受到物流业的更多关注，数据挖掘在物流业中的应用已经具备了技术可行性和行业的需求性。技术可行性体现在三方面:首先，业务处理的计算机化生成大量的现有数据;第二，数据存储技术和计算处理速度的更新;第三，如神经网络这样的先进新算法的产生。大量数据的存在为数据库市场销售和数据挖掘提供了必需的原料，计算机技术的发展为企业存储和利用数据提供了硬件保障，新算法的生成扩大了数据处理的能力和应用范围。随着物流信息化水平的提高，信息化物流网络体系的应用使数据规模不断扩大，产生巨大数据流。面对激烈的外部竞争，如果企业不使用有效的数据挖掘技术，将很难对这些数据进行高效的收集和及时决策。从数据中挖掘出的信息可以帮助企业了解市场的动态，及时针对快速变化的环境做出确认和回应，并抓住新出现的商机;数据挖掘技术也可通过更透彻了解客户来改善并强化对客户的服务;数据挖掘技术还能够有效地促进企业的业务处理过程重组，实现规模优化经营。通过合理使用数据资源，企业可以通过数据挖掘技术提高自身的竞争力，同时促进我国物流行业向更高的层次发展。3．2数据挖掘技术在物流业中的具体应用由于物流企业中的信息具有数量大、更新快和来源多样化的特点，物流企业以往主要利用信息的有效沟通、快速传达、物流运作调控和辅助决策的功能，而很少顾及信息数据的挖掘利用。但随着市场竞争的加剧、企业精细化管理愿望的增强以及先进技术方法的开发应用，对信息中的数据进行挖掘利用已成为物流企业赢取客户、增加利润、提升自身竞争力的突破口。不同的物流问题，可能需要用不同的数据挖掘方法去解决。但是，对于同一个物流问题，可能有多种方法，也需要预先评估和测算。各种方法均有一定的优点，也有不足。几种技术并不是单一的使用，而是根据实际情况综合加以应用，本文仅仅是对于最主要的应用加以探讨。结合数据挖掘的技术类型，数据挖掘技术在物流企业中可以应用在以下几方面:(1)客户分析———定性与对比的应用客户分析就是根据各种关于客户的信息和数据来了解客户需要，分析客户特征，评估客户价值，从而为客户制订相应的营销策略与资源配置计划。通过定性与对比的应用，通过对客户特征进行准确的概念描述，物流企业能够充分挖掘客户价值。如果企业已经建立了较为完备的CRM系统，结合数据挖掘的定性与对比，将对客户价值分析起到立竿见影的效果;如果企业没有CRM系统，也可以通过数据挖掘技术初步建立自己的客户管理体系。(2)合理安排货品的仓储位置———关联分析的应用如何合理安排货品的存储、压缩货品的存储成本正成为现代物流管理者不断思考的问题。对于货品的存放问题，哪些货品放在一起可以提高拣货效率?哪些货品放在一起却达不到这样的效果呢?物流企业可以利用以往的商品流动数据，采取数据挖掘技术中的关联模式来解决这个问题。关联模式分析的目的就是为了挖掘出隐藏在数据间的相互关系。例如，有A、B两类产品，描述A类产品的出现对B类产品的出现有多大影响，可以用四个属性来描述关联规则:可信度———在产品集A出现的前提下，B出现的概率;支持度———产品集A、B同时出现的概率;期望可信度———产品集B出现的概率;作用度可信度———对期望可信度的比值。通过上述关联分析可以得出一个关于货品的简单规则，从而来决定这两种货品在货架上的配置，可以战略性地布置货品在仓库中的位置。(3)物流中心的选择———分类与预测的应用(分类树方法)物流中心(流通中心、配送中心、仓库等)选址问题即求解运输成本、变动处理成本和固定成本等之和为最小的最小化问题。物流中心选址，需要考虑到中心点数量和中心点如何分布等情况。针对这一问题，可以用数据挖掘技术中的分类树方法来加以解决。分类树(classification)的目标是连续的划分数据，使依赖变量的差别最大。分类树的真正的目的是将数据分类到不同组或分支中，在依赖变量的值上建立最强划分。用分类树的方法解决这个问题时，通常需要以下四个方面的数据:1)中心点的位置;2)每个中心点的业务需求量;3)备选点的位置;4)在中心点和备选点之间的距离。通过分类树的方法，不仅确定了中心点的位置，同时也确定每年各个地址问物品的运输量，使整个企业必要的销售量得到保证，企业的长期折现的总成本也会达到最小值。(4)市场预测———聚类分析的应用产品是有生命周期的，即导入期、增长期、成熟期和衰退期。一种产品进入市场后，它的销售量和利润都会随时间推移而改变，呈现一个由少到多由多到少的过程。在不同阶段，产品的生产、配送、销售策略是不同的。这就需要提前的生产计划、生产作业安排以及适合的库存和运输策略。物流企业要注重商品的生命周期，合理地控制库存和安排运输。企业可将需要分析的商品对象数据划分为若干组，从这些同类别数据集建立相应的预测模型或规则。物流企业可以通过聚类分析作为市场预测的手段，为决策提供依据。(5)优化配送路径———演化分析的应用(遗传算法)配送路径是个典型的非线性问题，它影响着物流企业配送效率的提高。在许多配送体系中，管理人员需要采取有效的配送策略以提高服务水平、降低货运费用。其中要考虑车辆的路径问题，车辆路径问题是为一些车辆确定一些客户的路径，每一客户只能被一次，且每条路径上的客户需求量之和不能超过车辆的承载能力。其次还应考虑到车辆的利用能力，如果车辆在运输过程中的空载率过高或整车的承载力未完全利用，这些无疑会增加企业的运输成本;另外涉及到车辆的运输能力，就必须考虑到货品的规格大小和利润价值的大小。遗传算法为配送路径的优化提供了新的工具，它可以把在局部优化时的最优路线继承下来，应用于整体，而其他剩余的部分则结合区域周围的剩余部分(即非遗传的部分)进行优化，输出送货线路车辆调度的动态优化方案［4］。3．3运用数据挖掘技术时应注意的问题在物流决策过程中，数据挖掘技术不能解决所有物流领域的问题，也不是所有的数据挖掘技术都能解决物流领域上的问题的。如果不能将特殊领域的物流业逻辑与数据挖掘技术结合起来，数据挖掘的分析效果和效益就不可能达到最佳值。总体来看，物流行业在应用数据挖掘技术时，应该考虑三个方面的因素:一是“人”，要有合适的数据挖掘人才，能够准确快速地选择合适的技术方法进行工作;二是“机”，要建立适合企业实际的、和已有系统集成的数据挖掘系统，要选择合适的数据挖掘工具;三是“料”，要从大量的业务数据中获得有价值的信息，需要保证数据质量。具体来说，应该注意以下几个方面的问题:(1)系统集成问题数据挖掘是从大量数据中提取有价值的信息，而数据一般存储在数据库中。物流企业进行信息化建设的前期一般己经选用了数据库产品，如许多企业建立了CRM系统作为物流企业管理系统软件［5］。因此，应用数据挖掘技术首先考虑数据挖掘系统与其他系统的集成问题，便于利用企业已有的数据库。这样，才能有利于企业降低成本，达到最大效益。(2)数据挖掘工具的选择目前一些流行的数据挖掘工具，如IBM公司开发的QUEST系统、SGI公司开发的Mineset系统等，大多是国外的舶来品，不可能完全适合国内企业。引进这些外国产品的时候企业要考虑定制问题，只有适合并能正确反映企业具体经营状况的工具才能够发挥作用。(3)技术人员的影响数据挖掘技术人员所选用的技术和优化方法会对模型的准确度和生成速度产生很大影响，其专业素养和能力对于数据挖掘的实施至关重要。因此，这类技术人员首先要有良好的计算机、统计等相关知识，其次要懂得物流行业的基本流程和运作理念。物流业中一般不具备这种技术人员，企业决策者应该重视引进人才、培养人才、留住人才。(4)数据质量的影响国内很多物流企业都有不同的业务系统，同时伴随着一个比较庞大的数据中心。但这种面向事务而产生的数据在质量、完整性和一致性上都存在着很多问题，这就使得数据挖掘技术人员很难集中精神去建立模型，而是投入太多的精力和时间去解决数据的抽取、净化和处理。如何保证数据质量，是企业成功实施数据挖掘的一个技术关键点［6］。4结语数据挖掘技术已经在商业、金融业、保险业、电信业等多个领域开始得到应用，取得了令人满意的效果。随着数据挖掘应用研究的深入开展，以及物流企业追求运营绩效愿望的增强，将会有越来越多的物流企业引入数据挖掘技术。我国学者王道平等认为，数据挖掘作为一种新兴的信息技术，能够挖掘蕴藏在海量