数据挖掘在销售预测中的应用(初稿).doc

数据挖掘在销售预测中的应用易飞南京信息工程大学职业技术学院，南京 210044摘要：销售量的预测对于生产和销售部门是极其重要的，面对销售部门日益增长的海量数据，给出一个完整的数据挖掘过程，包括数据选择，数据准备、数据调整、挖掘算法的实现等，通过销售预测，企业可以制定科学合理的原材料一采购计划、生产计划、人员配备计划、库存计划以及营销计划。因此，销售预测决策支持系统对企业的经营决策具有重要的研究意义。 关键字： 数据挖掘,销售预测,神经网络Application of Data Mining in Sales Management Abstract：Face to big number data which increase day after day of sales department, this paper presents an integrated data mining precession. It includes selection of data, preparation of data regulation of data, implementation of mining algorithms and so on. To the result of sale forecasting, enterprises can rational materials procurement plan, production schedule, staffing plan. Just make Stock planand marketing plan. So sale forecasting DSS used for supporting sale decision and other decisi are important for the development of enterprises. Key words: Data Mining; Sales Forecasting; Neural Network- 12 -目录摘要. . 0Abstract. .0第一章 绪论.21.1研究的背景及意义.2第二章 数据挖掘技术介绍. .32. 1数据挖掘的定义与目的. .32.2数据挖掘的处理过程. . 32.3数据挖掘的主要功能. . 42.4数据挖掘常用方法. . 52.5数据挖掘中适用于销售预测的方法及特点. . 6第三章 销售预测.63.1销售预测的涵义. 63.2销售预测的作用和重要性. . .73.3预测误差与预测精度. .7第四章 销售预测数据挖掘模型的建立. . . 84.1 时间序列AR模型预测. . .84.2 BP网络预测. . . 9第五章 全文总结. . . .115. 1总结. . . .11参考文献. . . . .11第一章 绪论 1.1研究的背景及意义 进入21世纪以来随着市场经济的发展和经济的全球化，世界的经济形势以及企业的生存环境发生了巨大的变化，经济活动全球化的趋势加速，顾客的需求日益多样化、个性化，企业面临着越来越残酷的市场竞争。要想赢得竞争、赢得客户，在激烈的竞争中取胜，从事商品生产和销售的单位或个人必须就必须在最快的时间内，以最低的成本将产品提供给客户，这使得对市场的变化和本身业务的发展前景进行估计、进行正确及时的产品销售预测及由此产生的可靠的决策，成为现代企业成功的关键要素。因为管理的关键是决策，而决策的前提是预测，在决策实施过程中，为使决策目标能顺利实现，就必须通过预测来减少不确定性，增强对未来的预见性。也就是说，企业管理决策的正确性，关键在于预测的可靠性和科学性。 销售预测是企业供应链的关键环节，根据销售预测的结果，企业才可以制定合理的原材料采购计划、生产计划、人员配备计划、库存计划以及营销计划。但是，在相当长的时间里，我国许多的企业，销售预测主要是靠个人经验来进行的，或者根本没有进行销售预测研究，生产完全脱离市场，造成产品大量积压，资源严重浪费。 如今，在市场经济条件下，尤其是我国加入世贸组织之后，企业管理者通过事实，或者说通过教训，已逐渐意识到，在市场竞争异常激烈的大环境下，那种仅凭经验或靠拍脑袋来做决策的方式是行不通的。正确的政策、措施来源于正确的决策，正确的决策来源于对客观情况的科学了解和预测。 销售预测是在对影响市场供求变化的诸因素进行系统地调查和研究的基础上，运用科学的方法，对未来市场产品的供需发展趋势以及有关的各种因素的变化，进行分析、预见、估计和判断。没有准确的市场销售预测，就不可能有正确的经营决策和科学的计划。然而，准确的预测又是困难的，一方面因为产品销售量受到诸多因素的影响，对多因素、大量数据进行分析，己经超出了人脑所能解决的范围，必须借助于信息、技术;另一方面，因为销售预测要基于大量的数据，这些数据大部分来源于市场调研和销售过程的销售记录，因而一般具有较强的实效性和复杂性，因此有效地采集市场调研数据并对其进行处理、转换是对其进行分析的前提，对数据处理的及时性和产生规则的多样性也有较高的要求，传统的统计分析方法已经不能很好的满足销售预测的信息处理需要。这主要表现在对大型数据库处理的速度较慢和产生的信息数量较少两个方面，从而造成了对数据的浪费。因此，吸收新的数据处理方法成为销售预测的一个要求。 随着信息时代的到来，国际以及国内的信息科学取得了不断的发展，产生出了诸多新的成果和理论，这些成果和理论具有广泛的指导意义和价值。如何将这些理论有机地与实践相结合，也成为一项十分有意义的研究课题。目前国内大多数商业企业的信息系统一直停留在基本数据的收集层面，但决策支持系统还比较落后，甚至有些企业还没有意识到它的重要性。有了信息不会分析，它就只是一种简单的原始数据，不能成为可供企业分析、支持决策的信息。而且随着数据库、数据仓库、数据挖掘等技术的发展和完善以及在决策支持系统中的应用，基于数据挖掘的分析方法也应该服务于销售预测。 因此将数据挖掘技术、数据仓库技术、决策支持系统的研究成果与销售预测相结合是可实现的，应用数据挖掘方法对销售数据库进行分析，提高销售预测的准确率无疑是十分有意义的。第二章 数据挖掘技术2. 1数据挖掘的定义与目的 无论是商业企业、科研机构或者政府部门，在过去若干年的时间里都积累了海量的、以不同形式存储的数据资料。由于这些资料十分复杂，要从中发现有价值的信息或知识，达到为决策服务的目的，成为非常艰巨的任务。数据挖掘方法的提出，让人们有能力最终认识数据的真正价值，即蕴藏在数据中的信息和知识。 数据挖掘(Data Mining, DM)。一种比较公认的定义是W.J.Frawley，G.Piatetsky Shapiro等人提出的:数据挖掘，就是从大型数据库的数据中提取人们感兴趣的知识。这些知识是隐含的、事先未知的潜在有用信息，提取的知识表示为概念(Concepts)、规则(Rules)、规律(Regularities)、模式(Patterns)等形式。这种定义把数据挖掘的对象定义为数据库。而更广义的说法是:数据挖掘意味着在一些事实或观察数据的集合中寻找模式的决策支持过程。数据挖掘的对象不仅是数据库，也可以是文件系统，或其它任何组织在一起的数据集合。 数据挖掘确切地讲是一种决策支持过程，它主要基于人工智能、机器学习、统计学等技术，高度自动化地分析企业原有的数据，作出归纳性的推理，从中挖掘出潜在的模式，预测客户的行为，帮助企业的决策者调整市场策略，减少风险，作出正确的决策。 数据挖掘的目的是从大量数据中发现知识，并把这些知识以某种形式表示出来。知识的表示形式通常有: 概念(Concepts) .规则(Rules) 规律(Regularities) 模式(Patterns) 约束(Constraints) 可视化(Visualizations)这些知识可以直接提供给决策者，用以辅助决策过程，或者提供给领域专家，修正专家已有的知识体系，也可以作为新的知识转存到应用系统的知识库中。2.2数据挖掘的处理过程 数据挖掘过程一般由三个主要的阶段组成:数据准备、挖掘操作、结果表达和解释，如下图所示。 数据准备这个阶段又可进一步分成三个子步骤:数据集成、数据选择、数据预处理。数据集成将多文件或多数据库运行环境中的数据进行合并处理，解决语义模糊性、处理数据中的遗漏和清除脏数据等。数据选择的目的是辨别出需要分析的数据集合，缩小处理范围，提高数据挖掘的质量。预处理是为了克服目前数据挖掘工具的局限性。 数据挖掘这个阶段进行实际的挖掘操作，包括的要点有: (1)决定如何产生假设; (2)选择合适的工具; (3)发掘知识的操作; (4)验证发现的知识。 结果表达和解释根据最终用户的决策目的对提取的信息进行分析，把最有价值的信息区分出来，并且通过决策支持工具提交给决策者。 数据挖掘是一门独立的技术，它的研究还很不成熟，其应用还有较大的局限性。正是这些局限性，促使数据挖掘研究进一步发展。2.3数据挖掘的主要功能 数据挖掘的主要功能是确定数据挖掘任务中要找的模式类型，数据挖掘任务一般可以分为描述和预测两大类，描述性挖掘任务主要是刻划数据库中数据的一般特性，预测性挖掘任务是在当前数据上进行推断，以进行预测。 数据挖掘功能以及它们可以发现的模式类型介绍如下: (1)分类、预测 分类就是通过研究已分类的样本集的特征，分析样本集的属性，建立一个分类函数或分类模型，通过这个分类模型，未分类的或新的数据就可以分派到不同的类别中，达到分类的目的。分类可以用决策树归纳、贝叶斯网络、人工神经元网络(如BP网络等)、粗糙集、遗传算法、K一最临近分类和支持向量机等方法。分类可以预测对象的类标记，当要预测的数据是数值数据(连续值)，而不是离散的类别标志时，我们可以称之为预测。预测主要使用回归方法，当然也可以使用人工神经元网络、遗传算法、支持向量机等机器学习方法。 (2)关联规则 数据库中的数据之间一般都存在某种关联关系，即变量之间可能存在某种规律，关联规则挖掘的任务就是找出数据库中哪些事物或属性共同出现的条件。最有影响力的关联规则挖掘的算法是Rakesh Agrwal等人提出的Apriori算法，近年来，也出现了很多Apriori的改进算法，如Edith Cohen等人提出的不需要剪枝的改进算法，Mohammed J.Zaki提出的可伸缩的改进算法等。 (3)聚类分析 聚类是将对象集合按照相似性归为若干类别，属于无指导分类，属于同一类的对象具有较高的某种相似性，而不同类的对象之间的差别较大。通过聚类，识别密集和稀疏的区域，发现全局的分布模式及数据属性之间的相互关系，帮助人们建立宏观概念。聚类的方法主要可以分为:划分方法(partitioning method)、层次方法(hierarchical method)、基于密度的方法(density-based method)、基于网格的方法(grid-based method)和基于模型的方法。其中，划分方法中用的比较多的是k一平均算法和k一中心点算法。BIRCH和CURE就是比较典型的层次方法，DBSCAN是比较有代表意义的基于密度的方法，ST工NG算法是典型的基于网格的方法，基于模型的方法有统计学方法、人工神经元网络方法(如Kohonen网络)等。 (4)类/概念描述 数据可以与类或概念相关联，用汇总的、简洁的、精确的方式描述每个类和概念是有用的，目的是对数据进行浓缩，给出它的总体的综合描述，实现对原始数据的总体把握。这种类或概念的描述称为类/概念描述。通过类/概念描述使得人们能够在复杂数据库中了解数据的意义以及产生数据的过程。这种描述可以通过汇总所研究类的数据来获得(这个过程也叫数据特征化)或将所研究类与其它的比较类进行比较来获得，或采用上面两种方法的结合。基于数据立方体的OLAP上卷操作来执行指定维的数据汇总就是一种很有效的数据特征化的方法，数据特征化的输出通常采用如饼图、柱状图、多维数据立方体等形式来形象的表现出来。 (5)孤立点分析 数据库中经常存在这样一些数据对象，它们与数据的一般行为或模型不一致，这些数据对象我们就称之为孤立点。在一般情况下，数据挖掘方法会将孤立点视为噪声或异常而丢弃，但是在特殊场合，如在电子商务领域，探测和分析孤立点显得比正常数据还来的重要。 (6)演变分析 数据演变分析(evolution analysis)用来描述行为随时间变化的对象的规律或趋势，并对其建模。时间趋势分析考虑时间上的变化趋势，空间趋势则要根据某空间维找出变化趋势。2.4数据挖掘常用方法 数据挖掘的研究融合了多个不同学科领域的技术与成果，使的目前的数据挖掘方法表现出多种多样的形式。从统计分析类的角度来说，统计分析技术中使用的数据挖掘模型有线形分析和非线形分析、回归分析、逻辑回归分析、单变量分析、多变量分析、时间序列分析、最近序列分析、最近邻算法和聚类分析等方法。利用这些技术可以检查那些异常形式的数据，然后，利用各种统计模型和数学模型解释这些数据，解释隐藏在这些数据背后的市场规律和商业机会。知识发现类数据挖掘技术是一种与统计分析类数据挖掘技术完全不同的挖掘技术，包括人工神经元网络、支持向量机、决策树、遗传算法、粗糙集、规则发现和关联顺序等。 (1)K-mean算法 K-mean算法用于数据挖掘中的聚类，它是以K为参数，把n个对象分为K个簇，在同簇内相似度较高，在不同簇之间的相似度较低，每个簇用该簇中对象的平均值来表示。这个算法尝试找出使平方误差函数最小的K个划分，当结果集是密集，簇与簇之间的区别明显时，效果很好。K-mean算法的特点在于处理大数据集时，该算法具有可伸缩性和比较高的效率。 (2) Apriori算法 Apriori算法用于数据挖掘中的关联规则，是一种最有影响的挖掘布尔关联规则频繁项集的算法。算法使用频繁项集性质的先验知识，通过逐层搜索的迭代方法，k-项集用于探索k+1-项集。其过程为首先找出频繁1-项集的集合L1，再根据1-项集找出频繁2-项集的集合Lz, LZ再用于寻找L3，如此迭代，直到不能找到频繁k-项集为正，然后在频繁项集的基础上生成规则。(3)人工神经元网络 人工神经元网络模拟人脑神经元结构，以MP模型和Hebb学习规则为基础，建立三大类多种神经元网络，具有非线形映射特性、信息的分布存储、并行处理和全局集体的作用、高度的自学习、自组织和自适应能力的种种优点。前馈神经元网络以感知器网络、BP网络等为代表，可以用于分类和预测等方面;反馈式网络以Hopfield网络为代表，用于联想记忆和优化计算;自组织网络以ART模型、Kohonon模型为代表，用于聚类。 (4)决策树 决策树学习是一种通过逼近离散值目标函数的方法，通过把实例从根结点排列到某个叶子结点来分类实例，叶子结点即为实例所属的分类。树上的每个结点说明了对实例的某个属性的测试，该结点的每一个后继分支对应于该属性的一个可能值，分类实例的方法是从这棵树的根结点开始，测试这个结点指定的属性，然后按照给定实例的该属性值对应的树枝向下移动。决策树方法士要应用于数据挖掘的分类方面。 (5)遗传算法 遗传算法是一种受生物进化启发的学习方法，通过变异和重组当前已知的最好假设来生成后续的假设。每一步，通过使用目前适配值最高的假设的后代替代群体的某个部分，来更新当前群体的一组假设，来实现各个个体的适配值的提高。遗传算法由三个基本过程组成:繁殖(选择)是从一个旧种群(父代)选出生命力强的个体，产生新种群(后代)的过程;交叉(重组)选择两个不同个体(染色体)的部分(基因)进行交换，形成新个体的过程；变异(突变)是对某些个体的某些基因进行变异的过程。在数据挖掘中，可以被用作评估其他算法的适合度。 (6)粗糙集 粗糙集能够在缺少关于数据先验知识的情况下，只以考察数据的分类能力为基础，解决模糊或不确定数据的分析和处理问题。粗糙集用于从数据库中发现分类规则的基本思想是将数据库中的属性分为条件属性和结论属性，对数据库中的元组根据各个属性不同的属性值分成相应的子集，然后对条件属性划分的子集与结论属性划分的子集之间上下近似关系生成判定规则。所有相似对象的集合称为初等集合，形成知识的基本成分。任何初等集合的并集称为精确集，否则，一个集合就是粗糙的(不精确的)。每个粗糙集都具有边界元素，也就是那些既不能确定为集合元素，也不能确定为集合补集元素的元素。粗糙集理论可以应用于数据挖掘中的分类、发现不准确数据或噪声数据内在的结构联系。 (7)支持向量机 支持向量机(Support Vector Machine, SVM)是在统计学习理论的基础上发展出来的一种新的机器学习方法它基于结构风险最小化原则上的，尽量提高学习机的泛化能力，具有良好的推广性能和较好的分类精确性，能有效的解决过学习问题，现己成为训练多层感知器、RBF神经网络和多项式神经元网络的替代性方法。另外，支持向量机算法是一个凸优化问题，局部最优解一定是全局最优解，这些特点都是包括神经元网络在内的其它算法所不能及的。支持向量机可以应用于数据挖掘的分类、回归、对未知事物的探索等方面。2.5数据挖掘中适用于销售预测的方法及特点 传统的销售预测方法有定性预测方法和定量预测方法两种。定性预测方法:经验判断法:个人经验判断法、企业集体经验判断法、社会集体经验判断法;市场调查分析法。定量预测方法:时序预测法:平均平滑法、势外推法、季节变动预测法、马尔可夫时序预测法;因果分析法:一元回归法、多元回归法、投入产出法。传统的销售预测方法虽然应用广泛，效果也不错;但是，难以处理复杂的非线形关系，难以处理多种复杂影响因素。因此，我们需要现代的新的销售预测方法，其主要有神经网络、遗传算法、支持向量机等销售预测方法。第三章 销售预测3. 1销售预测的涵义 预测是指对未来不确定事件的预见和推测。未来事件有确定型与不确定型之分。确定型事件是指该事件发展结果只会有一种状态。不确定型事件是指该事件发展过程和结果可能出现的多种状态。 预测按对事件进行预测时间长短划分，可以分为长期、中期、短期和近期预测。一般说，近期预测是日、周、旬、月的预测;短期预测是季、半年、一年的预测;中期预测是一年至三或五年的预测；长期预测是三或五年及更长时间的预测。企业则侧重于短期、近期预测；宏观管理部门则侧重于中期、长期预测，但两者还需兼顾，不可绝对化。 销售预测是企业决策支持系统的重要组成部分。销售预测是以市场商品购销为主要对象，预见和推测商品的各项购销活动、价格和竞争状况的变化趋势与结果。 预测事件之所以不确定，是由于事件的发展受多种因素影响的结果。因素多少是不确定的，各种因素对事件影响程度也是变化的，预测时很难把握。尤其偶然因素变化情况和影响程序更难把握，所以事件的未来变化过程和结果的预测，必然与实际存在一定误差，但是并非说预测没有价值，因为现代科学的预测能够把握住事物的内在联系和发展规律，缩小预测结果与实际的差距。借助逻辑推理，定性与定量分析，还能找出产生误差的主要原因和误差的可能范围，控制事件的运行。3. 2销售预测的作用和重要性 在市场竞争日益激烈，客户需求出现多样化、特殊化的情况下，公司要提高对客户的服务水平、降低成本、提高质量，同时增强对于市场的响应效率，加强生产、物料规划以充分利用公司资源，企业越来越意识到销售预测的重要性。预测是对未来产品需求的分析，管理当局可以在预测的基础上针对未来需求作出决策，利用最少的资源提供最优质的服务给客户，获取最大化的利润，准确的预测可以帮助管理层面对日益增加的客户需求与股东权益最大化之间的矛盾。 销售预测的作用表现为: (1)提高客户满意度。物流的目标之一就是满足客户的需要。通过销售预测，了解客户的需要，按客户的需要提供及时有效的服务。 (2)减少失销现象。失销成本虽然无法准确计算，但不容忽视。其表现为客户的丢失和客户服务水平的下降。 (3)更为有效地安排生产。生产部门的生产计划往往依据销售预测。预测的水平将直接影响生产的有序安排。 (4)减少库存。由于预测的不准确，往往会产生库存的积压，占用资金和产生较高的储存费用。 (5)减少安全库存量。企业一般倾向于通过增加安全库存来对付需求的不确定性。如果预测准确度提高的话，就可以相应地减少安全库存量，提高库存管理水平。对于本人参与的某机械企业来说，该企业是外向型企业，90%以上产品用于出口，生产是根据销售预测的数量来安排生产，即以销定产，销售预测的准确性尤为重要，关系到企业的经济命脉。3. 3预测误差与预测精度 预测值与实际值总会有一定的偏离，这种偏离即称为预测误差。预测的未来时间越长，预测的可靠性就越低，预测误差就越易于扩大。在实际工作中，销售预测结果往往是为销售经营决策提供依据的，因而如何评定销售预测结果的精确度，如何事先判断销售预测误差，就成为销售预测工作不可缺少的一环。 研究预测误差，一般采用比较法，将预测计算值与实际值相减，其相差的部分称为预测误差。如果用X1代表实际值，F1代表预测值，E1代表预测误差，则 衡量总的预测误差，常用的有以下几种统计量1平均误差 计算平均误差虽然比较简单，但在许多情况下，误差的总和由于式的正负相互抵消，难以用平均误差的大小法说明预测结果的可靠程度，因此一般不采用此法。2平均绝对误差 采用平均绝对误差，克服了误差正负相互抵消的弊端，根据E的数值大小，能够反映预测结果的准确程度。3均方误差4标准误差 均方误差和标准误差，本质上是相同的，由于均方差是与误差的平方和有关，不会产生误差正负相互抵消的问题，因此在预测中，一般都把均方差少的大小作为衡量预测质量好坏的标准，即均方差的数值越小，预测结果的精度越高；反之，均方差的数值越大，预测结果的准确性越低。 在实际工作中，也有用百分比误差的，它是一种衡量预测精确度的相对尺度，其计算公式为: 上式可用于计算不同时期的百分比误差。但通常需要了解整个序列的预测精确度，因此要把几个不同时期的百分比误差进行综合，则采用每个误差绝对值总和的平均值，即平均绝对值百分比误差，其计算公式为: 第四章 销售预测数据挖掘模型的建立4.1 时间序列AR模型预测时间序列分析是根据已知时间序列中的销售数据的变化特征和趋势，预测未来销售值。在时间序列模型中，自回归模型AR是应用最广的一种预测模型。 式中：t?=1,2,N，时间序列xt为已知数据，并假定是平稳随机序列；为测量误差，并假定是白噪声序列。 建立AR模型的一般步骤为2： (1)对时间序列进行平稳性处理。由于AR模型适用于平稳时间序列，因此，建立模型之前要对销售序列数据进行平稳化预处理，通常采用零均值处理。 (2)AR模型阶数的确定。根据准则函数定阶法来确定模型的最优阶数。确定AR模型阶数的准则包括：FPE准则、AIC准则、BIC准则,其函数表达式分别表示为: 在各自准则函数取得最小值时的阶数为模型的最优阶数，在最优阶数下所建立的模型就是最适用的模型。 (3)AR模型的参数估计。当模型阶数固定时，用普通最小二乘法可对模型参数进行估计： (4)AR模型的预报方程。AR模型的l?步预报值为：式中：为在t?时刻根据t?时刻及之前的数据基于AR模型预测第t?+l?时刻的值。 (5)对预测值进行还原。由于对原始数据进行了平稳性处理，因此，必须对该预测值进行还原，得到实际销售预测值。通过AR模型建立销售预测模型，就是根据已知时间序列中的销售数据的变化特征和趋势，预测未来销售值。在历史销售值与预测销售值之间建立线性关系，预测时，输入预测时间前n个销售值，便可根据预测模型计算出预测时间的销售值。由于产品的需求往往是由许多因素综合决定的，而且影响需求的各种因素之间存在着各种错综复杂的相互作用，具有非线性的特征。根据统计分析方法建立的AR模型无法表达这种相互作用。4.2 BP网络预测神经网络作为一种非线性自适应系统，具有通过自学习提取信息内部特征的优点，非常适合解决销售数据中的数据挖掘问题。BP网络是目前应用最为广泛的一种神经网络，具有很强的映射能力，可以实现输入和输出间的任意非线性映射。 BP网络一般由一个输入层、一个或多个隐含层以及一个输出层组成，是通过误差反向传播学习算法来修正网络的权值和阈值。图1是一个典型的三层BP网络模型，其中?r为输入层神经元数，s1为隐层神经元数，s2为输出层神经元数，f1和f2为传递函数，W1ij和b1i是输入层到隐层的权