数据挖掘在电子商务中的应用

1、数据挖掘在电子商务中的应用摘要： 在进入大数据时代后，粗放型的电子商务时代已经无法适应当今社会的发展，精准型的电子商务时代已经开始。电子商务在企业中应用时，企业信息系统会将产生大量的数据，数据挖掘技术是数据分析的有效手段。运用数据挖掘得到的信息可以对客户关系、网络营销等进行精确化管理，从而实现高效协同、以人为本，满足每一位用户的不同要求。关键词： 精准型；细分类；数据挖掘；客户关系Abstract：After entering the era of big data, extensive e-commerce era has been unable to adapt to the develo

2、pment of todays society, the precise type of e-commerce era has begun. When e-business applications in the enterprise, the enterprise information system will produce large amounts of data, data mining technology is an effective means of data analysis. Information obtained using data mining can be cu

3、stomer relations, Internet marketing, precise management, in order to achieve efficient coordination, people-oriented, to meet the different requirements of each user.Key words： Precision；Subdivisions；Data Mining；Customer Relationship 1. 引言随着国内外电子商务的发展，电子商务网站越来越多，行业竞争越来越激烈，电子商务网站必须加强客户关系管理，改善经营理念，服务

4、好客户，才能获得更多的客户资源。 电子商务企业要面对的客户群和市场都变得巨大而复杂， 并且随着电子商务的应用日益广泛， 电子商务系统中积累了大量的信息和数据，这些数据正在呈现爆炸式的增长，给电子商务的应用带来了一定的挑战。 因此，电子商务网站必须研究客户的兴趣和爱好，对客户进行分类管理，针对不同的客户群推荐不同的商品。 对于企业而言， 数据挖掘有助于发现业务发展的趋势，帮助企业做出正确的决策，使企业处于更有利的竞争位置。2 国内外研究现状在电子商务模式下，决策的制定需要依靠通过网络途径所获得的用户访问和交易数据，因而数据挖掘作为一种数据处理工具便拥有了其用武之地。数据挖掘应用技术之后演变为 W

5、eb挖掘，用于在网络环境中进行有价值信息的获取，通过各种网络文档及在线网站，实现目标信息的自动发现和获取，从而帮助企业制定决策。目前，Web 数据挖掘技术在我国电子商务中的应用主要集中于如下几个方面：(1)Web挖掘算法的研究它适用于电子商务环境，其在国内的发展已经初步成熟，也得到了比较广泛的应用。各领域的数据特点不同，电子商务系统所产生的数据也必然有其个性，因而针对电子商务系统，传统的数据挖掘算法必需要进行改进，从而才能适应电子商务数据挖掘的特点及需求1。(2)个性化服务及电子商务推荐系统的研究。该方向已经成为当前国内学术界对于电子商务环境下 Web 数据挖掘的研究热点，其信息的挖掘主要依据

6、 Web 服务器日志文件、用户简介、注册信息、用户对话或交易信息、用户提问信息等数据进行，从而分析网络用户的浏览行为及购买行为，进行用户忠实度的辨析，并实现更有效的面向目标客户的针对性及导向性的服务，从而增加客户的购买机会与购买行为。(3)电子商务环境下潜在客户的发现。在电子商务系统当中，少部分顾客会选择在站点注册，而较多部分的顾客并不会注册，而如何把握住这些未注册的顾客，成为电子商务条件下 Web 数据挖掘的研究方向之一。当前，在国外已经取得了用户兴趣模式理论体系研究及个性化服务研究的极大进展的情况下，基于电子商务环境，中国国内的相关领域对数据挖掘应用技术的研究也开始进行理论与实际应用的双向

7、集中。然而相对而言，其起步仍然较晚，还处于比较早期的研发阶段，无论是产品方面还是应用方面与国外相比都相对滞后2。国内以局部挖掘算法的设计、分析、改进为研究的重点，而很少研究数据挖掘系统自身的构建、开发模式的种类等问题。Web 数据挖掘的过程必须进行与电子商务业务流程的完美融合，这样才能更好地服务商家及用户，这也体现了生产内容从提供商品到提供服务的转变，体现了市场正在向成熟与专业化的方向发展。在当前电子商务环境下，分布式 Web 数据挖掘系统具有整体性，系统中的每一部分都紧密联系，该技术项目不仅拥有良好的发展前景，对商家而言更意味着巨大的利益空间。3. 数据挖掘工具及分类数据挖掘工具：从数据仓库

8、的组成入手，分析数据仓库的体系结构。在数据仓库的设计过程中必须注意3个关键的问题：选择数据仓库的目标数据库、数据抽取和转换工具及前端数据访问和分析工具3。按照Web处理对象的不同，一般将Web挖掘分为三类：Web内容挖掘,Web结构挖掘和Web使用记录挖掘。3.1 内容挖掘Web 内容挖掘是对 Web 页面内容进行挖掘，是从大量的 Web 数据中发现信息、抽取知识的过程。Web挖掘的数据源有：服务器数据、查询数据、在线市场数据、Web 页面、Web 页面的超级链接关系、客户登记信息等。3.2 结构挖掘Web结构挖掘是从网页上的组织结构和链接关系中推导知识。由于超文本文档间的关联关系使得网页不仅

9、仅可以揭示文档中所包含的信息，同时也可以揭示文档间的关联关系所代表的信息。利用这些信息可以对页面进行排序，发现重要的页面。挖掘Web结构的目的是发现页面的结构和Web结构，在此基础上对页面进行分类和聚类，从而找到权威页面4。3.3使用记录挖掘Web使用记录挖掘的主要目标是从 Web 的访问记录中抽取感兴趣的模式。互联网中的每个服务器都保留了访问日志(Web access log)，记录了关于用户访问和交互的信息。分析这些数据可以帮助理解用户的行为，从而改进站点的结构，或为用户提供个性化的服务。4. 电子商务中进行数据挖掘的数据源4.1 服务器数据客户访问服务器就会在服务器上产生相应的服务器数据

10、，这些数据可以分为日志文件和查询数据。其中日志文件又可以分为 server logs、error logs、cookie logs、server log、sserver logs 有两种格式存储，一种是普通日志文件格式，另一种是扩展日志文件格式。普通日志文件格式以“Date Client IP，User name，Bytes，Server，Request，Status，Service name Time，Protocol version， User agent，Cookie，Referrer”的格式存储关于客户连接的物理信息5。4.2客户登记信息客户登记信息是指客户通过Web页在屏幕上输入的、

11、电子商务活动起着非常重要的作用，特别是在安全方面，或者在对客户可访问信息的限制方面。在Web的数据挖掘中，客户登记信息必须和访问日志集成，以提高数据挖掘的准确度， 能更进一步的了解客户。5 Web数据挖掘的主要技术Web数据挖掘中常用的技术有路径分析技术、关联规则、序列模式、分类聚类技术等。5.1 关联规则挖掘技术该技术主要用于从学习者访问序列数据库的序列项中挖掘出相关的规则。在Web数据挖掘中，关联规则挖掘就是要挖掘出学习者在一个访问期间(Session)从服务器问的页面、文件之间的联系，这些页面之间可能并不存在直接的参引(Reference)关系6。在网络日志数据的预处理过程中，将学习者访

12、问的页面路径构成了学习者会话事务集，可以通过关联规则挖掘得到大量的学习者访问请求的URL之间的联系，并将挖掘出的规则按照不同的支持度和置信度进行取舍，从而保留一些有用的规则进行应用。5.2序列模式挖掘技术序列模式数据挖掘就是要挖掘出交易集之间的有时间序列的模式。在网站服务器日志里，学习者的访问是以一段时间为单位记载的。经过数据净化和事件交易确认以后是一个间断的时间序列，这些序列反映了学习者一定的行为。在网络日志文件的预处理过程中，抽取了学习者对于每个URL浏览所耗用的时间，这种元数据从侧面描绘出每个学习者对于页面上承载的知识点的理解程度和思考难度，引用时间长的证明此页面承载的知识点比较难于理解

13、。通过分析可以得出学习者对特定知识点的掌握程度。但由于网路线路的原因，致使学习者在提出URL请求后，很长时间才将相应的网页打开，所以这种由日志中记录的浏览时间所分析出的各种模式规则并不一定真实反映学习者的学习过程，所以我们利用序列模式挖掘方式预测出学习者后续要访问的页面集，然后将此页面集中的URL预先下载到本地计算机的缓存中去，从而降低了页面的打开时间，也就使得浏览时间的准确性和有效性得到了很大的提高。这种Web页面的预取技术是利用序列模式挖掘方法来实现的。5.3 聚类分类技术聚类技术可以将具有相同特征的数据项聚成一类。聚类分析模式就是将数据划分到不同的组或者簇中，组之间的差别尽可能的大，组内

14、的差别尽可能的小，与一般认为通过学习者的固定信息进行的分类分析不同，聚类前并不知道将要划分成几个组和什么样的组，完全依靠服务器智能化的计算得出，因此聚类分析也可以称为无监督分类。通过聚类得出不同的类后，一旦某学习者的特征模式符合某个类后，推荐引擎自动将此学习者尚未访问的页面或者尚未进行的测试与练习推荐给学习者。这样就可以智能化地将处在不同学习阶段的学习者得到此类应该获得的学习和测试进程7。5.4 路径分析技术用路径分析技术进行Web使用模式的数据挖掘时，最常用的是图。因为一个图代表了定义在网站上的页面之间的联系。图最直接的来源是网站结构图，网站上的页面定义成节点，页面之间的超链接定义成图中的边

15、。其他的各式各样的图也都是建立在页面和页面之间联系或者是一定数量的学习者浏览页面顺序基础之上的。那么，基于Web使用模式的数据挖掘，就是从图中确定最频繁的路径访问模式或大的参引访问序列。6. Web数据挖掘的过程电子商务中的Web挖掘过程一般由3个主要阶段组成：数据准备、挖掘操作、结果表达和解释。数据准备。这个阶段又可分成3个子步骤：数据集成、数据选择、数据预处理。数据集成将多文件或多数据库运行环境中的数据进行合并处理，解决语义模糊准备，这个阶段又可分成为处理数据中的遗漏等。数据选择的目的是辨别出需要分析的数据集合，缩小处理范围，提高数据挖掘的质量。预处理是为了克服数据挖掘工具的局限性。数据挖

16、掘。这个阶段进行实际的挖掘操作，包括的要点有：决定如何产生假设；选择合适的工具；发掘知识的操作；证实发现的知识。结果表述和解释。根据最终用户的决策目的对提取的信息进行分析，把最有价值的信息区分开来，并且通过决策支持工具提交给决策者。因此，这一步骤的任务不仅是把结果表达出来，还要对信息进行过滤处理，如果不能令决策者满意，需要重复上述过程。7. 数据挖掘技术在电子商务的应用7.1 在客户关系管理中的应用数据挖掘技术可以应用在客户群体细分、客户获得、客户保持、客户驻留和客户聚类等方面。（一）客户细分随着以客户为中心的经营理念不断深入人心，分析客户、了解客户并引导客户的需求己成为企业经营的重要课题。通

17、过对电子商务系统收集的交易数据进行分析，可以按各种客户指标(如自然属性、收入贡献交易额、价值度等)对客户分类，然后确定不同类型客户的行为模式以便采取相应的营销措施促使企业利润的最大化。（二）客户获得通过数据挖掘可以发现购买某种商品的消费者是性别，学历、收入、爱好、职业等。甚至可以发现不同的人在购买该种商品的相关商品后多长时间有可能购买该种商品，以及什么样的人会购买什么型号的该种商品等等。在采用了数据挖掘后，针对目标客户发送的广告的有效性和回应率将得到大幅度的提高，推销的成本将大大降低8。（三）客户保持数据挖掘可以把你大量的客户分成不同的类，在每个类里的客户拥有相似的属性，而不同类里的客户的属性

18、也不同。你完全可以做到给不同类的客户提供完全不同的服务来提高客户的满意度。数据挖掘还可以发现具有哪些特征的客户有可能流失，这样挽留客户的措施将具有针对性，挽留客户的费用将下降。（四）客户的驻留对客户来说，传统客户与销售商之间的空间距离在电子商务中已经不存在了，在网络上，每一个销售商对于客户来说都是一样的，那么如何使客户在自己的销售站点上驻留更长的时间，对销售商来说将是一个挑战。为了使客户在自己的网站上驻留更长的时间，就应该了解客户的浏览行为，知道客户的兴趣及需求所在，动态地调整 Web页面，以满足客户的需要。通过对客户访问信息的挖掘，就能知道客户的浏览行为，从而了解客户的兴趣及需求。在 Int

19、ernet上的电子商务中的一个典型的序列，恰好就代表了一个购物者以页面形式在站点上导航的行为，所以可运用数据挖掘中的序列模式发现技术9。（五）聚类客户在电子商务中客户聚类是一个重要的方面。通过分组具有相似浏览行为的客户，并分析组中客户的共同特征，可以帮组电子商务的组织者更好地了解自己的客户，向客户提供更适合、更面向客户的服务。例如，有一些客户都花了一段时间浏览了同样的页面，经过分析这些客户被聚类成为一组。销售商根据分析出来的聚类信息， 就可以针对他们所进行的业务活动，及时调整页面及页面内容，使商务活动能够在一定程度上满足客户的要求，使商务活动对客户和销售商来说更具意义。7.2 数据挖掘技术在网

20、络营销中的应用网络营销是企业通过电子商务网站进行的一系列市场营销活动。与其他传统营销方式相比，网络营销具有全球性、实时性、低成本以及客户参与的互动性等特点，这些特点使得网络营销备受重视。以下列举几种应用。1. 交叉销售交叉销售是一种营销策略，虽然在很多分析中都将其归为客户关系管理中的一个方面，但本质上它是对客户感兴趣的、可能购买的商品的一种组合销售策略。交叉销售策略取得成功的关键是要保证进行交叉的产品确是用户所感兴趣的,这种策略的实施能够帮助企业维持与客户之间良好持久的关系。交叉销售中应用数据挖掘主要是借助这种数据分析技术寻找商品销售的最合理匹配。2. 建立个性化服务系统在网站竞争日夜激烈的今

21、天，如何让客户满意，留住老客户和吸引更多的客户已成为网络营销的首要任务。这就要求企业营销站点能快速、准确地找到客户所需信息，能为不同客户提供不同的服务，能允许客户根据自己的需要定制页面，能为客户提供产品营销策略信息等等。客户在访问企业的站点时，其浏览信息被 Web 服务器自动收集，并保存在 Web 日志文件中10。利用 Web 使用挖掘技术对这些日志文件进行有效的分析，不但可以充分了解客户的喜好、购买模式，设计出满足不同客户需要的个性化网站，还可以为企业制定有效的营销策略提供依据。3. 建立营销情报系统营销情报是指与各类营销环境日常发展情况相关的信息。市场营销活动是建立在对市场的了解和分析的基

22、础上，对市场的了解需要收集、整理大量的营销信息。市场营销信息具有很强的时效性，处于不断的更新变化之中，这就要求企业营销部门必须不断地及时收集各种信息，以便不断掌握新情况，研究新问题，取得市场营销主动权。7.3 数据挖掘技术在网站设计的应用1. 优化站点链接结构通过挖掘用户的 Web 日志文件，对 Web 站点的链接结构的优化可以从两方面来考虑：一是发现用户访问页面的相关性，对密切相关的网页之间增加链接。二是发现用户的期望位置11。如果在期望位置的访问频率高于对实际位置的访问频率，可考虑在期望位置和实际位置之间建立导航链接。通过对用户访问频繁路径的分析改进网站拓扑结构，使网站结构更符合用户访问习

23、惯。在第一期望位置和实际位置之间增加导航链接，从而优化 Web 站点的链接结构。2. 优化网站页面设计网站网页的内容设置直接影响网站的访问效率。并且，网站的访问者所关心的内容会随时变化。以上挖掘工具的挖掘算法在网络的日志文件中挖掘用户访问页面的统计信息，发现用户使用的模式，可以为改良网页的内容设置提供良好的建议。如通过确定时间阈值，除了确定用户所访问的页面是目标页面还是期望位置，用户在页面停留时间的长短某种程度上反映了用户对该页面内容的感兴趣程度。3. 系统改进用户对网站服务的满意程度还与系统的性能相关，包括服务器缓存、网络传输、负载平衡、数据分布等。用户在页面上停留时间较长，可能并不是对该页

24、面有较大兴趣，服务器状态及由于页面内容传输显示可能造成用户打开网页的等待时间较长。基于这种原因，就需要根据代理服务器的访问日志预测用户的请求在时间和空间的分布，这种预测可以帮助代理服务器选择页面预取和缓存策略；从服务器的日志中挖掘路径配置文件，作为创建动态 HTML 页面的依据，所以用户请求动态页面之前已将将动态页面生成，从而减少服务器的响应延迟时间。4. 网络安全随着 Internet 的迅速发展，网站的安全性成为社会关注的焦点，同时也成为制约基于网络的应用的主要因素。各种网络诈骗手段层出不穷，使人们进行网络消费时心有余悸，这对推动电子商务的发展是极其不利的。由于登录系统的任何访问者的使用记录都会被服务器日志自动获取，所以利用 Web 日志挖掘技术可以用于监视非法登录，黑客入侵等。将 Web 使用日志挖掘技术和网络技术相结合是