数据挖掘在商业管理与决策分析之实例应用

1、数据挖掘在商业管理与决策数据挖掘在商业管理与决策分析之实例应用分析之实例应用决策分析质量与效率之提升数据挖掘之原理概念与功能数据挖掘之建构方法应用案例介绍电子商务之应用（Web Mining/WAP Mining）建议与结论引言引言经营环境经营环境 经营环境日益挑战经营环境日益挑战-考虑：成本、利润、质量考虑：成本、利润、质量 . . . . 管理活动管理活动-整合：业务运作、管理控制、策略规画整合：业务运作、管理控制、策略规画 信息密集行业信息密集行业 全方位全方位/多角化经营多角化经营资料资料 -企业宝贵之资产企业宝贵之资产 信息信息Mining资料资料仓储仓储Mining知识知识(Cor

2、porate Memory)(Corporate Intelligence)Database/DataWarehouseTargetdataCleaneddataTransformeddataPattern/model评鉴数据视觉资料挖掘资料挖掘数据转换与简化前置处理与清理样本选取PerformancesystemKnowledge/Adapted from IBM Corp./数据挖掘之基本概念数据挖掘之基本概念 背景背景 管理信息超载及结构化不足 信息混乱与误用 管理问题复杂度高 实时决策分析日益重视 发展目的发展目的 有效利用搜集之市场、客户、供货商、竞争对手及未来趋势信息 使企业经由有

3、效之方法与技术从历史数据里撷取有用的知识数据挖掘原理数据挖掘原理 主要方法主要方法 数据库、数据视觉、统计学、机器学习等数据库、数据视觉、统计学、机器学习等 相关技术相关技术 类神经网络、模糊逻辑、基因算法、基因规画、类神经网络、模糊逻辑、基因算法、基因规画、 案例库案例库推理法、规则库推理、统计回归等推理法、规则库推理、统计回归等 知识表现知识表现 决策树决策树 、法则、定量数学公式、黑箱公式、法则、定量数学公式、黑箱公式 等等Data mining主要主要功能与技术功能与技术功能功能 技术技术 适用领域适用领域关联性 (Association) 案例库推理/集合理论/统计 菜篮分析时间序列

4、 (Sequence) 类神经网络/统计 利率预测分类 (Classification) 基因演算/类神经网络/统计/ 客户评鉴分类 模糊逻辑案例推理/决策树公式 (Modeling) 基因规划/基因演算/回归 销售预测群组 (Clustering) 类神经网络/模糊逻辑/ 市场区隔基因演算/统计数据挖掘应用现况数据挖掘应用现况 Safeway 贩卖促销信息（e.g. coupon) 音乐/电影喜好问卷搜集 Fidelity Investment客户服务 （cross-selling/ wallet share) First USA Bank信用卡资料（汽车房贷） Capital One 降低

5、贷款风险损失率 First Union预测潜在流失客户 预测侵蚀性的物质对皮肤的影响降低产品(药品或毒品)的发展成本和时间，以及减少动物实验的需求 分析零售商店历史销售记录与位置概述以决定最佳的位置 分析提款机设置地点最佳位置Data Mining 过程过程 了解应用领域 建立目标集、选择目标数据集 去除数据杂质、做先置处理 减少数据和数据转换 选择数据挖掘的模式（功能） 选择数据挖掘的算法（技术） 资料挖掘 评估第七步骤的结果 整理发现的知识实例应用实例应用 客户评鉴与分类 (NeuroFuzzy) 提升邮购回函率 (Fuzzy) 股市交易最佳化规则之发掘 (GA) 零售商品与客源群聚相关性

6、分析 (Neural/Statistic) 民航机重落地分析（Regression Tree) 化妆品偏好分析（Classification Tree) 窑烧最佳化控制（Neural/GA) 大哥大忠诚客户与游离客户之分析及预测（Classification Tree)股市交易最佳化规则之发掘股市交易最佳化规则之发掘 规则一假如6日RSI小于20且6日BIAS 小于 -4%时则 买入并持有12日 规则二规则二假如6日RSI 大于 80且6日BIAS 大于 5%时则 卖出并放空10日傳統判斷GA買 1買 2買 3買 4買 5訓練測試應用期間(起)84. 1. 585. 1. 484. 1. 58

7、5. 1. 4應用期間(迄)84. 12. 3085. 8. 31 84. 12. 30 85. 8. 31總次數286286286286184286184買6 日 RSI2020302087入6 日 股價BIAS-4%-4%-2%-2%-4%規6 日 成交量BIAS-4%則13 日 心理線808070808014出6 日 股價BIAS+4% +4% +2% +2% +2% 規6 日 成交量BIAS+4% 75放空期間1 日1 日6 日12 日12 日12 日12 日賣投資次數0225200216102215出投資率0. 0%78. 7%69. 9%75. 5%55. 4%7. 3%2. 7%

8、結正確數013111812946153果正確率-58. 2%59. 0%59. 7%45. 1%71. 4%60. 0%每筆報酬率-0. 3%-0. 9%-1. 6%1. 0%-2. 8%-0. 7%總報酬率-60. 8%-174. 0%-343. 4%106. 1%-58. 4%-3. 6%整體報酬-0. 7%45. 4%105. 6%270. 8%-43. 2%63. 9%99. 0%賣出類別模擬方式買入類別Feature (I)Data TypeContent性別CharacterF: Female; M: Male婚姻狀況CharacterY: Married; N: Single:

9、U: Unknown子女數目IntegerRange: 1.8年齡IntegerRange: 1.70職業別ListRange: 1.10郵遞區號IntegerThree-digits zip code儲蓄率IntegerRange: 1.27購買潛力購買潛力 (predicted outcome)CharacterY: Yes; N: No客戶購買案例特色客戶購買案例特色0.770.650.50.440%10%20%30%40%50%60%70%80%90%100%Learning RateTesting RateGA-CBRRegression類別性別婚姻狀況 子女數目 年紀職業別郵遞區號

10、 儲蓄率A女Y140354027B男N464754027最具購買最具購買潛力客戶潛力客戶C男Y452257026類別性別婚姻狀況 子女數目 年紀職業別郵遞區號 儲蓄率D女Y358212019E男N460212019最不具購最不具購買潛力客買潛力客戶戶F女N455665023 最具最具（最不具）購買潛力客戶案例組合（最不具）購買潛力客戶案例組合提升提升Direct Mail回函率回函率寄出信函数（寄出成本）寄出信函数（寄出成本）回函数回函数节省节省目标营销大众营销预定目标预定目标Selected Data for Customer SegmentationAttribute Logical Da

11、ta Type Values RepresentationAge Continuous numeric 18-74 Scaled(0.0 to 1.0)Sex Categorical Male, Female, 1, 0, 0.5 UnknownMarital Status Categorical Single, Married, 1, 0, 0.5 Divorced, UnknownHomeowner Categorical Yes, No, Unknown 1, 0, 0.5Sporting Goods ($) Continuous numeric $0 to $1500 Scaled(0

12、.0 to 1.0)Exercise Equipment ($) Continuous numeric $0 to $2500 Scaled(0.0 to 1.0)Home Appliances ($) Continuous numeric $0 to $5000 Scaled(0.0 to 1.0)Electronics/Music ($) Continuous numeric $0 to $2500 Scaled(0.0 to 1.0)Furniture ($) Continuous numeric $0 to $5000 Scaled(0.0 to 1.0)Total Amount($)

13、 Continuous numeric $0 to $15000 Scaled(0.0 to 1.0)Segment 1 (Age 43)(42.8%)Segment 2 (Age 42)(24.8%)Segment 3 (Age 52)(20.4%)Segment 4 (Age 26)(11.9%)Market SegmentationSegment size, average ageFigure 9.3 Segmentation Results: Segment Size and Average Age Sport Exercise Appliance Entertainment Furn

14、iturepopulationSegment3Segmnet1Segmenet4Segment2Target CategoriesAvg$spent300020002500150010005000Market Segment AnalysisSegments v.s. PopulationFigure 9.4 Market Segmentation AnalysisSafeway 案例 面临之挑战面临之挑战 8 million transaction data/week (4 T MB) 500家店面与600万客户 市场竞争激烈，传统手法技术式微 （如更低价位，更多据点，多类产品） 新的竞争关

15、键焦点：掌握客户需要-哪类客户买哪些商品以及购买频率Market Basket Analysis (菜篮分析）菜篮分析）CokeMilkJuiceEggCokeMilkJuiceEggEggJuiceMilkCoke其它相关应用其它相关应用 发掘背部手术成败关键因素 磁砖颜色配比决策辅助 旋窑燃烧最佳化控制 研磨机钢球配比及置放址决策辅助 电子能量、功率、废气流量、氨气流量组合对氮氧化物及硫氧化物去除效率之模式发展 污染排放量预测模式（DECADES MODEL） 燃烧炉中NG、LPG、与正常空气之配比对燃烧效率及其它有害气体之排放程度之影响其它相关应用其它相关应用(续) 发掘共同基金潜在客户

16、 银行活期存款账户流失率估计 相关产品群组设计（cross-selling） 预测油田生产量 海上石油外溢对生态破坏影响之估计 飞机结构负载医疗案例医疗案例 DISXPERT - 残障职业转介专家系统 区别分析寻找分类要因 数据学习以萃取分类规则 整合专家规则与萃取分类规则 延伸应用 客户分类医疗保险医疗保险FAMS的的 功功 能能 侦测侦测 ( Detection )( Detection )利用fuzzy modeling和统计技术来分析群组的行为，针对每个医疗服务提供者评定分数，以反应其遍离行为标准的程度 调查调查 ( Investigation )( Investigation )分析

17、提供者的分数和详细的赔偿数据 解决解决 ( Settlement )( Settlement )详细分析群组行为和赔偿的报告和图表。报告可以用来协商、解决问题和检举不法之事 预防预防 ( Prevention )( Prevention )支持提供者的监视和提供新的工具来评估和教育他们，改善提供者的行为，以防止医疗诈欺和滥用，减低保险公司的损失FAMS的特性的特性利用案例数据的“retrospective analysis”，分析帐目和医疗提供者的医疗工作，以找出有嫌疑的提供者依据医疗专业和地理位置来定义群组例如，你可以着重于Los Angeles的经神科、Hartford的皮肤科、大都会地区

18、的紧急救护服务建置数据剖析应注意事项建置数据剖析应注意事项 在规画Data Warehouse时即应与所需Mining之目标结合 配合数据处理情况 Data Warehouse - Data Marts - Cube 选择软硬件发展平台 分期或分步骤并以渐进式方法开发 80%心力需投入于Data Preparation步骤 常见之主机平台包括：IBM/390, HP9000, IBM RS-6000, SUN, UNISYS可能遭遇问题之影响因素可能遭遇问题之影响因素 企业教育训练之不足 不适当之支持工具 数据之无效性 资料样型（patterns）太多 多变与时间性数据 复杂之数据型态 没有现

19、成之模式可立即使用 数据质量 资料可取得性 专家意见Web/WAP Mining Dynamic product catalog Dynamic banner Dynamic content Tailored mailing listData Mining for CRM/Churn Management Defector identification Campaign promotion Marketing resource allocation Risk assessment & fraud detection Royal customer identificationData Prepr

20、ocessingMachine LearningMarket CampaignTargetMessageCampaignTimingControlMessage OrderMissing values &Data transformationLearning methods/techniquesselection & Implementation Scheduling & OptimizationResearch Focus圖 一. 研究架構321Business Intelligence in Electronic Commerce建议与结论建议与结论以信息科技为主轴之经营管理数据之保存、管

21、理与运用为致胜关键善用商业智慧工具以有效解决问题案例（一）案例（一）建物抵押贷款申请评估建物抵押贷款申请评估 说明说明：评估模式针对五个输入变项值给予综合评定 分数-1).建造的施工质量、 2).建筑物的位置、 3).申贷人的资产、 4).申贷人的收入、 5).利 息支付情况。各个项目的评分范围从0分到 100分。 可使用之技术可使用之技术：基因算法、决策树、类神经 网络、基因规划法计分模式结构计分模式结构案例（二）案例（二） DM寄送对象评分寄送对象评分 说明说明：评估模式针对六个输入变项值给予综合评定 分数 - 1).盈余、2).住家地理位置、 3).房地产 总值、 4).年龄、 5).小

22、孩个数、 6).是否结婚。 可使用之技术可使用之技术：基因算法、决策树、类神经 网络、基因规划法计分模式结构计分模式结构TABLE 11.1 Selected Data for Customer Ranking Application Attribute Logical data type Values RepresentationYears in business Continuous numeric 1-15 Scaled(0.0 to 1.0)Number of employees Continuous numeric 1 to 100 Scaled(0.0 to 1.0)Type of

23、 business Categorical Manufacturing, One-of-N code Service, Retail, NonprofitRevenue Continuous numeric $0 to $4,000,000 Scaled(0.0 to 1.0)Ave. Number of orders Continuous numeric 1 to 80 Scaled(0.0 to 1.0)Ave. Revenue per order Continuous numeric $6 to 250 Scaled (0.0 to 1.0)Ave. Profit per order C

24、ontinuous numeric $1 to $50 Scaled(0.0 to 1.0)Goodness Continuous numeric 6 to 2600 One-of-N code窑烧最佳稳定控制结果窑烧最佳稳定控制结果x1x2x3x4x5资料挖掘技术与发展资料挖掘技术与发展输入依误差调整权重真实值预测值监督式学习架构类神经网络类神经网络- -监督式学习监督式学习输入调整优胜单元至输入层之权重竞争优胜单元输出非监督式学习架构类神经网络类神经网络- -非监督式学习非监督式学习模糊化部分模糊推論部分模糊推論部分規則庫/ 資料庫規則庫/ 資料庫受控系統受控系統輸入輸出模糊運算單元解模糊

25、化模糊邏輯系統基本架構圖A1A2B2B1模糊化解模糊化模糊推論變數A變數B規則1規則2模糊推論與解模糊化I. 模糊化之歸屬函數 N:低 Z : 中 P :高 技術指標NZP6 日 RSI103020508070906 日 股價B I AS-12-2-4042126 日 成交量B I A S-12-2-404212II. 規則庫+1:Buy 0:Hold -1:Sell規則123456789101112131415161718RSI111111111222222222假如股價B I AS111222333111222333成交量B I A S123123123123123123則0-100-10

26、-10000-1000001規則權重763170401457724982516528558670481919買賣臨界值買 0.77賣 0 then x := (x+6)*(y-5)else y := x-y+1;end if;X0-*IF-THEN-ELSE+-X+Y1SET-XSET-YX65YProcessProcess*+5yx+*+y3+x6y(x*y)+(3+(y+6)(x+y)*5皌玡*5+*yx(x*y)+(x+y)(3+(y+6)*5+3+6y+yx皌交交配配運運算算原始資料規則庫規則評估解模糊化模糊輸出模糊邏輯輸入滿足目標條件解碼GP機制歸屬函數資料前處理Fuzzy機制模糊化

27、規則強度推論解模糊化方法技術指標轉換規則權重再生交配突變編 碼適合度評估是否系統輸出系統輸出GP-Fuzzy基因规划-模糊系统PresentationRetrievalAdaptationValidationUpdateCase Base案例推理流程案例推理流程If Time_band =2.5 yearsand Time_employed =1.5 yearwhile reject is only 3.2% likely.A total of 63 cases fit this profile,61 accepts and 2 rejects. 决策树决策树过去相关过去相关RD经历经历 民营

28、单位计划民营单位计划 因特网客户购买行为分析暨预测（安瑟在线），2000 网页浏览使用行为分析（发现者国际公司），2000 大哥大门号转换与客户流失分析(自行研究)，2000 网际广告暨电视广告采买组合决策辅助系统(润利公司)，1999 消费者对化妆品之品牌选择模式建构与分析（资生堂、佳丽宝与香奈儿），1999 ISP客户使用意愿分析因果预测模式建构(自行研究)，1999 信用卡持卡人延滞缴款预测模式研究（某国内金融机构）,1999 信用卡签帐金额预测（某金融单位），1999 保险产品与客户选择分析辅助系统（某保险经济人公司），1999 医院洗肾中心护理人员排班辅助系统(长庚医院)，1998 船席调配作业专家决策系统(基隆港务局)，1998过去相关过去相关RD经历经历(续）续） 公营单位公营单位 基因工程算法则应用于飞机结构负载历程之分析， 航发中心，NSC 89-2623-D-155 -005，1999/7/12000/6/31 动态基因规划， 国科会， NSC 89-2416-H-155 -015，1999/8/12000/7/31 建立区域整体资源规划数据库先期研究，台湾电力综合研究所，T