OLA和数据挖掘技术在QAD产品审计中的应用与

OLAP和数据挖掘技术在QAD产品审计中的应用与研究摘要随着时代的发展，如今的企业已大多进入了“无纸化”的办公时代。原有的手工信息输入与分析已无法适应如今日益增多的信息数据。可以说，企业每天都面临着大量的商业信息，而如何利用、分析好这些数据从而为企业的发展提供指导就显得尤其重要。对于QAD公司而言，它是一家专门为制造业提供企业解决方案的软件供应商，它在全球范围内的九十多个国家拥有超过六千多个客户。每一年，它都会对每个客户使用公司软件产品的情况进行审计。在每个客户审计的过程中，自然会产生大量的数据。对于公司而言，所有客户的审计数据将是百万级的。面对如此庞大的数据，如何从这些数据中获取公司所需的信息，分析出审计的结果，并得出一定的指导性结论就显得尤其重要。为此，本文提出了一种基于联机分析处理（OLAP）和数据挖掘技术的审计信息分析的设计。OLAP和数据挖掘技术是近年来数据库领域和人工智能领域研究的热点，它通过对大量数据进行分析和处理，得到隐含在这些数据背后有用的信息和知识。本项目实现了基于SQLServer2023分析服务（SSAS）在审计信息立方体之上的OLAP多维数据分析和MDX多维数据查询，并利用决策树、神经网络等数据挖掘算法对审计信息数据进行挖掘，得出有用的知识。为实现上述目标，首先需要决定存储分析后的审计信息的数据库版本与类型以及最终生成审计结果报表所需使用的报表生成工具。为此，针对数据库的选择提出了以下几种可行的解决方案：Progress数据库、MySQL数据库、Access数据库和SQLServer数据库。根据实际需求，分别比较了以上四种数据库的优缺点，最终权衡之后选择了SQLServer数据库作为本项目的关系数据库服务器。同样，针对报表生成工具，也提出了以下几种可行的解决方案：QAD公司自己实现的报表生成框架、微软的Access工具和微软的Excel工具。分析了以上几种工具使用的便捷性以及代价考虑，最终选择了大家比较常用且比较轻量型的Excel作为我们最终的报表生成工具。在选定了数据库和报表生成工具的解决方案之后，便要对历史审计数据进行一定的整理、分析以及数据提取和存储工作。审计数据是由公司产品所提供的功能菜单运行后自动生成的，客户在对这些多种多样的报表整理时，可能根据自身的习惯进行不同的打包方式。因此公司从客户手上得到的审计数据结构则是复杂繁多的，没有一定的规律性可循，这对我们进行历史审计信息的提取造成了一定的困难与阻碍。经过对历史审计数据的详细分析之后，找到了所需要的两个审计文件：应用使用详细报告和许可权使用情况报告。其他诸如数据库使用报告等日志文件目前对我们来说并没有太大的意义。因此我们的目标只是在每个客户的审计数据文件夹下找到这两个文件，分析提取数据，并存入数据库中。在实践中，发现如果不对历史数据进行处理，直接运行数据分析提取程序，则效率十分低下。究其原因是因为程序每次都需要遍历每个文件来确认该文件是否为所需的那两个报告文件，因此要花费大量的时间。为解决这一问题，就需要在程序之上再加上一层数据预处理的程序，即将不需要的历史数据文件过滤，按照原有的目录结构，只留下所需的那两个文件。这样，在数据预处理的基础上，程序运行的效率将大大提高。解决了这一问题之后，便是要将分析出的数据存入数据库中。根据历史审计数据信息及相关的外部数据信息，按照需求，共设计了六张数据表。该数据库将为后面的OLAP提供高效的数据源。有了关系数据库源，便可利用SSAS对审计数据进行维度建模。本文重点论述了审计信息数据的概念模型设计和逻辑模型设计，包括度量、维度和粒度的设计，事实表和维表的设计，同时采用了雪花模型构造了逻辑视图，最终生成了审计信息的多维立方体，供最终生成审计结果报表和数据挖掘提供了多维数据源，完成了OLAP在QAD产品审计中的应用。在生成审计结果报表时，使用Excel中的透视表，建立数据库连接，选择建立的多维数据源，便可读取多维数据中的内容。为了方便客户审阅，特别定义了十多个报表模板，可供客户选择，基本涵盖了所有的审计结果，且客户可以自主选择想要查看的内容，对数据进行一定的钻取等，十分方便。最后，便是使用数据挖掘技术对审计数据进行一定的挖掘任务研究。传统的数据挖掘过程往往基于关系数据库。本文探讨了基于OLAP的数据挖掘技术在产品审计中的应用，分别使用了决策树算法和神经网络算法对同一个挖掘模型进行了挖掘，并利用提升图比较了两个算法的挖掘准确性。本文所建立的挖掘模型为分析客户选择QAD公司不同产品类型组合的因素，意在发现一个行业领域内使用QAD公司产品组合的最佳实践，为不同的客户在选择公司产品组合时提供一定的建议。由于时间及精力的有限，只是粗略探索了数据挖掘在公司审计中应用的可能性。相信可以利用该技术挖掘出更多对公司经营决策有指导性意义的知识。本文的研究和结果表明，OLAP和数据挖掘技术在QAD公司产品审计中的应用是可行的，而且是便捷高效的。它不仅从企业管理的角度为公司决策层与销售人员提供了更为智能的分析方法和途径，还为审计分析人员提供了新的手段和视角，来挖掘出更多数据背后隐藏的有用的知识。关键词：数据挖掘，OLAP，多维数据分析，SQLServer2023分析服务，产品审计帖TH租E梨AP知PL项IC蕉AT窃IO走N声AN横D肠RE玩SE袜AR乌CH洁O搁F富OL阻AP慨A逐ND羡D捏AT湖A场MI妙NI棕NG舒T胖EC蜜HN捏OL躬OG仅Y咱IN扎辛QA设D赌PR轻OD节UC约T串AU缘DI涉T仗A研BS障TR巡AC崖T侨Wi棍th梨耻th斩e嚼de扶ve哨lo娘pm系en射t畏of扎报th婆e减so畏ci制et艰y阅,触sc狼ie还nc杯e惜an傅d春te备ch考no驱lo悬gy祝,赔mo档st蒜o伞f帅th核e邪en烈te鼠rp顶ri庄se柄s谊ha唱ve光n蜡ow滚e里nt纺er奴ed厉t宽he沙p杏ap暴er紫le自ss钢o夏ff犯ic赚e摸ti减me灾.汗Th杀e因or烛ig赞in硬al蚂m侵an阻ua齐l赖in访pu芝t摔an陈d不an拜al从ys伤is挂c割ou糟ld惨n上’街t斗de侧al倘w乐it许h信th币e烟in践cr躬ea按si蕉ng狗i忧nf哄or陡ma截ti烛on牛a还nd揉d隔at恰a写an控y沉mo孟re韵.爸Ev仪er智y笔da外y,仆e返nt佣er巨pr怪is霉es赤a汇re潜f蹄ac荒ed沸w梨it敬h削lo户ts循o馒f跌bu知si汇ne蒸ss拍i高nf烟or狮ma虫ti做on曲,倒an裁d东be鹊a请wa肌re绪o炸f供kn裙ow挪炉ho卖w高to杀u多se敢t收he贯se尖d仆at干a榆to愁哑an绳al拒ys太is暂,单to兵p单ro倦vi拼de啊g尘ui爱da全nc摧e址fo秩r册de番ve最lo推pm窜en碍t布of斩降th文e超en诵te枕rp套ri壳se暮i匙s五es捡pe肤ci凭al拿ly寻i病mp压or围ta戒nt唱.奖晕Fo智r膛QA壁D哗wh恋ic块h敬is速a俭s枪of监tw卷ar诚e柴su粮pp派li碎er流c玩om悔pa严ny赞w跟ho阳p印ro馅vi今de损s狂so卧lu买ti剧on惕s谢to烧s请pe田ci驰al困iz洲ed都m豪an工uf茫ac桂tu竖ri易ng连e坏nt炕er核pr泽is金es余,垫ha柏s胸mo打re探t锤ha绩n贤6,姿00鬼0雄mu产lt睡ip期le滋c礼li漫en茫ts扒w梢it稳hi娱n经90食c位ou椅nt秧ri锁es僚w辉or裕ld警wi摄de躬.倘Ev罚er搜y王ye悔ar责,杠al俗l钱cl玻ie靠nt强s财’薯u今si邪ng孙s始of法tw极ar愈e未pr凳od郑uc叨ts垄c阳on鞭di搏ti芝on滴s悼wi厅ll场b淡e锦au足di页te锤d哄by貌t筝he着c欣om叠pa软ny权.稍In景e辜ve需ry棒c淹us蜂to情me购r牧au刃di迁t觉pr确oc延es现s,垄l筋ar碗ge尽a采mo棋un谢ts愿o纠f扶da屿ta奶w疾il线l纸be诞p呈ro舅du霜ce则d.企F哑or密Q倚AD坊,胞th总e领nu全mb别er仔o臭f仆al胡l众cu著st披om础er子s喇’鞋a蔬ud享it济d呢at饥a每ga廉th丛er汗ed泪t留og沸et她he喜r将wi律ll导b逼e放mi耻ll赏io督ns狱.淘Fa独ci找ng数s抱uc浅h峰la烛rg疫e底nu肾mb漏er糠s体of策d乞at叠a,写i疫t牛is绿e惰sp有ec钉ia叔ll秋y用im遮po旱rt洋an访t忌to遥k念no暑w争ho讯w似to干g秩et扭t肌he削i冠nf药or吉ma勺ti眠on朴t犬he端c援om印pa绩ny煎n觉ee培d,顶t劝o拉an叉al阔ys循is臂t察he锋a以ud三it鹊r嫩es内ul裙ts嗓,笑an践d宽so征me奥g换ui泼da奥nc皮e绳co双nc迷lu页si司on蔬s贫f消ro母m吐th川is罪h芦ug开e曾an编d帜me屯ss浊y羡da银ta腰.希Th胞er兰ef钉or求e,该t朗hi血s恒pa陶pe衫r戴pr魂op音os摇ed芒a畜m眨ul唱ti须-d邻im丑en票si泪on饰al挽a派na屈ly圣si蝶s锦of刻Q军AD丑p镜ro洪du馋ct妇a牛ud琴it暮in串g吩de唇si亮gn跪b及as失ed鼻o塌n扫OL懒AP策a痕nd残d助at仁a貌mi故ni犹ng关t恭ec性hn确ol身og精y.蒙O楚LA缺P椒an糖d提da标ta阀m来in庸in改g望te析ch隔no登lo悠gy才炸ha液ve团b杯ec勾om弊in格g青锅a潜re香se沃ar舌ch缴h孩ot抬s塌po船t幕of锄d疑at采ab督as机e吗an惑d胀th阔e果fi鹿e居ld堪o尝f痒ar郊ti画fi逐ci裂al桥i得nt宗el犁li帜ge疲nc桥e屑du五ri老ng臣r乎ec左en肝t称ye字ar竟s.箩I叨t着th地ro座ug旁h亏th匹e伞la钻rg旧e墨da产ta讨a排na隶ly稳si警s哑an耀d课pr纳oc踩es雷si卵ng届,巨im粪pl贫ic辟at巨es裙u练se聚fu盾l天in己fo笨rm挨at孙io治n斧an陵d致kn茫ow趣le某dg年e黎be虾hi雕nd迟t查he俯se浙d线at讯a.谎T富hi走s割pr怜oj泽ec谢t纤re洁al群iz脂ed但O部LA溪P塞mu启lt裹i-值di担me盖ns巧io息na边l病da输ta园a遇na惧ly更si侦s析an窃d绸MD袜X榴mu倡lt睬i-朽di车me辅ns怖io容na北l允d叹at元a纪qu饭er够y济on曾t踩he那b访as揉is恳o树f四SQ糊L拾Se加rv秀er碎A钳na熟ly笛si忘s嫂Se壮rv留ic粪e绸20都08急i腐n窜t启he哲a欲ud惰it基i璃nf口or立ma糕ti忌on伸c从ub饶e,他a帐nd堂a腹ch唉ie址ve垄d盾au佳di高t税in蒸fo新rm州at鹿io症n等da但ta胡m来in沈in绿g银us雄in墓g氏de披ci恩si季on膨t蚊re总es当a清nd呢乖th皆e挽ne湿ur糊al旬n过et丑wo没rk弯d救at旋a辰mi特ni盼ng镇a塞lg确or字it秀hm故f倦or创a皆ud挂it闭i疯nf皱or驾ma蜘ti披on绑t逢o届dr态aw司u援se伙fu吴l驾kn袄ow扮le林dg黎e坡f钟or勉t老he下c泪om叛pa搞ny堂.骡To成a桥ch浑ie平ve炸t单hi绳s绞g喜oa楼l,跑w抬e瓜fi丰rs具t牺ne疑ed糊t仁o兆de觉ci紫de刺t产he衣d盈at自ab写as公e愈ve问rs样io槐n荷an彼d送ty筛pe兔t乘o物ch备oo纤se靠,吼wh菊ic扔h叫is墙u栗se临d扮to拣s架to缝re养t亮he司齿au耍di至t插in舌fo趁rm猫at对io牲n底af齐te疑r凳th叶e吗an汪al致ys占is击a纲nd茧w浇hi拳ch救r竭ep伶or答ti倡ng君f旧ra伸me婶wo纵rk临t廉oo恨ls慈t德o临ch邻oo岔se匙t声o甜ge椅ne屡ra骗te灶f惰in债al恋a杀ud判it痛r莫es围ul与t手re康po徐rt水.露Th奥er笼ef尼or箱e,联s掌ev败er瞧al粱f克ea旷si软bl死e屯so葬lu浙ti鹿on谈s筹of魂d倡at母ab掌as委es假叹ba伴se体d类on蛙d迅em移an倒d泪we庸re士p贩ut庭f弯or鹿wa夺rd查.廊Th姑ey恰a上re慕P裙ro律gr洒es惰s膀da枕ta浮ba沾se姨,做My畏SQ咽L宏da炸ta俘ba拾se座,悟Ac棵ce味ss文d暗at弃ab闯as捐e晓an声d逃SQ厅L屑Se狡rv疏er观d征at敞ab婚as燕e.玻填Ac侮co餐rd栏in特g闷t说o仔ac孕tu靠al剖n炭ee河ds演,肤an进d灾af席te伴r追co迎mp森ar惰in翁g碎ea自ch亏a专dv捆an沾ta卸ge尖s膜an斤d虑di众sa统dv态an狡ta扁ge掠s嫂of采t书he匠a酱bo溉ve怨f督ou期r棚da弃ta滚ba滤se咽s巷er调ve浓rs铺,扣th善e李SQ寨L修se夫rv惹er欣d县at荒ab利as缴e帅wa遭s似ch炒os谜en杏a逃s似th剧e汪re尊la兵ti急on福al狡d愿at忍ab泛as欠e孟se诱rv屈er驾f崖in丘al啊ly笑.捕Si迟mi珠la老rl厕y朽,沉fo萌r赏re舒po弄rt超in俗g乎to兄ol芦s,费t恨he拥f语ol皮lo夏wi旧ng熊f钓ea晶si乳bl角e堤so崇lu螺ti氧on差s麻we鸭re吹a溜ls滋o季pu荷t丑fo叉rw兰ar嚷d:吹Q海AD强r智ep惩or讽ti至ng票f戚ra朽me轮wo企rk陡r轻ea墨li梨ze略d轰by唱t粮he街c相om肃pa欧ny滩,谨Mi录cr菌os否of井t弱Ac厘ce绩ss脂t泥oo拉l狮an他d倡Mi虾cr钳os锅of扒t撒Ex且ce俊l迁to抵ol逆s.铃蚊Ex馅ce咱l想wa爹s宵ch雕os昌en滚挎as展渗th叙e堪r布ep姐or弱ti啦ng雄t钞oo拥l纵帅fi许na隆ll挖y幼be闸ca雀us铺e奋瓜mo项st淹o厨f淡th腥e终us柜er好s筐ar渣e炊ve票ry谊f图am钉il灯ia欧r葵wi纯th俘i宜t糊an虏d胁it界i例s初po篇we献rf辈ul字附fo轨r刺g皮en颈er槽at询in远g糕v弄ar弄io南us娘r聋ep架or艳ts为t泻ho凝ug论h腿it永i咳s经ve娃ry盾l旋ig行ht包we怕ig突ht油.Afterfinished没se恨le遣ct坛io变n捕of抛d详at扮ab疮as伴e基an格d欢re号po盲rt愈g锦en猴er悬at怒i扛on尊t略oo塌l,授t含he想n扒ex节t喉st郊ep笨w益as腿t辣o情de麻al刘w房it寄h贵th松e棵au耳di爷t稍da干ta邪.乓We仪n桂ee凡d厌to晨s衣or冒t途ou骡t,捉a霜na薄ly煌si姻s际an昏d墓ex庙tr纤ac坑t架da糕ta耍a滋nd慌但fi尿na附ll枝y景ma私ke我t湾he膝s舰e穴u厨se都fu仅l乐in乔fo阻rm梨at旅io针n唇be竟s脊to丘re咸d遵in功d秃at蹄ab老as笛e掘c践or啦re深ct言ly胳.馒Au悄di赤t连da绝ta浆i论s忽au瑞to蛮ma砌ti树c导ge继ne桶ra朱te桨d冠by口u热si竭ng役t枯he显p重ro废du鸭ct牌俩fu疾nc郑ti食on贺m些en避u.波C喊us傻to页me淋r扯wi元ll脖w弦or室k惊on使t盘he洞se米v玻ar训io钉us渣r燃ep慕or古ts义a芝cc救or征di泄ng怪t耻o吧th与ei技r捞ow卷n克ha杰bi可t涉of伯d泻if榴fe产re送nt钢p射ac印ka磨gi志ng摧.赤So消t狱he趋c愿om肺pa凉ny夸o镇bt逼ai下ne徒d漏fr叠om蔬t尤he侦c背us虚to逮me乐r海on绪t堪he晌a溜ud尾it崖d帆at生a炭st爸ru车ct具ur贴e戏is少c格om水pl汇ex霜r经an悉ge怖,支no及c集er骂ta医in脊r唯eg莫ul呢ar财it役y,堂t鼓hi祖s贤to踢o拜ur爱h载is教to妇ri车ca浆l随au胁di池t袖in央fo月rm玉at个io岩n昌ex笔tr纸ac瞒ti勤on雄h杰as偷c裁au授se治d读so奶me暗d胁if袭fi谅cu兄lt全ie爆s喇an叮d区ob构st膝ac能le龟s逝.畅Th哈ro佛ug搅h酷an欣al挨yz县in呀g天th仆e涨hi躬st制or塔ic苍al物d鸭at驻a宽af维te元r盏de纽ta愤il鼻ed粗a辣na蓝ly勇si篮s源of拼a稿ud叨it恰,境we辜f近ou祖nd染刚ou船t丽th废at丈蝇on浓ly已t舅wo意k谱in逝ds袋o洲f括re开po庆rt姻a并re赚n加ee享de懂d,但i项nc宴lu神di誉ng植孕Ap伴pl宪ic川at欣io即n殃De配ta怎il备U出sa诸ge公P财ro迷fi两le述R必ep胆or燥t者a区nd反锈Li姨ce摘ns巷ed安A然pp微li底ca冈ti戏on刊R毕ep录or刘t.聚馋Ot反he驼r码fi巡le眠s翼su虾ch厅a屡s伐da叫ta择ba引se恶l它og粥f利il掠es停a蜡re级n码ot滔s膏o桶im鞭po半rt劣an龙t冬to培u顶s祥fo行r仗no乐w.杀S判o猫ou总r界go幼al晴i们s隐to核f服in夹d奋ou成t来th必es信e恶t镰wo存f烂il狡es看i苦n疫ea踢ch早c效us吹to谣me慕r挤au偷di带t戴da复ta晴f坊ol律de阳r界an练d拴to池顶an躬al鸟ys孝is望,歉e行xt真ra积ct智d祝at肉a葱fr养om惧t澡he责se免音tw观o搂fi唯le续s拾an昌d膨st介or被e伙th圆e翠ex占tr案ac岔te摆d肝in漫fo栏rm嘉at援io分n掘in乒d咽at意ab卧as显e.愉I躲n谁pr帽ac该ti胆ce让,栋we冲解fo手un验d烟th蛇at批i肚f揭we快r赵un秒d帐at帜a疼pr递oc丝es萄si友ng纲p克ro舅ce涂du响re冈d颂ir窑ec错tl绍y侨in杏st疮ea乔d施of扮p静re逗-p耻ro唤ce喂ss畅in酷g斤th匠e质hi佩st立or原ic博al闪d刘at海a不fi位rs磨t,京t喘he途n私th针e狭da赶ta宇p策ro孟ce街ss碌in具g瞎pr泊oc寄ed诉ur欧e户’捆s违ef辛fi枯ci议en牢cy锤i伴s带ve躬ry守l悄ow枕.云Th跪e负re抹as刺on暗i蕉t勤th膀at芝e拉ve础ry骨t祥im避e摇th坟e欲pr垂oc纺ed图ur泛e摇is捞r刑un遵,压it买n牧ee俘d表to轨子tr努av济er构sa稀l脆e虹ve朗ry悟f隶il蓄e击i缓n捡th占e屈ap叼po狸in槽te漏d披fo娘ld瓶er绕s走t鞠o趣se奥e恼wh铁et冷he暂r讽th名is舟f统il仪e去is钢u朵se读fu梢l蹈fo及r隙us术o娃r击no厨t展,程th烘at完i脉s奉to闯s雹ay爹t河he层p蛛ro尖ce忠du瓶re驻w跃il夺l炒op唐en概e甩ac煎h冷fi呈le某t资o勤se饼e池wh倦et灿he液r箭th漠is财f银il促e抬is壶t锈he姑江Ap膝pl趋ic怕at召io析n屡De类ta中il萄U愧sa稀ge悼P赶ro未fi岸le裂R愧ep腹or臂t词a策nd侍扒Li扯ce秀ns梅ed矩A靠pp添li童ca盯ti荒on称R扇ep稿or站t比or泛n浇ot缎,筐th干us翻a虎l靠ot孝o顾f渠ti陶me盯i乓s奥sp伸en化t.肆算To泻s垫ol郑ve雷t械hi枕s贝pr掏ob安le搜m,潮i血t短ne冈ed屯t爆o唯pl吹us枕a袜l译ay胃er悦o悟f耗da灯ta灵p葡re饶tr驶ea扭tm桂en粪t喜pr预oc玉es间s时be鸟fo则re袍t宋he善a俱bo跪ve伏p膊ro薄ce乡ss恳in吧g咬pr徐oc捷ed梳ur叨es胞.授Th尼at掌i矩s雀to赞s马ay兔,屡af抵te旋r山ru乌nn袍in稼g痕th躺e转da蹲ta统p会re雨tr娱ea雕tm裂en咽t看pr茧oc秘es姓s朱,胞so掀me发h蕉is纤to湿ri圣ca尸l汪au备di厨t均fi渣le叠s绳wh皇ic伤h堂ar外e六no渡t级ne插ed躬ed桨w武il爹l贿be第f你il泽te庆re未d,传粉on博ly险t痛wo诸k焰in子ds羊o奸f茎re雅po篮rt糟m贼en庙ti阶on寄ed榆a辉bo香ve纲w舌il荣l祥be葛r雷em扇ai厌ne阶d峡ac领co挨rd异in禽g饶t伍o爽th摔e蚕or腰ig祖in虫al忠d块ir完ec泽to闯ry究s望tr暮uc深tu夹re逮.伯So凝,件on僚t别he剪b杆as衔is绝o其f绑da柔ta叮p胁re旬tr煌ea页tm加en俗t,工t诵he密p怀ro青gr舍am磁w疯il鸟l股gr梦ea首tl斤y灶im害pr格ov壤e泽th穷e筐ef性fi捕ci持en层cy贯o娱f罢th扶e裹op忘er堵at驻io挡n.雅A届ft宗er粥s默ol捉vi投ng未t竹hi蛙s价pr楚ob斑le极m仿su牢cc拖es标sf耽ul匪ly架,完it孟i僻s晓ti近me傻t晌o戴de陪po源si既t勇th牢e状an按al橡yz殿ed茧d翼at蒙a乖in睁to蹲d炒at滤ab盛as绞e.巡A迅cc贼or妄di克ng燥t廊o去th龄e垂hi惯st妹or耗ic申al驻d幕at晴a艳in维fo面rm喇at刮io钞n箩an症d智re垒la完te固d社au苗di虎ti菊ng荒d捷at衬a洗in营fo皮rm押at屠io布n牌st封or湖ed付i蜓n话ex悦te玉rn快al廊d别at饱ab弓as傻e,积i迈n跨ac厕co纲rd怎an师ce据w销it桃h哀th败e俗re斥qu蜻ir兄em灵en之t,勤a稀nd每务si扑x急ta朱bl碌es棋w皇er缴e死de熔si远gn牌ed闭.独Th柄is葡d怖at茎ab秘as签e平fi恢ll滤in哭g霉wi泛th挠a艳ud岛it睡i守nf哨or焰ma本ti圾on柴d浴at弹a旁wi它ll太p绳ro奇vi炭de刑e拣ff厨ic活ie钟nt忠d肌at买a树so旅ur拨ce扭f案or会O墙LA狱P催m炼en淘ti响on肃ed择b夸el额ow父.Sincewealreadyhavearelationaldatabasesourcenow,wecanuseSQLServerAnalysisServicetobuilddimensionalmodelingforauditdata.Thispaperdetaileddiscussestheconceptofauditdatamodeldesignandlogicalmodeldesign,includingthemeasure,dimensionandgranularitydesign,facttableanddimensiontablesdesign,alsoadoptedthelogicstructuremodelofsnowflakes,generatingaviewoftheauditinformationandeventuallygeneratedmultidimensionalcubeofauditinformation,whichprovideamultidimensionaldatasourceforauditresultsstatementsanddatamining.SotheapplicationofOLAPinQADproductaudithasbeenbroughtintoeffect.Inordertogenerateauditresultsreport,wecanuseExcel,establishthepivottable,andchoosetobuilddatabaseconnectionofmultidimensionaldatasource.Thenwecanreadthecontentsofthemultidimensionaldata.Inordertofacilitatecustomerreview,morethantenreporttemplatesweredefined,whichcanbeprovidedforcustomertochoose,basicallycoverstheentireauditresults,alsocustomerscanchoosetohaveacheckonthecontentandthedataofdrilling,veryconvenientatall.Finally,thedataminingtechnologyshouldbeusedtodosomeminingtaskstudyonauditdata.Thetraditionaldataminingisoftenbasedonrelationaldatabase.However,inthispaper,itdetailstheapplicationofdataminingtechnologybasedonOLAPinproductaudit,usingdecisiontreesalgorithmandtheneuralnetworkalgorithmrespectivelyforthesameminingmodel,alsoaliftchartwasbuildtocomparethetwoalgorithm’sminingaccuracy.Thispaperestablishedaminingmodeltofindoutthekeyfactorswhichinfluencethecustomers’choiceofdifferenttypesofQADproductcombination,inordertofindabestpracticeforusingacombinationofproductswhichQADprovidesinaspeculaindustryfield,whichcanbeusedfordifferenttypesofcustomersinchoosingproductscombinationprovidesomesuggestions.Duetothelimitedtimeandenergyofmine,Ionlymakearoughexplorationofthepossibilityoftheapplicationofdataminingincompanyproductaudit.Accordingtotheexistingresults,itisbelievedthatthedataminingtechnologycanbeusedtoexcavatemoreguidingsignificanceofknowledgeforoperationdecisions.ThisresearchandresultsshowthattheapplicationofOLAPanddataminingtechnologyinQADproductauditisfeasibleanditishighefficientandmoreconvenientalso.Itnotonlyprovidemoreintelligentanalysisofthewaysandmeansformtheperspectiveofbusinessmanagementforcompanyadministratorsandsalespersonnel,butalsoprovidednewmeansandmethodsformtheperspectiveofauditresearchforthecompanyauditresearchers,tocreatemoreusefulknowledgehidingbehindtheauditdataforcompanydevelopment.Keywords:datamining,OnlineAnalyticalProcessing,multi-dimensionaldataanalysis,SQLServer2023AnalysisServices,productaudit

目录绪论----------------------------------------------------------------------------------------------------1QAD产品审计问题简述及分析------------------------------------------------------------------11.2研究目的与意义-------------------------------------------------------------------------------------11.3国内外研究现状-------------------------------------------------------------------------------------21.4论文研究内容--------------------------------------------------------------------------------------2解决方案比较与选定-----------------------------------------------------------------------------42.1数据库的选择----------------------------------------------------------------------------------------42.1.1Progress数据库--------------------------------------------------------------------------------4MySQL数据库--------------------------------------------------------------------------------42.1.3Access数据库----------------------------------------------------------------------------------4SQLServer数据库----------------------------------------------------------------------------42.2报表工具的选择-------------------------------------------------------------------------------------5QAD报表生成框架---------------------------------------------------------------------------5微软Access报表------------------------------------------------------------------------------5微软Excel报表-------------------------------------------------------------------------------52.3本章小结----------------------------------------------------------------------------------------5数据处理与存储---------------------------------------------------------------------------------63.1数据的分析与处理----------------------------------------------------------------------------------6历史数据结构与内容概述------------------------------------------------------------------6历史数据处理---------------------------------------------------------------------------------73.2数据的存储-------------------------------------------------------------------------------------------83.3本章小结-------------------------------------------------------------------------------------------11OLAP的应用---------------------------------------------------------------------------------124.1OLAP技术概述----------------------------------------------------------------------------------124.2维度、度量及立方体的设计----------------------------------------------------------------------12维度的设计----------------------------------------------------------------------------------12度量的设计----------------------------------------------------------------------------------13事实表和维表的设计----------------------------------------------------------------------144.3建立审计多维数据模型--------------------------------------------------------------------------154.4审计信息MDX多维查询分析-------------------------------------------------------------------174.5审计信息统计报表生成--------------------------------------------------------------------------184.6本章小结--------------------------------------------------------------------------------------------20数据挖掘的应用---------------------------------------------------------------------------------215.1数据挖掘技术概述--------------------------------------------------------------------------------215.2基于决策树算法的数据挖掘应用--------------------------------------------------------------22决策树算法的基本原理-------------------------------------------------------------------22使用决策树算法----------------------------------------------------------------------------235.3基于神经网络算法的数据挖掘应用-----------------------------------------------------------255.3.1神经网络算法的基本原理----------------------------------------------------------------255.3.2使用神经网络算法-------------------------------------------------------------------------265.4本章小结--------------------------------------------------------------------------------------------27第六章结论--------------------------------------------------------------------------------------------------286.1论文总结--------------------------------------------------------------------------------286.2展望--------------------------------------------------------------------------------28参考文献--------------------------------------------------------------------------------------------------30谢辞-------------------------------------------------------------------------------------------------------------31第一章绪论1.1QAD产品审计问题简述及分析QAD(企安达)公司是国际上著名的MRP=2\*ROMANII软件公司，它于1979年在美国加州成立，是一家专门为制造业提供企业解决方案的供应商。目前在全球范围内，已有遍布90个国家的6000个制造商企业使用了QAD的产品。随着企业规模的扩大及公司ERP软件使用客户数的增多，每年对产品使用情况作一次审计就显得非常有必要。其产品审计的作用主要表现在以下两方面：一方面，QAD的产品是通过软件许可权（License）进行收费的，客户根据自身需求可以选择记名和并发两种许可权方式，通过购买一定数量的许可权，对软件进行使用。但在实际使用过程中，为了不影响客户的日常工作，QAD允许客户有违反许可权的行为存在，比如同时使用软件的人数超过了所购买的许可权数量。为此，就十分有必要通过每年的产品审计，发现那些有违反许可权使用情况的客户，对他们进行额外的补收费，以保证公司方面的利益。另一方面，由于产品审计的数据是由客户通过产品软件的内置菜单自动生成，再由客户将这些数据打包给公司，因此产品审计这一前期的数据搜集过程是需要客户的支持的。为了激发客户的积极性使得能更好的配合审计，公司认为可以对这些产品使用数据进行一定的分析，生成相应的使用情况分析报表提供给客户，让他们明白自己在软件的使用过程中，哪些模块并未得到充分的利用等。同时公司自身的销售与执行管理层也希望通过审计的结果，了解目前产品和模块在不同领域、不同区域的客户处的使用频率与使用量，从而能更好的指导新产品的开发方向，更是希望能从中得出每个领域的最佳实践，以此来指导公司的客户更好的使用产品，使他们物尽其用，物更有所值，最终达到双赢的目的。基于以上两点，同时考虑到历史数据量的巨大性，因此公司特地建立了UCA（UserCountAudit）forMasterBundle这个项目，并希望能通过此来较好的实现这些目标，并且尽可能的高效、简单，便于操作。1.2研究目的与意义计算机科学与信息技术的飞速发展，使得人类可以借助计算机为自己解决许多问题。但随之而来，是我们每天面对的信息量不断增多扩大。在这样的大环境下，对于一个企业而言，要想保持自己在行业内的竞争优势，没有处理大量数据的能力是不行的，以往的手工数据录入、分析在海量的数据面前也是无能为力，更是低效，跟不上时代节奏的表现。于是乎，人们想到了数据库技术，它能对现实世界存在的大量数据进行有效的组织与管理。但是随着数据库应用的规模、范围和深度的不断扩大，随着数据和数据库的急剧增长，仅仅依靠数据库管理系统的查询检索机制和统计学分析方法已远远不能满足现实需要，它迫切的要求自动、智能地将待处理的数据转化为有用的信息和知识。就是在这种背景下，使得OLAP（OnlineAnalyticalProcessing）和数据挖掘（DataMining，简称DM）为了迎合这种要求而产生并迅速发展起来。使用OLAP和数据挖掘技术，对产品审计数据进行多方面的综合分析，从中可以发现对公司业务决策所需的知识，并以直观易懂的形式将分析结果展示给客户与公司管理层，为他们的决策提供了客观依据。通过对产品审计信息数据库进行数据联机分析，更可以方便的生成多种形式的报表，使软件的开发商与使用商都能快速的了解软件使用的各项统计信息。另外，通过研究本课题，经过最终结论的证明，更可以将OLAP和数据挖掘技术更多更好地应用在相类似的行业中，使本课题的研究更具有实用价值和广阔的发展前景。1.3国内外研究现状OLAP和数据挖掘技术是目前国际上数据库、数据仓库和信息决策系统领域最前沿的研究方向之一，引起了国内外众多领域科学家和工商界的广泛关注。对于这方面的应用与研究，国外比国内领先许多，这里主要以国内现状阐述为主。国内对OLAP的研究起步较晚，主要是对数据立方计算、存储，多维数据查询和物化视图等关键技术的研究，以及基于国外OLAP服务器产品的OLAP应用。国内企业对于决策分析需求大部分都是通过开发一些功能单一的专用程序来完成[1]。近些年随着国内企业信息系统的不断完善与发展和数据的持续积累，各行各业已经普遍关心数据挖掘技术的应用。国内应用数据挖掘的企业还是以通信企业（移动、联通、电信）为首，应用的深度和广度都处于领先地位，原因主要是行业竞争比较激烈、直接，另外通信业的数据质量和数量都还不错。除了通信业，国内的银行、保险、证券使用数据挖掘技术的意愿也比较强烈，这跟国际趋势相吻合，未来几年金融领域的数据分析应用一定会从传统的统计分析发展到大规模数据挖掘应用。但跟国外相比，国内零售业对数据挖掘的应用好像并不太热衷，这可能与客户信息的完整性有关，也就是说“啤酒和尿片”的故事需要再过几年才能在国内零售业发生。

我国政府部门中使用数据挖掘技术比较领先的是税务系统，国税总局对信息系统建设及数据分析应用工作也越来越重视。

随着电子商务的普及，各大商务网站已经大规模使用数据挖掘技术，并且迅速从中取得商业价值。比如，国内好多网上商城已经开始使用数据挖掘技术进行客户聚类或者商品关联推广。

另外，个人认为搜索引擎企业使用数据挖掘技术的需求也非常迫切。从技术角度讲，他们需要使用数据挖掘算法发现Web页面之间的关联与结构关系，更好的进行网页推送；从商务角度讲，各大搜索引擎需要取得更多的广告收入，需要对点击流数据进行分析，以实现最大的商业利润。虽然数据挖掘已经在移动通信、保险、证券、银行、电子商务等相关行业进行了较为成功的应用，但在企业日常业务信息系统中的应用，如产品审计信息等目前还处于起步阶段，需要更多的研究与应用。1.4论文研究内容OLAP和数据挖掘各有所长，但是也各有缺陷，而若能将二者结合起来使用，发展一种建立在OLAP基础上的，针对多维数据的数据挖掘技术，则更能适合实际的需要。本课题拟在探讨一种将OLAP与数据挖掘相结合的方法，使之能运用到QAD公司的产品审计分析中。针对以上的研究内容，本课题将提出一种基于OLAP和数据挖掘技术的软件使用信息数据的多维分析系统的设计，研究使用基于SQLServer2023分析服务（SSAS）在用户审计数据仓库之上的OLAP多维数据分析和MDX多维数据查询，并研究使用神经网络规则，决策树等数据挖掘算法及改进算法对模块及程序使用情况进行数据挖掘，得出有用的知识，从而帮助指导客户更好更高效的使用公司产品，也可使公司对现有产品有更好的了解与规划。具体的主要研究内容如下：1．利用OLAP技术和数据挖掘技术的基本理论知识、多维分析方法及数据立方体的存储结构，分析其在QAD产品审计中的具体运用。2.对历史数据进行过滤、分析、提取并存入预先定义的数据库表中。3.完成产品审计信息多维立方体的分析、设计，采用维度建模的方法建立了产品使用信息的多维立方体。4.进行产品审计数据结果的访问设计，定义Excel报表模板用于显示数据分析结果、查询等。5.对数据挖掘中决策树算法、神经网络算法等进行分析，并进行改进，利用这些算法对产品审计信息进行数据挖掘，使用SSAS的数据挖掘功能来实现并得到有用的知识。第二章解决方案比较与选定2.1数据库的选择由于已确定了使用OLAP和数据挖掘技术对QAD产品审计信息进行分析与研究，但在具体实现上仍需要有对多个可行方案进行比较选择，最终选择最为合适的解决方案，存储历史数据信息的数据库的选择就是其中之一。如下列举了几个可选的数据库方案，并依次分析它们的优点与缺点，最终按照比较的结果确定最可行的方案。2.1.1Progress数据库使用Progress的数据库的优势非常显而易见。QAD软件的基础编程语言是Progress，也就是说大部分的产品都是用Progress编写而成，其使用的也是Progress的数据库。这样一来，对于分析存储历史数据时，集成起来会相对容易些。但同时它的缺点也很明显并且对本项目来说可能是致命伤。由于Progress数据库的普及性并不高，在编程与连接数据库时会要求一定的专业知识，这可能会造成一定的潜在麻烦，并且Progress数据库可能得不到其他主流数据分析工具的支持。另外，最终是要通过数据库中的内容，生成审计结果报表来查询、了解相关结果统计信息的。在这点上，Progress数据库可能很难有效灵活地做到这点。2.1.2MySQL数据库MySQL是个开源的数据库服务器，它的优点是可以运行在多种平台，如windows，Unix/Linux；它体积很小，专为WEB数据库设计，特点是响应速度特别快，主要面向中小企业的数据库使用。同时它是真正的多用户多任务的数据库系统，它占用系统资源很少但功能却很强大，可以作为大型数据库系统使用，最重要的是其标准版是免费的。尽管作为一个免费的数据库服务器而言，使用MySQL的性价比很高。事实上QAD公司的UCATeam使用的就是MySQL的数据库，但对于本课题而言，要面对海量的数据，MySQL数据库就显得有些力不从心了。2.1.3Access数据库Access数据库是个小型数据库。在本项目中使用Access数据库最大的好处在于，它本身就提供了表生成器、查询生成器、报表设计器以及数据库向导、表向导、查询向导、窗体向导、报表向导等工具，能很方便的生成所需的审计结果报表。另外Access基于Windows操作系统下的集成开发环境，该环境继承了各种向导和生成器工具，极大地提高了开发人员的工作效率，使得建立数据库、创建表、设计用户界面、设计数据查询、报表打印等可以方便有序地进行[2]。但同时，正因为它是小型数据库，既然是小型，就有它的根本局限性。对于本项目而言，它的数据库容量实在是太小了，且性能也并不太好。如在以下情况下数据库基本上会吃不消：数据库过大，一般Access数据库达到50M左右的时候性能会急剧下降；记录数过多，一般记录数达到十万条左右的时候性能就会急剧下降；网站访问频繁，经常达到100人左右的在线。对于本项目而言，数据量是百万条的，可见Access数据库也并不合适。2.1.4SQLServer数据库SQLServer数据库是美国Microsoft公司推出的一种关系型数据库系统。它是一个可扩展的、高性能的、为分布式客户机/服务器计算所设计的数据库管理系统，实现了与WindowsNT的有机结合，提供了基于事务的企业级信息管理系统方案。对于本项目而言，使用SQLServer数据库有以下优势：由于同是微软的产品，通过Excel，很容易能够生成基于SQLServer数据库的报表，此为其一。另外，Progress的ODBC（OpenDatabaseConnectivity，开放式数据库互接）驱动可以连接到SQLServer数据库的。这点比较重要，因为QAD公司的产品MFG/PRO的eB2版本的解析器是用Progress进行编码的，所以很需要两类数据库服务器能够比较方便地进行互连，此为其二。最后，对于我们的百万条数据而言，SQLServer能够做到较高性能的支持，同时微软提供的SSAS（SQLServerAnalysisService）工具更能为我们后面进行的OLAP和数据挖掘的应用提供足够的支持与实现。由此看来，SQLServer能够较好地满足我们对数据库的要求，唯一的不足可能还是要使其与QAD的其他产品相集成可能会有些麻烦，因为大部分的QAD产品所使用的都是Progress数据库。但这并不影响我们选择SQLServer作为本课题的数据库使用。2.2报表工具的选择最终分析处理的审计结果是需要以报表的形式展现给客户和公司管理者的，因此选择一个合适的报表工具也显得尤其重要。以目前的情况看来，我们列出了三种可选的方案，以下将对这三种方案分别进行优缺点的论述，最终选择适合我们的报表工具。2.2.1QAD报表生成框架这是QAD自己开发的一个报表生成框架，可以作为Appshell的插件进行使用，并且公司员工对此框架都比较熟悉，这是它的优点之一。另外，由于该框架是QAD自己开发的，显然它也是基于Progress数据库的，这样一来在与其他产品的集成上就显得非常容易。但这个看似最优的执行方案对于本项目而言实在是过于重量级了。要想使用这个框架，用户必须安装有QAD的企业应用或标准应用。而这两个软件应用是相当大的，安装的过程也比较复杂，非常耗时，整个过程可能需要两三天。也正因为如此，这个框架不太适用于本课题的研究使用。2.2.2微软Access报表微软的Access用于生成报表十分简单，但是它的报表工具与数据库服务器是集成在一起的。由于我们先前已经选定了SQLServer作为我们的数据服务器，因此在这里选择Access报表工具就显得有些不太适当了。微软Excel报表Excel是微软办公套装软件的一个重要的组成部分，几乎所有的Windows平台的操作电脑上都会安装有Excel，它可以进行各种数据的处理、统计分析和辅助决策操作，广泛地应用于管理、统计财经、金融等众多领域。Excel被人熟知，使用起来也较为方便，更可以生成多种样式的表格图表等，可以说是一个强大的数据后期分析工具，且比较轻便。因此我们最终选择Excel作为我们后期的报表生成工具。2.3本章小结本章先后分析了数据库服务器和报表工具的可行方案，最终确定选择了SQLServer数据库服务器和微软的Excel报表工具。主要原因在于：SQLServer能够很容易的应用Excel生成报表，并且许多客户都对Excel非常熟悉，使用起来会比较容易。同时SQLServer也有能力处理百万级的数据，并能利用工具通过Progress代码来访问SQLServer数据库服务器。另外，利用SSAS也能较为方便地使用OLAP和数据挖掘技术。第三章数据处理与存储3.1数据的分析与处理虽然历史数据是由程序自动生成的，但在具体的打包处理操作上则是由人手工完成的。并且这些历史数据来源于各个不同地域不同行业的公司，最终导致历史数据的结构比较杂乱，需要经过一定的分析与处理，最后将有用的数据提取，存入数据库中。历史数据结构与内容概述正如上面所说的，历史数据十分杂乱，且目录层次多，包含的压缩包层次也多，处理起来着实让人头痛，下面几部分将仔细介绍处理方式，这里就先不赘述了。主要的数据文件结构是这样的：最外层是年份名命名的文件夹，比如2023。在这个文件夹下面是一堆以客户的8位ID进行命名的文件夹，比如00000783。在每个用户的文件夹下，又有按照审计日期命名的文件夹，比如Aug-20。在这些日期下存放着审计的大量信息，结构虽然千变万化，但大致的内容却大致相同，主要如下图所示：图3-1历史数据内容结构图如图3-1所示，所有的审计数据主要包括两部分内容：审计信息和客户信息，其中客户信息按照客户ID在QAD的Notes数据库中进行匹配并将相关数据存入数据库中。而审计信息包括以下四部分内容：日志（Log）：主要是QAD产品MFG/PRO的Progress系统操作记录文件，记录了用户在服务器上的操作，如登录/登出等。审计程序生成报告（Reportgeneratedbyauditprograms）：这些审计报告是由MFG/PRO里的菜单程序运行而生成的，比如违反许可权报告，供应链报告等。数据库表信息（DBTables）：这些是从MFG/PRO中备份出来的数据库表信息及数据库表的具体内容等。基本信息（BasicInformation）：这些文件包含客户使用MFG/PRO的具体信息，如版本名和版本号等。从以上信息可见，历史审计数据包含了太多的数据，一些数据库日志文件和数据库表文件可能高达1G的内容，但它们对我们的审计并没有太大的用处，如果不先预处理这些历史文件，会使得后面的处理程序运行起来非常的慢。原因主要在于，处理程序会遍历每个目录下的每个文件，通过打开文件，获取文件表头来判断该文件是否是我们所需要的那个类型文件。因此如果存在太多的无用文件，这将大大的影响程序的运行效率，这就是我们需要文件过滤这一步骤的原因，具体的操作将在下节进行具体描述。下面要说说我们所需要的到底是哪些文件。实际上，这是针对MFG/PROeB2版本之后而言的，因为早于eB2版本的程序并不会生成我们所需的这两个文件，这也是在具体程序运行后出现有些客户有有效的审计信息，而有些客户没有的原因之一。下面就是我们需要的那两个文件：ad<yymmdd>.prn–ApplicationDetailUsageProfileReport(36.16.10.8–lvauprp.p)：这个文件大多以ad加上年月日进行命名，当然存在例外。因此我们的文件匹配不是以文件名匹配来进行的，而是按照文件内容，也即文件第一行的程序菜单号来进行匹配，这里即36.16.10.8。该文件详细列举了使用每个MFG/PRO菜单程序的具体情况以及百分比，并对总的菜单程序进行了加和。lr<yymmdd>.prn–LicensedApplicationReport(36.16.10.3–lvarrp.p)：同样地，匹配方式也是按照文件头进行匹配。它对客户购买的每个许可产品的产品版本、安装日期、安装许可权证书的人、许可权类型、许可权数量、过期日期等进行了一一罗列。在了解了这些信息之后，接下来就是正式对数据进行分析处理了。历史数据处理按照上节所说，我们首先要做的是对历史数据进行过滤，只保留上面讨论过的两个文件。其操作的具体流程图见图3-2：图3-2数据过滤流程图事实上整个流程比较简单，就是按照源文件夹的路径，一般选择传最上层的文件夹路径，即以年份命名的文件夹，从中读取文件夹列表。然后遍历所有客户文件夹，对其一个个的进行以下操作：将客户文件夹打包并拷贝纸目标文件夹下，然后解压。之所以先打包再解压是为了提高传输的效率，并且将整个文件夹作为一个压缩文件进行复制传输也相对而言比较方便。在解压之后，由于客户文件目录下的各个文件目录层次中，可能还存在着多个压缩包，因此需要逐层递归一一将这些压缩包进行解压，并保持原来的目录结构不变。做完这一步后，则需要递归遍历所有文件，并一一匹配，如果符合匹配规则，则跳过该文件，继续遍历；否则将删除文件，继续遍历。等整个递归结束了，这个客户文件夹就处理完了，然后接着处理下一个文件夹。具体实现参见详细代码设计。完成了数据过滤之后，下面就是读取文件中的内容并进行一定的计算处理的过程了。未完成该功能，我们对程序进行了包的设计，如图3-3所示：图3-3数据处理程序包的设计图其中jxl.jar和domingo.jar是java的开源代码。jxl.jar是用于和微软Excel进行交互的，而domingo.jar是用于和LotusNotes的UCA数据库进行交互的，即需要从UCA数据库中读取客户的相关信息。除此之外，还有四个主要的包需要实现。Business包定义了系统所需要做的所有任务，如文件传输，文件处理等等。其他的三个包都将为它提供一定的功能。Lotusnotes包封装了LotusNotes的相关操作，比如获取客户信息，同时该包还需依靠开源的第三方包——domingo.jar。与之类似的是excel包，它封装了Excel的相关操作，同样需要依靠开源第三方包，jxl.jar。但就目前而言还未实现，需要等到下一阶段才会有excel的自动生成。Util包是一个为其他包提供工具服务的包，它包含解压压缩文件功能，文件处理功能等等。这样的包设计方式是低耦合的，这使得代码的复用性得到了提高。另外，我们将整个流程划分成了几个小的分开的步骤，用户可以通过修改参数配置文件来决定运行哪些步骤来完成工作。我们为每个步骤定义了一个任务，比如文件传输任务、文件解析任务等。这样做有很多好处：1.很容易增加或者删除一个任务，为处理可能的变动提供了一定的弹性。2.使得测试变得简单。只要定义合适粒度的任务，测试单个任务就会变得很简单，想要找到程序的问题只要定位到一个任务上就更容易发现。3.可以将审计按照几个固定点分步进行，这可能可以为将来提供一个高级的运行选项。总之，这是一个较好的开发的方向。因为随着时间的推移，审计的数据可能发生变化，采用这样的编程模型则可以更好的适应不同的需求，使得代码的复用性增强。具体的实现可以参考代码。3.2数据的存储根据历史审计数据信息及相关的外部数据信息，按照需求，共设计了六张数据表。其数据库的E-R图如3-4所示。图3-4数据库E-R图其中ucst_info表中的信息是由LotusNotes中UCA数据库中信息所得，umod_det和upg_det都是由外部数据库导入的关于模块和程序的表述信息。而uaud_sum、uapp_info和upg_usg表则是通过审计历史数据文件中的信息提取所得。以下是关于每张表的具体信息：客户信息表（ucst_info）如表3-1所示，主要是根据客户ID从UCA的数据库中获取数据，并按表3-1中的各个域的内容存入数据库中。这里需要特别说明的是，QAD专注制造行业，但主要从事的是六大行业领域，包括汽车、消费品、电子、食品和饮料、工业产品和生命科学。另外，客户所在地区是指全球范围内的区域划分，如亚太地区，拉美地区等。表3-1客户信息表描述域名域类型域描述ucst_eu_numucst_nameucst_line1ucst_line2ucst_line3ucst_cityvarchar(16)varchar(60)varchar(60)varchar(60)varchar(60)varchar(60)客户ID号客户姓名地址行1地址行2地址行3客户所在城市续表3-1域名域类型域描述ucst_stateucst_zipucst_countryucst_verticalucst_regionVarchar(60)Varchar(16)varchar(60)varchar(60)varchar(60)客户所在州客户邮码客户所在国家客户所在行业领域客户所在地区审计概要表（uaud_sum）如表3-2所示，该表可以说是一个关联表，主要记录了一个客户在何时做了一次怎样的审计，通过客户ID作为外键，可以较为方便的查找到该客户的具体审计信息。它与客户信息表是一对多的关系，因为一个客户应会有多次审计。表3-2审计概要表描述域名域类型域描述oid_aud_sumuaud_run_dateucst_eu_numbigintDatetimevarchar(16)审计概要表ID审计程序运行时间客户ID号应用信息表（uapp_info）如表3-3所示。由于一个产品往往包含了多个应用，审计概要表和应用信息表是一对多的关系。这里需要说明的是许可权的类型。许可权有两种类型：并发和记名。并发指的是同一时间访问应用的客户数不能超过所购买的许可权数量，而记名则是给客户提供许可权数量的用户名与密码，本质上是对客户端的限制，而并发其实更多的是对服务器的限制。这张表中的内容是从上文提过的lr*.prn文