数据挖掘于各领域之应用(辅仁大学 谢邦昌)

數據挖掘于各领域之应用谢邦昌教授辅仁大学统计信息系教授中华數據挖掘协会秘书长STAT1001@MAILS.FJU.EDU.TWWWW.CDMS.ORG.TW医药方面PainControlProblem：DetectingpainSubjective&nodirectmeasurementClinical：VisualAnalogueScale（VAS）Wherewillcausethepain？EndoscopeOperatingroom：ESWL；ProstatePostOp.：PCAICUCancerpainPφASystemDrugDemandVASPCAPDAPφADATAMININGFuzzyLogicPainPatternPatientSatisfactionmessengeruserAcutePainServiceResearch&DevelopmentPCAdatamining&management化学方面近年来，随着化学资料的大量积累和资料库的普遍使用，逐步认识到大量资料的利用是十分困难且不充分的，更具价值的规律性的信息和知识反而被隐蔽起来。因此，化学數據挖掘作为一种新的信息技术开始出现于电脑化学中。这一技术的关键是用软件来从大量的化学资料中自动地发现新的不明显和有潜在应用价值的信息和知识，因此它也常常与资料分析和知识发现(Knowledgediscovery)相紧密结合。化学數據挖掘主要内容DatacleaningDatareductionFeaturedetectionFeaturereductionClassifierandcategorydetectionFrauddetectionRecognizingunusualpatternsNoveltydetectionConstructionofsampledatabasesKnowledgediscoveryandruledetectionfromlargedatabases生物医学方面背景随着人类基因序列的解码，基因与各种疾病间之关联性的研究正逐渐受到重视，而相关之研究文献亦随之增多。通过搜寻引擎等渠道，医学研究人员可以快速取得所需之信息，但也同时面临了资料过多的问题。气象业务方面背景随着通信技术和电脑技术的发展，每天在气象通信网上传输越来越庞大的气象资料，对这些资料的存储、集成和应用的问题也就越来越突出。资料仓库是电脑应用发展的必然产物。经过长期积累所形成的大量业务资料，是过去的真实活动记录。如何利用这些资料并在此后的决策中发挥效益，为决策分析和评估提供帮助，很长时期内都困扰着资料库的发展。數據挖掘(DataMining)的功能对资料进行厚缩，给出它的紧凑描述。數據挖掘主要关心从资料泛化的角度来讨论资料总结。建立一个分类函数或分类模型，该模型能把资料库的资料项目映射到给定类别中的某一个。把一组个体按照相似性归成若干类别。使属于同一类别的个体之间的距离尽可能地小，而不同类别的个体间的距离尽可能地大。按某一规则探讨这一规则下的资料关联性。农产品交易方面资料来源：.tw/price新系统着重于农产品交易行情信息的加值应用，利用农产品价量资料库充实的资料，加值处理后提供使用者作为参考，朝向建立「农产品交易行情资料仓储(DataWarehouse)」之目标发展，让使用者可以通过资料仓储的资料处理进行联机分析处理(OnLineAnalyticProcessing，OLAP)决策支援系统(DecisionSupportSystem，DSS)數據挖掘(DataMining)古代史料方面研究背景人类已经进入信息时代，我们不仅面临着用新技术来整理旧史料的问题，而且随着考古的新发现和科技的发展，史料的容量和形式急剧膨胀。以何种方法处理、存贮史料，并且能够让学者从中方便迅速地检索和得到所需的信息，是当前史料学的一个大问题。

数位化是史料处理的必经之路把各种史料统一为电脑资料，方便存贮和检索；使史料的物理体积大大缩小，方便携带；可以低成本无差错拷贝，方便传播和普及。目前，不论是印刷文档、手写稿，还是电子档、音像档、甚至于遗址与文物，越来越多的史料逐渐被数位化，出现了资料仓库（Datawarehousing）、资料集市(Datamart)、资料掘取（Datamining）等新概念和信息数位化处理方法，逐步形成了大资料量存贮和管理方式。银行踪面BusinessIntelligent（BI）BIForBank是MDCL公司基于EOSS套件在银行领域推出的一套完整的商业智慧解决方案。它以先进的资料仓库（DataWarehousing）、联机分析处理（OLAP）、數據挖掘（DataMining）技术为基础，结合顾客关系管理和电子商务的经验，能够帮助企业全面提高科学管理水平和经营决策能力，促进企业业务和利润的增长，提高市场竞争力，迎接以客户为中心的经营方式的转变。本系统包含以下主题：商业银行资本分析按时间、机构纬度研究资本的构成、资本需要量和充足度。资产与负债从时间、机构纬度研究资产的构成、资产的总量和风险、负债的构成和趋势、负债同业情况分析等。表科目查询本模组以财务报表和会计科目为基础，按照科目、时间、机构、产品和客户的纬度，进行报表和科目的即时查询、挖掘和分析。资金管理分析从时间、机构纬度研究资金流入、流出及管理现状。资金来源成本估计从时间、机构纬度研究资金来源成本估计、资金结构、资金余缺、资金利用度、头寸匡算、资金运用及收益分析。客户信贷分析从时间、机构、科目、借款人性质、贷款形式、贷款期限、贷款方式研究贷款结构、贷款流动，贷款发放与回收情况。经营成本营利分析从时间、机构纬度研究经营成本升降、经营成本专案、经营成本的结构水平、银行收入和利润综合分析。

利率风险与营利分析从时间、机构纬度研究利率调换交易分析、远期利率合同分析、金融贷款分析、期权交易分析。汇率风险与防范分析从时间、机构纬度研究即期、远期外汇买卖分析，套汇分析，外汇投机分析，期货、期权交易分析。投资决策分析主要回答：怎样投资？向何处投资？投资多少？如何筹措资金？包括：投资效益分析、投资可行性分析综合经营指标分析与预警考核指标分析银行健康综合评估指标预警从时间、机构纬度监测信用风险、流动风险、经营风险、资金风险、国际收支，如果有异常情况自动给予警告。DataWarehouse之步骤汇集资料数据撷取、合并、删除、归类..等，成为一定格式，再放入资料仓储内存贮并管理data将所有的资料再集中存入一个大的资料库里，可依照不同的需求建立小的资料库，方便读取分析读取所需信息银行各部门可依据不同的主题存取工具，进行查询并结合图形，OLAP等工具范例商业银行首要关注于顾客关系的应用主题，即建立顾客信息分析管理信息，从中收集顾客的基本资料、资产、负债…等信息用以搭建一个良好的信息连接库。美国第一银行运用“ICARE＂建立客户关系管理：I(Inquire)向顾客询问并了解其需求C(Communicate)向顾客保证降很快满足其需求A(Affirm)使顾客确信有完成服务的工作与愿望R(Recommend)向顾客提出一系列的服务选择E(Express)使顾客银行接受单个客户的委托顾客将可通过email电话网站信息等得到:金融服务、旅游娱乐服务以及其他的综合信息服务，之后将会寄出邀请函请顾客填写，银行将可了解顾客的需求，帮助其完成愿望结论

对于过去，银行并未从企业的整体角度实施顾客一体化管理，因此前后流程为实践整合的状态，无法达到连接，将造成信息重复、矛盾，甚至是过时，无法随时满足应有的信息或服务，利用datamining的技术，将可以解决如此的问题，更有效率朝向以顾客为中心企业体系。天文学方面资料来源：张燕霞、赵永恒、崔辰川中国科学院国家天文台摘要综述數據挖掘和知识发现在天文学中兴起的必然性及其近几年的发展状况、实现过程和具体任务。分析当前天文资料的复杂性，介绍天文学中數據挖掘的科学要求。系统地概括近年来天文学中數據挖掘和知识发现领域研究的进展及其热点，并阐述其所面临的挑战。天文学中數據挖掘和知识发现的兴起将对天文学的发展起到巨大的推动作用，同时也在知识和技术等方面对天文学家提出新的要求。數據挖掘技术能否在虚拟天文台中成功应用，是虚拟天文台充分配挥作用的关键所在。电子商务方面资料来源：硅谷动力數據挖掘对电子商务的重要性专家预测在今后十年中，“數據挖掘＂将是具有革命性进展的举措之一，是提供“个性化网络＂的关键，即通过采集信息、识别有用结构并进行即时分析，从而满足用户个性化选择。无论这种技术复杂与否，近年来各公司都在进行各种各样的數據挖掘研究，以期让那些近年来急速堆积增长的原始资料，变得有意义。电子商务现在是最新和最炙手可热的一个行业，无论在哪都有历史资料，用这些资料可以得到用眼睛无法看到的方式结论。數據挖掘能为电子商务做什么？通过數據挖掘，市场商人可以瞄准目标客户，采用个人股票行市、最新信息、特殊的市场推广活动或其他一些特殊的信息手段，从而极大地减少广告预算和增加收入。百货商场、超市和一些老字型大小的零售店也在进行數據挖掘，以便猜测这些年来顾客的消费习惯。數據挖掘的挑战數據挖掘软件繁多软件商正在为非统计学专业人士们开发一些更加自动化的數據挖掘应用软件，让科学技术更加实用化。迎合市场需求