医学数据挖掘与大数据处理资料

1、第七章 医学数据挖掘与大数据处理本章主要内容数据挖掘与数据仓库 常用的数据挖掘方法大数据概念大数据处理方法医疗大数据应用阅读书目崔雷.医学数据挖掘. 高等教育出版社涂子佩. 大数据. 广西师范大学出版社赵刚.大数据技术与应用实践指南. 电子工业出版社李雄飞等. 数据挖掘与知识发现（第2版）.高等教育出版社1. 数据挖掘与数据仓库数据、信息、知识？数据信息知识“1.85”是个数字奥巴马身高1.85大多数黑人男性的升高超过1.85数据、信息和知识的区别与联系知识数据数据价值数据规模信息纽约警察-杰克.梅普尔的传奇数据驱动管理除了上帝，任何人都要用数据说话。-爱德华.戴明图灵奖、诺经济学奖、美心理学

2、会终身成就奖人类理性是有限的，所有决策都是基于有限理性的结果，如果能利用存储在计算机里的信息来辅助决策，人类理性的范围将扩大，决策的质量就能提高。决策支持商务智能2022/8/258数据挖掘的发展动力需要是发明之母数据爆炸但知识贫乏全球每秒290万份电子邮件、每秒亚马逊产生72.9笔订单，每分钟20个小时视屏上传到YouTube,Google每天处理24PB数据；淘宝有6亿注册会员，在线商品超过9亿，每天交易超过数千亿。自动数据收集工具和成熟的数据库技术使得大量的数据被收集，存储在数据库、数据仓库或其他信息库中以待分析。这些数据当中大量有用的知识被淹没其中。2022/8/259解决方法-数据仓

3、库和数据挖掘数据仓库（ata Warehouse)和在线分析处理（OLAP)在大量的数据中挖掘感兴趣的知识（规则、规律、模式、约束）支持数据挖掘技术的基础 - - 海量数据搜集- - 强大的多处理器计算机- - 数据挖掘算法 数据仓库数据仓库是一个面向主题的，集成的，相对稳定的，反映历史变化的数据集合，用于支持管理中的决策支持。数据仓库体系结构数据仓库体系结构数据源：通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等。数据的存储与管理：决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库

4、的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。数据仓库体系结构OLAP（On Line Analysis Processing） 对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。ROLAP（关系型在线分析处理），基本数据和聚合数据均存放在RDBMS之中；MOLAP（多维在线分析处理）和HOLAP（混合型线上分析处理），基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库

5、中。数据仓库体系结构前端工具各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。数据分析工具主要针对OLAP服务器报表工具、数据挖掘工具主要针对数据仓库。数据仓库四大特点数据仓库是面向主题的。数据库的数据组织面向事务处理任务，而数据仓库中的数据是按照一定的主题域进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。数据仓库是集成的。数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出来，进行加工与集成，转换统一与综合之后才能进入数据仓库；数据仓库特点数据仓库是随时间而变化的。不断跟踪事务

6、处理系统中，数据仓库会把业务系统数据库中变化数据追加进去。传统的关系数据库系统比较适合处理格式化的数据，能够较好的满足商业商务处理的需求。稳定的数据以只读格式保存，且不随时间改变。数据仓库是稳定的（非易失性的)。其数据以物理分离的方式存储,决策人员只进行数据查询，而不进行数据修改。数据仓库只需要两类操作：数据的初始化装入和数据访问多维数据模型数据立方体以两维或多维来描述或分类数据，维类似关系数据库的属性或字段。三维立方体呈现。维：是人们观察事物、计算数据的特定角度。例如，死因监测，“地区”、“时间”、“性别”、“死亡原因”等构成四维数据模型。事实：多维立方体是面向主题的，主题有事实来表示。例如

7、主题死因分析，则死亡人数就是事实。数据立方体结构下钻：一个维度可以下钻细分上卷：汇总2022/8/2521数据挖掘：数据中搜索知识（模式）知识2022/8/25重庆医科大学现教中心王体春22进化阶段商业问题支持技术产品厂家产品特点数据搜集(60年代)“过去五年中我的总收入是多少？”计算机、磁带和磁盘IBM,CDC提供历史性的、静态的数据信息数据访问(80年代)“在新英格兰的分部去年三月的销售额是多少？”关系数据库（RDBMS），结构化查询语言（SQL），ODBC Oracle、Sybase、Informix、IBM、MicrosoftOracle、Sybase、Informix、IBM、Mic

8、rosoft在记录级提供历史性的、动态数据信息数据仓库；决策支持(90年代)“在新英格兰的分部去年三月的销售额是多少？波士顿据此可得出什么结论？”联机分析处理（OLAP）、多维数据库、数据仓库Pilot、Comshare、Arbor、Cognos、Microstrategy在各种层次上提供回溯的、动态的数据信息数据挖掘（正在流行）“下个月波士顿的销售会怎么样？为什么？”高级算法、多处理器计算机、海量数据库Pilot、Lockheed、IBM、SGI、其他初创公司提供预测性的信息从商业数据到商业信息的进化数据挖掘逐渐演变的过程 2022/8/2523数据挖掘与知识发现基本概念数据挖掘（从数据中发

9、现知识）数据挖掘（DM)：从大量的数据中正规地发现有效的、新颖的、潜在有用的，最终可被读懂的模式的过程，简单的说就是从大量数据中提取或“挖掘”知识。 医学数据挖掘：是针对医学方面的数据仓库进行挖掘知识发现：知识发现（KDD）包括数据清理、数据集成、数据选择、数据变换、数据挖掘、模式评估、知识表示等步骤有人把数据挖掘视为数据中的知识发现或KDD同义词，另一些人将其视为知识发现的一个基本步骤。2022/8/2524数据挖掘: 多学科的融合Data Mining数据库技术统计学机器学习模式识别算法其他学科可视化2022/8/2525数据挖掘和知识发现的基本步骤数据库目标数据已处理数据已转换数据模式趋

10、势知识选择处理转换数据挖掘解释评价2022/8/2526数据挖掘和知识发现的基本步骤选择：根据某种标准选择数据处理：包括清除和充实转换：删除丢失重要内容的记录，将数据分类、格式变换等数据挖掘：运用工具或算法，在数据中发现模式和规律解释评价：将发现的模式解释为可用于决策的知识2022/8/2527数据挖掘：数据库中的知识挖掘（KDD）数据挖掘知识发现过程的核心数据清理与集成数据集数据仓库Knowledge任务相关数据选择数据挖掘模式评估模式2022/8/2528数据挖掘的知识表示：（1）规则类身高头发颜色眼睛颜色第一类人矮金色蓝色高红色蓝色高金色蓝色矮金色灰色第二类人高金色黑色矮黑色蓝色高黑色蓝

11、色高黑色灰色矮金色黑色2022/8/2529数据挖掘的知识表示：（1）规则（续）规则由前件和结论两部分组成，前件由字段项（属性）取值的合取（ 读作“与”）和析取（ 读作或）组合而成，结论为决策字段项（属性）的取值或类别组成。如从上表的数据中可挖掘出如下规则知识：IF（头发颜色金色红色）（眼睛颜色蓝色灰色）THEN第一类人IF(头发颜色黑色）（眼睛黑色）HTEN第二类人也可用自然语言描述2022/8/2530数据挖掘的知识表示：（2）决策树第一类人红黑蓝头发眼睛灰第一类人第二类人第一类人第二类人金灰2022/8/25重庆医科大学现教中心王体春31数据挖掘的知识表示：（3）知识基类头发颜色眼睛颜色

12、第一类人金色蓝色红色蓝色金色灰色第二类人金色黑色黑色蓝色黑色灰色2022/8/2532数据挖掘的知识表示：（）网络权值21x1x211122122T1T211 12 21 221 11 1120.51.5(T1,T2)=(-1,1)Z2022/8/2533知识发现和数据挖掘的算法数据挖掘算法由3部分组成：模型表达、模型评价和检索方法。关联规则。两个或多个变量之间存在某种规律性，称为关联。如超市中顾客买可乐和玉米片的相关性。分类或者特征提取。如检查特定记录并描述第一类记录的特点。如信用分析。序列模式。注重在一定时间段内发生的购买事件。如买电视和摄像机序列。聚类分析。将数据库中的记录分成子类。可用

13、统计学方法和神经网络等非监督性符号归纳方法实现数据聚类。2022/8/2534典型数据挖掘系统的结构2022/8/2535数据挖掘和商业智能的关系对商业决策的支持潜力终端用户商业分析 数据分析员DBA进行决策数据表示可视化技术数据挖掘信息发现数据挖掘引擎统计,查询和报告数据预处理/集成, 数据仓库数据资源论文，文件, Web文档, 体魄实验, 数据库本章主要内容数据挖掘与数据仓库 常用的数据挖掘方法大数据概念大数据处理方法医疗大数据应用常用的数据挖掘方法关联规则与关联分析聚类分析决策树人工神经网络遗传算法粗糙集理论关联规则与关联分析关联规则的定义关联规则主要反映了事物之间的关联性。对反映同一事

14、物属性的一条记录，若其具有特征属性A的同时，也具有属性B,则称特征属性A和B是关联的。购物篮分析生物医学：某种疾病可能同时呈现集中症状，则几种症状就表现出关联性。（如眼病，眼轴远视、和散光）若A和B关联：A BA可以表示为若干属性同时成立，逻辑与的关系，即：（A 1 A 2 A 3 A 4 A k） B关联分析时所涉及的特征属性的数据类型是布尔型。关联规则的支持度支持度（Support，S）：表达了关联规则在总体中发生的概率，是关联规则重要性的度量。 SA B=N A B/N其中，N表示记录总数， N A B表示N条记录中满足A和B 共同发生的记录总数。案例：眼科数据受检者编号H52.0 远视

15、H52.2 散光H52.4老光110021103111.40001统计：（H52.0远视）=18（ H52.2 散光)=29（ H52.4老光）=21（H52.0远视 H52.2 散光）=15 （H52.0远视 H52.2 散光 H52.4老光）=9（H52.2 散光 H52.4老光）=13 规则支持度计算规则H52.0 的支持度： SH52.0=N H52.0/N=18/40=0.45规则H52.0 H52.2 的支持度：SH52.0 A H52.2= N H52.0 H52.2 /N=15/40=0.375 规则H52.2 H52.4 H52.0 的支持度：SH52.2 H52.4 H52

16、.0=N H52.2 H52.4 H52.0 /N=9/40=0.225 关联规则的置信度置信度（Confidence，C）：表示构成关联规则的一个特征属性A发生时，另一个特征属性B的发生概率，反映了这两个属性之间的关联强度。规则A B的置信度C CA B=N A B/N A=(N A B/N )/(N A/N)= SA B/ SA 置信度仅对一条规则。规则置信度计算规则H52.0 H52.2 的置信度：CH52.0 H52.2= N H52.0 H52.2 /N H52.0 =15/18=0.833注意：规则H52.2 H52.0 的置信度：CH52.2 H52.0= N H52.2 H52

17、.0 /N H52.2 =15/29=0.517规则H52.2 H52.4 H52.0 的置信度：CH52.2 H52.4 H52.0=N H52.2 H52.4 H52.0 /N H52.2H52.4 =9/13=0.692 关联规则的提升度提升度（Lift,l）：反映了关联规则的重要性以及研究者对其感兴趣程度。如果提升度等于1，则表示该关联规则反映的只是一种普遍现象；提升度小于1，该规则表现为负关联，反映其所涉及的特征属性是互相排斥的；提升度大于1，该规则表现为正关联，反映其所涉及的特征属性是互为共生的。规则A B的提升度L LA B=CA B/SB=S A B/ SA * SB 规则提升

18、度计算规则H52.0 H52.2 的提升度：LH52.0 H52.2= CH52.0 H52.2/SH52.2=0.833/(N H52.2 /N =0.833/(29/40)=1.149规则H52.2 H52.4 H52.0 的提升度：LH52.2 H52.4 H52.0=C H52.2 H52.4 H52.0 N/ SH52.0 =0.692/0.45关联规则的分析方法Aprior算法本章主要内容数据挖掘与数据仓库 常用的数据挖掘方法大数据概念大数据处理方法医疗大数据应用大数据概念和特征大数据概念 无法在一定时间内用传统的数据库软件工具对其内容进行抓取、管理和处理的数据集合。-维基百科大数

19、据的产生数据产生由企业内部向企业外部扩展数据产生从Web1.0向Web2.0，从互联网向移动互联扩展中国联通统计，每秒上网记录82万条。数据产生从计算机、互联网向物联网扩展视频、传感器、智能设备和RFID、机器对机器（M2M）产生大量数据。思科预测2015年仅移动设备产生的数据流量将达到每月6.3EB的规模。大数据的应用需求互联网与电子商务用户分析：注册信息、博客信息用户行为分析：鼠标移动、移动终端触摸、眼球移动基于大数据相关性分析的推荐系统内容针对性投放零售业：例如：货架商品关联性分析金融业：客户行为分析、金融欺诈行为监测政府：大数据分析用于经济预测奥巴马竞选连任-大数据应用Dan Wagn

20、er， 奥巴马2012年竞选团队首席分析师，长的有点像比尔 盖茨大数据在医疗行业的应用基因组学测序分析大数据在医疗行业的应用疫情和健康趋势分析GOOGLE官网全球登革热趋势。/denguetrends/大数据分析或可助抗击埃博拉。健康地图”通过搜集社交媒体、地方媒体信息，比WHO早9天确定埃博拉出血热在几内亚境内的传播情况。大数据的作者-涂子沛我们已经不仅仅处在信息时代新信息时代？后信息时代？智能时代？越来与依赖机器，越来与依赖网络，人机共生的时代，机器是数据启动的软件定义这个世界，数据驱动这时代大数据的特征 （四个V）数据量巨大（Volume）：PB级以上数据类型多（Variety）：日志、

21、音频、视频数据流动快（Velocity）：实时分析获取信息数据潜在价值大（Value）：数据的量级数据大小的量级1Byte (B)1Kilobyte(KB)=1024b1Megabyte(MB)=1024KB1Gigabyte(GB)=1024MB1Terabyte(1TB)=1024GB1Petabyte(1PB)=1024TB1Exabyte(EB)=1024PB1Zettabyte(ZB)=1024EB1Yottabyet(YB)=1024ZB本章主要内容数据挖掘与数据仓库 常用的数据挖掘方法大数据概念大数据处理方法医疗大数据应用大数据主流架构：Hadoop+MapReduceHdoop

22、+MapReduce架构HDFS：分布式文件系统。运行在廉价的计算机组成的大规模集群之上。采用元数据集中管理和数据块分散存储相结合的模式。Hbase:基于列存储的开源非关系型数据库。提供非常大数据集的实时读取和写入的随机存取。MapReduce:分布式并行计算框架，Map 任务分解，Reduce综合结果。是一个JAVA 函数。Mahout: 分布式机器学习和数据挖掘库。R语言：用于统计分析、绘图的语言和操作环境Hdoop+MapReduce架构Hive:Facebook提供的数据仓库工具，分析结构化数据的中间件。Hive类SQL查询语音可以查询分析存储在Hadoop中的大规模数据。Pig:基于

23、Hadoop的并行计算高级语言，类似SQLSqoop:开源工具，Hadoop与传统的数据库间进行数据传递。Flume:Cloudera提供的日志收集系统。ZooKeeper:分布式应用程序集中配置管理器。Hadoop优势Hadoop：分布式文件系统和并行执行环境。能够存储管理PB级的数据。易于扩充的分布式架构。数据处理采用大量计算节点横向扩充实现。善于处理非结构化数据。自动化的并行处理机制。数据分布在并行节点上，每个节点只处理一部分数据，所有节点同时并行处理。高可靠性、容错强。自动保存数据多个副本。计算靠近存储。计算与存储一体。低成本计算和存储。HDFS架构HDFS组成NameNode：命名节

24、点，存储元数据，并提供元数据服务。元数据：文件名、文件目录结构、文件属性、文件块列表、块所在的DataNode等DataNode：数据节点，为HDFS提供存储块。在本地文件系统中存储数据以及数据校验和，块大小64M.NameNodeDataNode存储元数据存储文件内容元数据保存在内存文件内容保存在磁盘保存文件、块、DataNode之间的映射关系维护块ID到DataNode本地文件的映射关系HDFS写数据流程HDFS读数据流程MapReduce框架MapReduce原理每个MapReduce任务都被初始化为一个Job，Job又分为Map和Reduce来表示。map函数接收一个的输入，然后产生一

25、个的中间输出，Hadoop会将所有的具有相同key值的value集合在一起，发送给reduce 函数，reduce对value集合进行处理，产生OutputMapReduce原理数据首先按照TextInput给定的格式分成两个InputSplit，然后输入到两个map中，map 函数会读取InputSplit指定的位置的数据，然后按照设定的方法处理此数据。最后写入到本地磁盘中。MapReduce原理负责调度及控制MapReduce job的是JobTracker，负责运行Job的是TaskTracker。JobTracker调度任务给TaskTracker，TaskTracker执行任务时，会

26、返回进度报告。JobTracker记录进度的运行状况，如果某个TaskTracker执行失败，JobTracker会把这个任务分配给其他TaskTrackerMapReduce原理Hadoop本章主要内容数据挖掘与数据仓库 常用的数据挖掘方法大数据概念大数据处理方法医疗大数据应用？提纲一、 医疗与大数据的趋势二 、什么是医疗大数据三 、大数据面临的挑战四、 如何管理和利用大数据五、 案例分析六、 总结与展望一、 医疗与大数据的趋势二 、什么是医疗大数据三 、大数据面临的挑战四、 如何管理和利用大数据五、 案例分析六、 总结与展望压在百姓健康3座大山第一座健康大山跑步进入老龄化社会第二座大山-癌

27、症年轻化第三座大山-新生儿“先天缺陷”医疗费用在不断上升GDP的占比非常高10-19%0-9%趋势分析: 我们正处在医疗行业的一个重要转折点% of population over age 6030+ %25-29%20-24%2050WW Average Age 60+: 21%Source: United Nations “Population Aging 2002”全球老龄化平均年龄60 +: 目前的10%, 到2050年将达到20%Source: McKinsey Global Institute AnalysisESG Research Report 2011 North Ameri

28、can Health Care Provider Market Size and Forecast以美国为例: 医疗大数据的价值3千亿美元/年, 相当于每年生成总值增长0.7%0150001000050002010 2011 2012 2013 2014 2015趋势分析:我们正处在医疗行业的一个重要转折点存储的增长医疗服务产生的数据总量(PB)AdminImagingEMREmailFileNon Clin ImgResearch医疗影像归档一个医疗系统案例的数据到2020年, 医疗数据将急剧增长到35 Zetabytes, 相当于2009年数据量的44倍增长Source: McKinsey

29、 Global Institute AnalysisESG Research Report 2011 North American Health Care Provider Market Size and Forecast一、 医疗与大数据的趋势二 、什么是医疗大数据三 、大数据面临的挑战四、 如何管理和利用大数据五、 案例分析六、 总结与展望大数据对于“大数据”（Big data）研究机构Gartner给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。4V：Volume（大量）Velocity（高速）Variety（

30、多样）veracity（真实性）/Value(价值性）1. 制药企业/生命科学3. 费用报销, 利用率 和 欺诈监管2. 临床决策支持 & 其他临床应用 (包括诊断相关的影像信息)4. 患者行为/社交网络医疗大数据简介数据来源包括哪些?我们如何利用大数据创造价值? (示例)2. 临床决策支持4. 由生活方式和行为引发的疾病分析1. 个体化医疗3. 欺诈监测得以加强McKinsey Global Institute Analysis医疗大数据相关解决方案健康信息服务新兴的医疗服务应用数据分析及视觉化处理数据处理/管理分布式平台老龄社会肿瘤基因组学医疗影像分析医疗影像影像数据处理加速基础医疗服务临

31、床决策支持类SQL的检索医疗记录存储优化个人健康管理个体化医疗机器学习基因数据安全和隐私一、 医疗与大数据的趋势二 、什么是医疗大数据三 、大数据面临的挑战四、 如何管理和利用大数据五、 案例分析六、 总结与展望大数据的挑战不仅来自于数据量的增长.需要新技术的支持检验结果, 费用数据, 影像, 设备产生的感应数据, 基因数据等数据量结构化数据, 遵循标准的数据标准(如,HL7)非结构化数据, 如口述、手写、照片、影像等类型实时有效的商业价值基于现有数据库中的数据进行分析，来支持不同种类的业务：如费用及报销、患者病史、归档影像分析、实时临床决策支持（数据分析） 实时数据分析，而非传统的批量处理分

32、析 数据以流的方式进入系统，进行抽取和分析 对于实时运行中的每个时间节点产生影响，而不是事后处理在传统的解决方案之上，引入新的数据及分析模型和技术，价值速度一、 医疗与大数据的趋势二 、什么是医疗大数据三 、大数据面临的挑战四、 如何管理和利用大数据五、 案例分析六、 总结与展望传统解决方案环境ERP, CRM, Batch,OLTP-DBData Center ProvisioningDiscreteVirtualCloud As A ServiceHPC关注数据的价值大数据存储的考虑传统存储方式大规模分析 Hadoop*海量数据库 Hive*大规模备份 Lustre*数据源文本-语音-视频

33、-传感器Requesting Or M2M通讯批量 商业应用丰富的视觉化效果 安全的数据分析和缓存边缘服务器（Edge）分析同步端到端Machine-to-MachineSource-to-Source可行的解决方案体系（示例）Applications & ServicesVisualization File Structure & AnalyticalToolsData Delivery, Operational & GraphicalAnalyticsData Management & ComputationalAnalyticsCompute Storage & Infrastructu

34、rePlatforms高效的大数据访问途径 (客户端)“Know Me”“Free Me”“Express Me”智能手机移动医疗助理平板电脑笔记本,Ultrabook其他设备台式机数字标牌自助终端MobilityVital sign,I & O entryMedicationadministrationTemplatedata entryFree-format textdata entryLarge diagnosticimagesData inquiryManageability“Link Me”大数据在中国医疗行业中的应用模式1.制药企业/生命科学3.费用报销, 利用率 和 欺诈监管2.

35、临床决策支持 &其他临床应用 (包括诊断相关的影像信息)4.患者行为/社交网络药品研发对药品实际 作用进行分析；实施药品市场预测基因测序分布式计算加快基因测序计算效率公共卫生实时统计分析发现公共卫生疫情及公民健康状况新农合基金数据分析及时了解基金状况，预测风险辅助制定农合基金的起付线，赔付病种等基本药物临床应用分析分析基本药物在处方中的比例临床数据比对匹配同类型的病人，用药临床决策支持利用规则和数据实时分析给出智能提示远程监控采集并分析病人随身携带仪器数据，给出智能建议人口统计学分析对不同群体人群的就医，健康数据实施人口统计分析了解病人就诊行为发现病人的特定就诊行为，分配医疗资源一、 医疗与大数据的趋势二 、什