医疗大数据、智慧健康主题汇报课件

医疗大数据&智慧健康医疗大数据&智慧健康1目录什么是大数据？大数据&医疗数据中心，强大支撑目录什么是大数据？2大数据什么是大数据？大数据时代的爆炸增长大数据的战略影响大数据什么是大数据？31-什么是大数据1-什么是大数据4电影《点球成金》2011年布拉德•皮特主演的《点球成金》是一部美国奥斯卡获奖影片。所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。电影《点球成金》2011年布拉德•皮特主演的《点球成金》是一5数据本质是生产资料和资产VS仅供开采162年仅供开采45年仅供开采60年不可再生资源过去3年数据总量比以往4万年还多2013年，10分钟的信息总量将达1.8ZB2010年全球数据总量1.2ZB，年增长50%数据数据本质是生产资料和资产VS仅供开采仅供开采仅供开采不可再生6什么是数据？SocialMediaMachine/SensorDOC/MediaWebClickstreamAppsCallLogLog半结构化/非结构化数据什么是数据？SocialMediaMachine/Se71Byte

=

8

Bit1KB

=

1，024

Bytes1MB

=

1，024

KB

=

1，048，576

Bytes1GB

=

1，024

MB

=

1，048，576

KB

=

1，073，741，824

Bytes1TB

=

1，024

GB

=

1，048，576

MB

=

1，099，511，627，776

Bytes1PB

=

1，024

TB

=

1，048，576

GB

=1，125，899，906，842，624

Bytes1EB

=

1，024

PB

=

1，048，576

TB

=

1，152，921，504，606，846，976

Bytes1ZB

=

1，024

EB

=

1，180，591，620，717，411，303，424

Bytes1YB

=

1，024

ZB

=

1，208，925，819，614，629，174，706，176

Bytes？什么是大数据？—数据度量何为1Byte =8Bit？什么是大数据？—数据度量何8什么是大数据？中国国家图书馆：2631万册数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务《红楼梦》含标点87万字（不含标点853509字）每个汉字占2个字节：1汉字=16bit

=

2*8位=2bytes1GB

≈

671部红楼梦1TB

≈

631，903

部1PB

≈

647，068，911部美国国会图书馆藏书（151，785，778册）1EB=4000*美国国会图书馆存储的信息量什么是大数据？中国国家图书馆：2631万册数据没有办法在可容9大数据是如何产生的？信息世界、物理世界、人类社会(CPH)三元世界彼此融合、交互映射形成大数据大数据的来源大数据是如何产生的？信息世界、物理世界、人类社会(CPH)大10“大数据”是如何产生的？半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。“大数据”是如何产生的？半个世纪以来，随着计算机技术全面融入11“大数据”是如何产生的？194619511956196119701974197919912001200320082011第一台计算机ENIAC面世磁带+卡片人工管理磁盘被发明，进入文件管理时代网络型SQLE-RGE公司发明第一个网络模型数据库，但仅限于GE自己的主机1960年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导IBME.F.Dodd提出关系模型SQL语言被发明关系型数据库ORACLE发布第一个商用SQL关系数据库，后续快速发展数据仓库数据仓库开始涌现，关系数据库开始全面普及且平台无关，进入成熟期2001年后，互联网迅速发展，数据量成倍递增，量变引起质变，开始对数据管理技术提出全新的要求1946年，电脑诞生，数据与应用紧密捆绑在文件中，彼此不分Hadoop成为Apache顶级项目，重点支持海量数据分布式管理和分布式计算GFS谷歌发表论文介绍分布式计算数据管理技术发展历史数据管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术的出现使该领域进入了一个新的发展阶段“大数据”是如何产生的？19461951195619611912大数据是“未来的新石油”2012年，世界上存储的数据达到1.5ZB（约1亿TB）字节，如果把这些数据全部印刷成书，这些书可以覆盖整个美国52次，如果将之存储于标准的光盘，这些光盘可以堆成五堆，每一堆都可以伸到月球。2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。大数据是“未来的新石油”2012年，世界上存储的数据达到1.132-大数据时代的爆炸增长2-大数据时代的爆炸增长1413000+个iPhone应用下载Skype上37万+分钟的语音通话Twitter上发布98000+新微博上传6600张新照片到flickr发出290万+条EmailFacebook上更新69.5万+条新状态YouTube上上传600+新视频淘宝光棍节10680+个新订单12306出票1840+张大数据时代的爆炸增长13000+个iPhone应用下载大数据时代的爆炸增长15大数据的4V特征大数据的4V特征16大数据——Volume数据量PB是大数据層次的临界点.Bity->KB->MB->GB->TB->PB->EB->ZB->YB->NB->DB1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1NB1YB大数据——Volume数据量PB是大数据層次的临界点.B17大数据——Variety多样性物联网数据行业/企业内数据互联网数据数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多保存在关系数据库中的结构化数据只占少数，70~80%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。大数据——Variety多样性物联网数据行业/企业内数据互18大数据——Velocity速度82254132215327现在及未来几年内美国的移动网络数据流量增长（PB/月）源自英国Coda研究咨询公司大数据的增长速度快大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s是临界点，对于大数据应用而言，必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；大数据——Velocity速度8225413221532719大数据——Value价值挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；价值密度低，是大数据的一个典型特征；为了一点金子，需要保存全部沙子大数据——Value价值挖掘大数据的价值类似沙里淘金，从海20大数据的价值推动经济转型发展的新动力重塑国家竞争优势的新机遇提升政府治理能力的新途径大数据的价值推动经济转型发展的新动力重塑国家竞争优势的新机遇213-大数据的战略影响3-大数据的战略影响22大数据的战略影响大数据是21世纪的新石油，将与陆海空天一样象征国家的主权大数据成为促进“互联网+”新经济和社会进步的催化剂实验观察的范式理论支撑的范式计算模拟的范式数据驱动的范式大数据产业、云计算产业、互联网+X产业等等成为国家主权的新疆域形成社会进步的新引擎提供科学研究的新范式形成高新科技的新领域大数据大数据的战略影响大数据是21世纪的新石油，将与陆海空天一样象23大数据&医疗大数据在医疗行业中的应用非结构化大数据分析手段流感趋势预测计算机大数据算法大数据&医疗大数据在医疗行业中的应用24医疗健康，刚性需求医疗健康，刚性需求25看病难，看病贵看病难，看病贵26看病难，看病贵看病难，看病贵271-大数据在医疗行业中的应用1-大数据在医疗行业中的应用28非结构化数据处理——文字建立标准术语系统医学知识模型信息提取文本模块化机器学习统计学习规则归纳电子病历数据挖掘支持：临床决策、建立临床路径、临床指南，诊疗过程追踪1、语言处理技术2、数据挖掘技术3、应用非结构化数据处理——文字建立标准医学知识信息提取文本模块化机29生物特征识别技术通常按照，扫描、数字化处理、分析、特征提取、存储、匹配分类几个步骤处理。目前扫描数字化处理已经相对成熟，主要的研究集中在分析和特征提取方面。计算机辅助诊断技术：医学CAD1、图像预处理：灰度直方图、去噪、图像增强2、图像特征提取：边缘分割、灰度共生矩阵3、图像分类：支持向量机算法（神经网络的一种衍生算法）图像之全息眼镜非结构化数据处理——图像生物特征识别技术通常按照，扫描、数字化处理、分析、特征提取、30非结构化数据处理——视频远程医疗在线教育非结构化数据处理——视频远程医疗在线教育31科技，改变生活物联网3G通讯技术WIFI条码及RFID云计算智能手持终端新型健康管理设备……科技，改变生活物联网32物联网传感技术的快速发展为各类监测与控制提供了可能。物联网传感技术的快速发展为各类监测与控制提供了可能。33智能终端智能终端34可穿戴医疗设备2022/12/21可穿戴医疗设备2022/12/1735智能家用医疗健康检测设备智能家用医疗健康检测设备36应用研发：预测建模提高临床试验设计的统计工具和算法临床实验数据的分析个性化治疗

疾病模式的分析

临床操作：比较效果研究临床决策支持系统医疗数据透明度远程病人监控

付款/定价

：自动化系统

基于卫生经济学和疗效研究的定价计划应用研发：临床操作：付款/定价

：372-非结构化大数据分析手段2-非结构化大数据分析手段38机器学习机器学习：机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。机器学习是人工智能的基础。机器学习机器学习：机器学习是近20多年兴起的一门多领域交叉学39聚类分析聚类分析又称群分析，它是研究(样品或指标)分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。聚类分析聚类分析又称群分析，它是研究(样品或指标)分类问题的40非结构化大数据分析手段非结构化大数据分析手段41健康大数据云服务丰富智能硬件用户体验健康大数据云服务丰富智能硬件用户体验42智能家用医疗健康检测设备未来趋势智能家用医疗健康检测设备未来趋势433-流感趋势预测3-流感趋势预测44流感趋势预测2008年，谷歌推出了其著名的流感趋势网站（/flutrends）。该网站假定的前提是：如果用户患上了流感，则他们会搜索更多同流感相关的信息。如此一来，如果对任何一个国家或地区有关流感的搜索量进行统计，就能较好推断出某个国家或地区是否正爆发流感。事实上，谷歌的这项统计数据被证实很有效。谷歌的相应数据，同美国疾病控制与预防中心(CDC)等政府机构所统计的数据非常接近（97%）。在某些情况下，谷歌甚至能够比CDC提前一周预测出哪些地区将爆发流感。流感趋势预测2008年，谷歌推出了其著名的流感趋势网站（ht45流感趋势预测流感趋势预测46流感趋势预测流感趋势预测474-计算机大数据算法4-计算机大数据算法48计算机大数据算法在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。计算机大数据算法在大数据时代，数据挖掘是最关键的工作。49计算机大数据算法通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。大数据的挖掘常用的方法有分类算法、聚类算法、关联规则、回归分析、神经网络方法、Web数据挖掘等。这些方法从不同的角度对数据进行挖掘。计算机大数据算法通过对大数据高度自动化地分析，做出归纳性的推50计算机大数据算法--分类算法分类算法是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类。其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别中。可以应用到涉及到应用分类、趋势预测中。如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。计算机大数据算法--分类算法分类算法是找出数据库中的一组数据51计算机大数据算法--聚类算法聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。计算机大数据算法--聚类算法聚类类似于分类，但与分类的目的不52计算机大数据算法--关联规则关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求。例如淘宝可以根据用户浏览、购买等习惯推测人群分类，如孕妇、电脑爱好者等。计算机大数据算法--关联规则关联规则是隐藏在数据项之间的关联53计算机大数据算法--回归分析回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。计算机大数据算法--回归分析回归分析反映了数据库中数据的属性54计算机大数据算法--神经网络方法神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。虽然神经网络有多种模型及算法，但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则，而且人们很难理解网络的学习及决策过程。计算机大数据算法--神经网络方法神经网络作为一种先进的人工智55计算机大数据算法--十大经典算法C4.5K-MeansSupportvectormachinesTheApriorialgorithm最大期望(EM)算法PageRankAdaBoostk-NearestNeighborNaiveBayesCART计算机大数据算法--十大经典算法C4.5PageRank56数据中心，强大支撑服务和保障业务技术支持使用案例数据中心，强大支撑服务和保障571-服务和保障1-服务和保障58中国科学院计算技术研究所烟台分所数据中心是具有国内一流标准的网络数据中心，拥有高速光纤线路、完备的网络环境以及专业化的网络管理技术。为客户提供便捷、高质量的服务。拥有一流的设施和先进的网络设备，在为您提供高质量的IT服务的同时为您节省了时间和成本，为企业E时代的发展成功提供坚实基础。数据中心概况中国科学院计算技术研究所烟台分所数据中心是具有国内一流标59存储容量达到2.2PB，能提供海量数据的存储及备份。存储容量提供分布式、高可靠的高性能计算和海量数据存储。分布式架构配备500余台高性能服务器，总计算能力达到60万亿次浮点运算/秒。计算能力数据中心介绍——硬件配置存储容量达到2.2PB，能提供海量数据的存储及备份。存储容量60数据中心介绍——环境设施供电设施运行环境安保消防基础网络数据中心介绍——环境设施供电设施运行环境安保消防基础网络61&服务器整机租赁为中小企业、创业团队，提供高性能服务器的整机租赁服务，烟台分所能够提供主机、电力、网络、环境的可靠保障，为企业的研发、生产等提供有力保障。服务器托管利用烟台分所数据中心的机柜空间，为企业自行采购的服务器等设备提供托管服务，能够提供可靠的电力、网络、环境服务。租赁托管服务&服务器整机租赁为中小企业、创业团队，提供高性能服务器的整机622-业务技术支持2-业务技术支持63操作系统技术支持系统安装配置优化；系统常见服务搭建配置；系统安全性配置；数据库技术支持Oracle安装配置优化；MySql安装配置优化；双机热备配置；安全性配置；系统数据服务操作系统技术支持数据库技术支持双机热备配置；系统数据服务64可扩展性：不改变物理资源配置的情况下进行规模调整。高可用性：不影响用户的情况下对物理资源进行删除、转移、故障切换提高安全性：虚拟机资源间的隔离和划分提高使用灵活性：实现动态的资源部署和重配置降低管理成本：减少物理资源的数量，实现中央管理五大特性虚拟化服务可扩展性：不改变物理资源配置的情况下进行规模调整。高可用性：65XenServer方案轻量级Docker方案虚拟化服务XenServer方案轻量级Docker方案虚拟化服务66XenServer方案单机XenServer方案对业务连续性要求不高的情景；多机XenServer集群HA高可用性；故障自动迁移；动态工作负载均衡；VM故障容错镜像；分布式交换机；Failover集群on-line伸缩存储实时热备份WAN重量级虚拟化服务XenServer方案单机XenServer方案多机XenS67四路48核x4SAN共享存储最高上百台虚拟机高可用集群平稳运行五年虚拟化CitrixXenServer四路48核x4SAN共享存储最高高可用集群平稳运行五年虚拟化68多台服务器搭建的高可用xen集群2套，运行虚拟机112台基础设施云化-xen集群技术多台服务器搭建的高可用xen集群2套，基础设施云化-xen集69轻量级Docker方案秒级操作：创建、启动、停止等；资源高效：使用宿主机的内核，资源更高效利用；系统隔离：文件系统隔离，独立根文件系统；资源隔离：不同的流程容器；高可用性：迅速的扩容缩容、滚动升级、自动负载均衡；轻量级虚拟化服务轻量级Docker方案秒级操作：创建、启动、停止等；轻量级虚70资源快速升级简便实用虚拟化-轻量级Docker方案资源快速升级简便实用虚拟化-轻量级Docker方案71秒级的虚拟机创建和分钟级的资源释放自由度够大，有root权限，自己的主机完全由自己管理完善的技术支持。强大的后台管理功能5台服务器，共创建近500个虚拟镜像虚拟环境服务器资源使用率平均在70%以上基础设施云化-docker集群技术秒级的虚拟机创建和分钟级的资源释放5台服务器，共创建近72资源负载CPU、内存、IO、磁盘空间进程、服务进程存活、Web响应、日志报错数据库Oracle、Mysql健康状态网络拓扑绘制、实时流量、网络延迟系统资源监控：CPU使用百分比、CPU队列、内存和SWAP使用率、硬盘空间使用率、IO使用率、目录使用率；数据库状态监控：oracle下tns、login、cache命中率、表空间等；Mysql下的端口、databasename、login、slave等；进程状态:进程状态和数量、单个进程的CPU/内存等的资源占用；日志状态监控：系统日志、应用日志的关键字段报警；网络状态监控：ping延迟、netin/netout、网络设备吞吐、网络设备CPU/内存使用率；报警通知和处理：提供短信、邮件、声音报警，7x24小时值守第一时间处理和告知。IT监控系统IT业务监控保障资源负载CPU、内存、IO、磁盘空间进程、服务进程存活、We73系统资源使用率监控系统硬件资源监控及曲线图；网络资源使用监控及曲线图；系统空间监控及曲线图；低负载服务器提高系统利用率建议；定制的系统监控对各系统提出的定制化需求提供监控服务；定期发送系统监控及运行状态报告；绿色整合只需一个普通用户、一个进程、一个端口，以超低负载驻守后台，精准监控指定项目，权限完全隔离，对现有业务无任何影响。系统监控服务系统资源使用率监控系统硬件资源监控及曲线图；网络资源使用监控74电力系统保安系统消防系统环境系统机房环境监控保障电力系统保安系统消防系统环境系统机房环境监控保障75分布式系统MongoHDFSCeph自包含文件存储、快存储、对象存储无中心结构：高可靠性，杜绝单点故障增添新节点方便，扩展性极强高度自动化：replication、re-balancing、failuredetection、failurerecovery可自我修复的分布式文件存储系统；高可用性：支持自动故障转移；高性能：分布式的多台主机提供服务；高可扩展性，无需停机动态扩；使用低成本存储和服务器构建；面向集合的存储：适合存储对象及JSON形式的数据高容错性：多份数据冗余高可用性：支持自动故障转移高性能：分布式的多台主机提供服务高可伸缩性：自动分片以支持云级别的伸缩性分布式存储技术分布式MongoHDFSCeph自包含文件存储、快存储、对象76oracleactivedataguardMysql&Heartbeat应用多机热备LVS负载均衡完全冗余保护可实时备份、跨IDC部署多机热备oracleactivedataguardMysql77普通文件备份；数据库增量备份；虚拟化级别备份；网络设备备份；数据保障-备份服务普通文件备份；数据库增量备份；虚拟化级别备份；网络设备备份；78多线网络接入网络安全网络带宽和安全保障多线网络接入网络安全网络带宽和安全保障793-使用案例3-使用案例80html5技术支持移动设备访问，为移动办公提供方便绘制服务器性能、数据增长量图表，使得数据显示更加直观导出excel、巡检、发送mail等功能硬盘、内存、CPU监控信息计算各服务器物理资源使用率负载，引导最大化利用硬件资源运维管理系统html5技术支持移动设备访问，为移动办公提供方便运维管理系81ping状态监控服务器负载监控网络负载/网络拓扑流量监控进程、日志监控及报警数据库各类详细状态监控多方式通知：短信、邮件、声音监控系统ping状态监控监控系统827*24小时实时资源监测7*24小时实时资源监测83基于OpenSSL库的应用层VPN实现简单易用，OpenVPN允许参与建立VPN的单点使用共享金钥，电子证书，或者用户名/密码来进行身份验证。多系统支持：Solaris、Linux、OpenBSD、FreeBSD、NetBSD、MacOSX与MicrosoftWindows以及Android和iOS上运行，安全性保障：包含了许多安全性的功能。通过使用OpenVPN结合防火墙策略，可以安全的控制访问策略。VPN系统基于OpenSSL库的应用层VPN实现VPN系统84分布式采集系统实时规则过滤系统分布式存储系统新闻采集器RDBMSICTBase分布式实时搜索系统实时过滤RESTfulAPIs论坛采集器博客采集器元搜索采集器评论采集器回溯过滤态势分析话题发现引擎热门文章分析热词分析热点话题分析热点实体分析消息队列舆情监测服务平台互联网信息预警系统产业导航服务平台分布式调度框架URL全局查重引擎实体抽取引擎采集任务生成分布式数据总线采集结果入库消息队列消息队列舆情热点分析系统统一配置平台信源配置失效检测信源管理电子报采集器微博采集器日志收集与管理系统资源状态监控系统结构化数据实时数据第三方数据源智能报表系统图像分析引擎文本提取图像比对图像特征提取融合报道支撑平台数据平台总体技术架构分布式采集系统实时规则过滤系统分布式存储系统新闻采集器RDB85针对医学影像信息大数据的可计算性科学问题与关键技术开展深入研究：提出一种融合CPU和GPU架构的通用大规模图像并行计算平台架构体系设计与实现方法研制大规模影像数据的高效并行计算平台和存储原型系统（大规模图像计算的无级扩展并行存储系统ICTStor及高效存取的新型键值存储系统ICTBase）

解决多模态、多维“大颗粒度”医学图像的高效存储和快速计算等问题。医学影像大数据——中科院重点部署项目针对医学影像信息大数据的可计算性科学问题与关键技术开展深入研86DatanodeDatanodeDatanodeDatanodeDatanodeNamenodeICTStore分布式文件系统ICTBase实时、分布式、高位数据库MapReduce/Spark/Hive分布式计算Zookeeper分布式协作服务Mysql集中式存储BDE大数据引擎管理平台用户Ganglia分布式监控系统影像检索请求、任务设计、状态监控调用Mapreduce算法进行分布式计算通过索引获取影像检索信息结果返回获取计算结果医学影像数据导入HDFS并通过Mapreduce算法进行实时索引获取监控信息BDA大数据深度分析平台医学影像大数据——系统架构DatanodeDatanodeDatanodeDatano87医疗大数据&智慧健康医疗大数据&智慧健康88目录什么是大数据？大数据&医疗数据中心，强大支撑目录什么是大数据？89大数据什么是大数据？大数据时代的爆炸增长大数据的战略影响大数据什么是大数据？901-什么是大数据1-什么是大数据91电影《点球成金》2011年布拉德•皮特主演的《点球成金》是一部美国奥斯卡获奖影片。所讲述的是皮特扮演的棒球队总经理利用计算机数据分析，对球队进行了翻天覆地的改造，让一家不起眼的小球队能够取得巨大的成功。电影《点球成金》2011年布拉德•皮特主演的《点球成金》是一92数据本质是生产资料和资产VS仅供开采162年仅供开采45年仅供开采60年不可再生资源过去3年数据总量比以往4万年还多2013年，10分钟的信息总量将达1.8ZB2010年全球数据总量1.2ZB，年增长50%数据数据本质是生产资料和资产VS仅供开采仅供开采仅供开采不可再生93什么是数据？SocialMediaMachine/SensorDOC/MediaWebClickstreamAppsCallLogLog半结构化/非结构化数据什么是数据？SocialMediaMachine/Se941Byte

=

8

Bit1KB

=

1，024

Bytes1MB

=

1，024

KB

=

1，048，576

Bytes1GB

=

1，024

MB

=

1，048，576

KB

=

1，073，741，824

Bytes1TB

=

1，024

GB

=

1，048，576

MB

=

1，099，511，627，776

Bytes1PB

=

1，024

TB

=

1，048，576

GB

=1，125，899，906，842，624

Bytes1EB

=

1，024

PB

=

1，048，576

TB

=

1，152，921，504，606，846，976

Bytes1ZB

=

1，024

EB

=

1，180，591，620，717，411，303，424

Bytes1YB

=

1，024

ZB

=

1，208，925，819，614，629，174，706，176

Bytes？什么是大数据？—数据度量何为1Byte =8Bit？什么是大数据？—数据度量何95什么是大数据？中国国家图书馆：2631万册数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务《红楼梦》含标点87万字（不含标点853509字）每个汉字占2个字节：1汉字=16bit

=

2*8位=2bytes1GB

≈

671部红楼梦1TB

≈

631，903

部1PB

≈

647，068，911部美国国会图书馆藏书（151，785，778册）1EB=4000*美国国会图书馆存储的信息量什么是大数据？中国国家图书馆：2631万册数据没有办法在可容96大数据是如何产生的？信息世界、物理世界、人类社会(CPH)三元世界彼此融合、交互映射形成大数据大数据的来源大数据是如何产生的？信息世界、物理世界、人类社会(CPH)大97“大数据”是如何产生的？半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念。如今，这个概念几乎应用到了所有人类智力与发展的领域中。“大数据”是如何产生的？半个世纪以来，随着计算机技术全面融入98“大数据”是如何产生的？194619511956196119701974197919912001200320082011第一台计算机ENIAC面世磁带+卡片人工管理磁盘被发明，进入文件管理时代网络型SQLE-RGE公司发明第一个网络模型数据库，但仅限于GE自己的主机1960年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导IBME.F.Dodd提出关系模型SQL语言被发明关系型数据库ORACLE发布第一个商用SQL关系数据库，后续快速发展数据仓库数据仓库开始涌现，关系数据库开始全面普及且平台无关，进入成熟期2001年后，互联网迅速发展，数据量成倍递增，量变引起质变，开始对数据管理技术提出全新的要求1946年，电脑诞生，数据与应用紧密捆绑在文件中，彼此不分Hadoop成为Apache顶级项目，重点支持海量数据分布式管理和分布式计算GFS谷歌发表论文介绍分布式计算数据管理技术发展历史数据管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术的出现使该领域进入了一个新的发展阶段“大数据”是如何产生的？19461951195619611999大数据是“未来的新石油”2012年，世界上存储的数据达到1.5ZB（约1亿TB）字节，如果把这些数据全部印刷成书，这些书可以覆盖整个美国52次，如果将之存储于标准的光盘，这些光盘可以堆成五堆，每一堆都可以伸到月球。2012年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据就是“未来的新石油”。大数据是“未来的新石油”2012年，世界上存储的数据达到1.1002-大数据时代的爆炸增长2-大数据时代的爆炸增长10113000+个iPhone应用下载Skype上37万+分钟的语音通话Twitter上发布98000+新微博上传6600张新照片到flickr发出290万+条EmailFacebook上更新69.5万+条新状态YouTube上上传600+新视频淘宝光棍节10680+个新订单12306出票1840+张大数据时代的爆炸增长13000+个iPhone应用下载大数据时代的爆炸增长102大数据的4V特征大数据的4V特征103大数据——Volume数据量PB是大数据層次的临界点.Bity->KB->MB->GB->TB->PB->EB->ZB->YB->NB->DB1Bity1KB1MB1GB1TB1PB1EB1ZB1YB1NB1YB大数据——Volume数据量PB是大数据層次的临界点.B104大数据——Variety多样性物联网数据行业/企业内数据互联网数据数据来源多企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。数据类型多保存在关系数据库中的结构化数据只占少数，70~80%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。关联性强数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。大数据——Variety多样性物联网数据行业/企业内数据互105大数据——Velocity速度82254132215327现在及未来几年内美国的移动网络数据流量增长（PB/月）源自英国Coda研究咨询公司大数据的增长速度快大数据的处理速度快实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一；1s是临界点，对于大数据应用而言，必须要在1秒钟内形成答案，否则处理结果就是过时和无效的；大数据——Velocity速度82254132215327106大数据——Value价值挖掘大数据的价值类似沙里淘金，从海量数据中挖掘稀疏但珍贵的信息；价值密度低，是大数据的一个典型特征；为了一点金子，需要保存全部沙子大数据——Value价值挖掘大数据的价值类似沙里淘金，从海107大数据的价值推动经济转型发展的新动力重塑国家竞争优势的新机遇提升政府治理能力的新途径大数据的价值推动经济转型发展的新动力重塑国家竞争优势的新机遇1083-大数据的战略影响3-大数据的战略影响109大数据的战略影响大数据是21世纪的新石油，将与陆海空天一样象征国家的主权大数据成为促进“互联网+”新经济和社会进步的催化剂实验观察的范式理论支撑的范式计算模拟的范式数据驱动的范式大数据产业、云计算产业、互联网+X产业等等成为国家主权的新疆域形成社会进步的新引擎提供科学研究的新范式形成高新科技的新领域大数据大数据的战略影响大数据是21世纪的新石油，将与陆海空天一样象110大数据&医疗大数据在医疗行业中的应用非结构化大数据分析手段流感趋势预测计算机大数据算法大数据&医疗大数据在医疗行业中的应用111医疗健康，刚性需求医疗健康，刚性需求112看病难，看病贵看病难，看病贵113看病难，看病贵看病难，看病贵1141-大数据在医疗行业中的应用1-大数据在医疗行业中的应用115非结构化数据处理——文字建立标准术语系统医学知识模型信息提取文本模块化机器学习统计学习规则归纳电子病历数据挖掘支持：临床决策、建立临床路径、临床指南，诊疗过程追踪1、语言处理技术2、数据挖掘技术3、应用非结构化数据处理——文字建立标准医学知识信息提取文本模块化机116生物特征识别技术通常按照，扫描、数字化处理、分析、特征提取、存储、匹配分类几个步骤处理。目前扫描数字化处理已经相对成熟，主要的研究集中在分析和特征提取方面。计算机辅助诊断技术：医学CAD1、图像预处理：灰度直方图、去噪、图像增强2、图像特征提取：边缘分割、灰度共生矩阵3、图像分类：支持向量机算法（神经网络的一种衍生算法）图像之全息眼镜非结构化数据处理——图像生物特征识别技术通常按照，扫描、数字化处理、分析、特征提取、117非结构化数据处理——视频远程医疗在线教育非结构化数据处理——视频远程医疗在线教育118科技，改变生活物联网3G通讯技术WIFI条码及RFID云计算智能手持终端新型健康管理设备……科技，改变生活物联网119物联网传感技术的快速发展为各类监测与控制提供了可能。物联网传感技术的快速发展为各类监测与控制提供了可能。120智能终端智能终端121可穿戴医疗设备2022/12/21可穿戴医疗设备2022/12/17122智能家用医疗健康检测设备智能家用医疗健康检测设备123应用研发：预测建模提高临床试验设计的统计工具和算法临床实验数据的分析个性化治疗

疾病模式的分析

临床操作：比较效果研究临床决策支持系统医疗数据透明度远程病人监控

付款/定价

：自动化系统

基于卫生经济学和疗效研究的定价计划应用研发：临床操作：付款/定价

：1242-非结构化大数据分析手段2-非结构化大数据分析手段125机器学习机器学习：机器学习是近20多年兴起的一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。机器学习是人工智能的基础。机器学习机器学习：机器学习是近20多年兴起的一门多领域交叉学126聚类分析聚类分析又称群分析，它是研究(样品或指标)分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。聚类分析聚类分析又称群分析，它是研究(样品或指标)分类问题的127非结构化大数据分析手段非结构化大数据分析手段128健康大数据云服务丰富智能硬件用户体验健康大数据云服务丰富智能硬件用户体验129智能家用医疗健康检测设备未来趋势智能家用医疗健康检测设备未来趋势1303-流感趋势预测3-流感趋势预测131流感趋势预测2008年，谷歌推出了其著名的流感趋势网站（/flutrends）。该网站假定的前提是：如果用户患上了流感，则他们会搜索更多同流感相关的信息。如此一来，如果对任何一个国家或地区有关流感的搜索量进行统计，就能较好推断出某个国家或地区是否正爆发流感。事实上，谷歌的这项统计数据被证实很有效。谷歌的相应数据，同美国疾病控制与预防中心(CDC)等政府机构所统计的数据非常接近（97%）。在某些情况下，谷歌甚至能够比CDC提前一周预测出哪些地区将爆发流感。流感趋势预测2008年，谷歌推出了其著名的流感趋势网站（ht132流感趋势预测流感趋势预测133流感趋势预测流感趋势预测1344-计算机大数据算法4-计算机大数据算法135计算机大数据算法在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。计算机大数据算法在大数据时代，数据挖掘是最关键的工作。136计算机大数据算法通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。大数据的挖掘常用的方法有分类算法、聚类算法、关联规则、回归分析、神经网络方法、Web数据挖掘等。这些方法从不同的角度对数据进行挖掘。计算机大数据算法通过对大数据高度自动化地分析，做出归纳性的推137计算机大数据算法--分类算法分类算法是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类。其目的是通过分类模型，将数据库中的数据项映射到某个给定的类别中。可以应用到涉及到应用分类、趋势预测中。如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。计算机大数据算法--分类算法分类算法是找出数据库中的一组数据138计算机大数据算法--聚类算法聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。计算机大数据算法--聚类算法聚类类似于分类，但与分类的目的不139计算机大数据算法--关联规则关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求。例如淘宝可以根据用户浏览、购买等习惯推测人群分类，如孕妇、电脑爱好者等。计算机大数据算法--关联规则关联规则是隐藏在数据项之间的关联140计算机大数据算法--回归分析回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。计算机大数据算法--回归分析回归分析反映了数据库中数据的属性141计算机大数据算法--神经网络方法神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。虽然神经网络有多种模型及算法，但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则，而且人们很难理解网络的学习及决策过程。计算机大数据算法--神经网络方法神经网络作为一种先进的人工智142计算机大数据算法--十大经典算法C4.5K-MeansSupportvectormachinesTheApriorialgorithm最大期望(EM)算法PageRankAdaBoostk-NearestNeighborNaiveBayesCART计算机大数据算法--十大经典算法C4.5PageRank143数据中心，强大支撑服务和保障业务技术支持使用案例数据中心，强大支撑服务和保障1441-服务和保障1-服务和保障145中国科学院计算技术研究所烟台分所数据中心是具有国内一流标准的网络数据中心，拥有高速光纤线路、完备的网络环境以及专业化的网络管理技术。为客户提供便捷、高质量的服务。拥有一流的设施和先进的网络设备，在为您提供高质量的IT服务的同时为您节省了时间和成本，为企业E时代的发展成功提供坚实基础。数据中心概况中国科学院计算技术研究所烟台分所数据中心是具有国内一流标146存储容量达到2.2PB，能提供海量数据的存储及备份。存储容量提供分布式、高可靠的高性能计算和海量数据存储。分布式架构配备500余台高性能服务器，总计算能力达到60万亿次浮点运算/秒。计算能力数据中心介绍——硬件配置存储容量达到2.2PB，能提供海量数据的存储及备份。存储容量147数据中心介绍——环境设施供电设施运行环境安保消防基础网络数据中心介绍——环境设施供电设施运行环境安保消防基础网络148&服务器整机租赁为中小企业、创业团队，提供高性能服务器的整机租赁服务，烟台分所能够提供主机、电力、网络、环境的可靠保障，为企业的研发、生产等提供有力保障。服务器托管利用烟台分所数据中心的机柜空间，为企业自行采购的服务器等设备提供托管服务，能够提供可靠的电力、网络、环境服务。租赁托管服务&服务器整机租赁为中小企业、创业团队，提供高性能服务器的整机1492-业务技术支持2-业务技术支持150操作系统技术支持系统安装配置优化；系统常见服务搭建配置；系统安全性配置；数据库技术支持Oracle安装配置优化；MySql安装配置优化；双机热备配置；安全性配置；系统数据服务操作系统技术支持数据库技术支持双机热备配置；系统数据服务151可扩展性：不改变物理资源配置的情况下进行规模调整。高可用性：不影响用户的情况下对物理资源进行删除、转移、故障切换提高安全性：虚拟机资源间的隔离和划分提高使用灵活性：实现动态的资源部署和重配置降低管理成本：减少物理资源的数量，实现中央管理五大特性虚拟化服务可扩展性：不改变物理资源配置的情况下进行规模调整。高可用性：152XenServer方案轻量级Docker方案虚拟化服务XenServer方案轻量级Docker方案虚拟化服务153XenServer方案单机XenServer方案对业务连续性要求不高的情景；多机XenServer集群HA高可用性；故障自动迁移；动态工作负载均衡；VM故障容错镜像；分布式交换机；Failover集群on-line伸缩存储实时热备份WAN重量级虚拟化服务XenServer方案单机XenServer方案多机XenS154四路48核x4SAN共享存储最高上百台虚拟机高可用集群平稳运行五年虚拟化CitrixXenServer四路48核x4SAN共享存储最高高可用集群平稳运行五年虚拟化155多台服务器搭建的高可用xen集群2套，运行虚拟机112台基础设施云化-xen集群技术多台服务器搭建的高可用xen集群2套，基础设施云化-xen集156轻量级Docker方案秒级操作：创建、启动、停止等；资源高效：使用宿主机的内核，资源更高效利用；系统隔离：文件系统隔离，独立根文件系统；资源隔离：不同的流程容器；高可用性：迅速的扩容缩容、滚动升级、自动负载均衡；轻量级虚拟化服务轻量级Docker方案秒级操作：创建、启动、停止等；轻量级虚157资源快速升级简便实用虚拟化-轻量级Docker方案资源快速升级简便实用虚拟化-轻量级Docker方案158秒级的虚拟机创建和分钟级的资源释放自由度够大，有root权限，自己的主机完全由自己管理完善的技术支持。强大的后台管理功能5台服务器，共创建近500个虚拟镜像虚拟环境服务器资源使用率平均在70%以上基础设施云化-docker集群技术秒级的虚拟机创建和分钟级的资源释放5台服务器，共创建近159资源负载CPU、内存、IO、磁盘空间进程、服务进程存活、Web响应、日志报错数据库Oracle、Mysql健康状态网络拓扑绘制、实时流量、网络延迟系统资源监控：CPU使用百分比、CPU队列、内存和SWAP使用率、硬盘空间使用率、IO使用率、目录使用率；数据库状态监控：oracle下tns、login、cache命中率、表空间等；Mysql下的端口、databasename、login、slave等；进程状态:进程状态和数量、单个进程的CPU/内存等的资源占用；日志状态监控：系统日志、应用日志的关键字段报警；网络状态监控：ping延迟、netin/netout、网络设备吞吐、网络设备CPU/内存使用率；报警通知和处理：提供短信、邮件、声音报警，7x24小时值守第一时间处理和告知。IT监控系统IT业务监控保障资源负载CPU、内存、IO、磁盘空间进程、服务进程存活、We160系统资源使用率监控系统硬件资源监控及曲线图；网络资源使用监控及曲线图；系统空间监控及曲线图；低负载服务器提高系统利用率建议；定制的系统