医疗大数据解决方案

(全国97.8万家医疗机构的信息系统基本上都是用关系数据库 41.1名词定义 5第2章医疗大数据面临的挑战 72.1医疗大数据与医院信息系统之间的具有本质的差异 72.1.1小问题放大万倍就会大的吓人 92.2医疗大数据面临八大难题 2.3国家大数据标准工程堪比“两弹一星” 2.4医疗行业的信息系统顶层设计为何难产 2.5大数据挖掘中的问题：大数据的关键不在于大而在于如何挖掘 2.5.1我国医疗行业每年产生多少数据 2.5.2挖掘关系数据库系统所产生的医疗数据非常困难 2.5.3仅患者与数据的对应关系就是一个大问题 202.6关系数据库理论的致命伤 222.6.1关系数据库中的数据在大数据环境中为何变成无意义的数据 2.6.2关系数据库系统是一种完全封闭的系统：外来数据无法入住 2.6.3关系数据库中的数据与数据系统密不可分 252.6.4关系数据库中的数据与数据结构密不可分 252.6.5关系数据库中的数据与应用程序密不可分 262.6.6关系数据库中的数据一旦脱离相应的系统就成了无意义的数据 2.6.7关系数据库无法实现病历信息的结构化存贮 272.6.8关系数据库中的数据都是“方言”,大数据需要的是“普通话” 272.7关系数据库如何处理国家医疗大数据中数万个数据库、数千万张表 292.8大数据之梦十年后成真 2.8.1信息化社会由概念到比较成熟用了30多年时间 2.8.2千年虫问题的启示 2.8.3大数据工程远比千年虫问题复杂 2.8.4五年之内(2020年前)医疗大数据只是纸上谈兵 2.9必须开发新型的软件工具才能对医疗大数据进行高效挖掘 33第3章发明专利：医学信息的结构化存贮方法 3.1在了解医学信息的结构化存贮方法时的注意事项 3.2医学信息的结构化存贮方法 3.3数据的完整性是大数据的根本 3.3.1大数据的策略：以适当的数据冗余而使数据易识别 3.3.2一个事物的数据 3.3.3事物分类 453.3.4关系数据库的缺陷：关系 483.3.5数据的可识别性 3.3.6数据的多样性 3.3.7元数据及国际元数据标准非常重要 3.3.8大数据的关键：让数据自己说话 3.3.9大数据的策略：用数据代替程序 3.4与信息系统的耦合度为零的数据才是合格的大数据 3.5医学信息的结构化存贮方法与关系数据库的对比 3.6应用医学信息的结构化存贮方法的注意事项 3.7超大表化问题：分为多张表 3.8关系数据库中的二维表是数据不具独立性的一个根本原因 3.9“万能数据结构表”存放病历信息的例子 3.10医学信息的结构化存贮方法实现互联互通非常简单 3.11结构化录入病历信息的例子：症状的结构化 第4章独立数据库在医疗大数据方面的优势 4.1大数据中最重要的就是查询 4.2超大表问题 4.2.1自动调整表的长度 4.2.2自动查询多张表 4.3用独立数据库实现国家医疗大数据的存贮处理 4.3.1独立数据库如何处理国家医疗大数据中数十万个数据库、数千万张表734.3.2疾病、症状的相关数据 们发现，对全国97.8万家医疗机构所产生的医疗数据进行挖掘非小数据)。医疗大数据所要处理的数据是全国97.8万家医疗机构所拥有的数十是处于概念阶段。大数据梦想将在10年后梦想成真，5年之内，难有突破性进独立数据库：由发明专利技术“医学信息的结数据库即可称为独立数据库。独立数据库与关系数据库有本质的差异。●事物分类：事物分类是由发明专利技术“医学信息的结构化存贮方法”据时会遇到很多难以克服的困难。五年之内(2020年前)大数据难以取得根本关系数据库中的数据的一大特点(或者说一大问题)就是“数据严重依赖于数据库系统及应用程序”,当关系数据库系统中的数据脱离些数据的数据量一定会非常庞大，这些数据不能处理呢?中心获得患者在全国任意一家医院就医时的所有病历呢?假设全国各家医院的截至2014年3月底，全国医疗卫生机构数达97.8万个，其中：医院2.5万个，基层医疗卫生机构91.8万个，专业公共卫生机构3.2万个，其他机构0.3万个。全国按2.5万家医院计算，一家医院按4个信息系统计算，全国共有10万件工具，那么,从数千万张表中查询数据，即使最优秀的程1、这些数据分别是哪家医院所产生的?2、这些数据分别是什么样的数据库系统产生的?3、这些数据分别存贮在哪些表中?4、各张表的结构是什么?5、表中会含有大量的代码，各个代码的含义是什么?6、同一数据库中会有多张表，这些表之间的关系是什么?7、各张表中所存贮的是什么数据?数据的类型是什么?国家医疗大数据并不是把全国各家医院所产生的数据全部集中在一起就可大数据比小数据大多少倍?目前没有明确的定义，应大数据的大表现在：一是数据量大(是小数据“万倍以上”),二是数据类四是所涉及到的用户多种多样(是小数据“万倍以上”),五是对数据的需求多种多样而且不确定(是小数据“万倍以上”)。3岁小朋友都可以数清楚自已家里有几口人，然而全国有多少人?由于人数事物的数量大到一定程度后一项非常简单的工作就会变成一项非常艰巨的大数据的特点：小数据中的小问题一旦放大万倍就会倍、数十万倍就会大的吓人!对医疗行业而言，全国拥有近97.8万家医疗机构，数百万从国13亿人服务。●大数据=价值大=困难大=问题大=代价大所有信息系统中挖掘出有价值的信息实在是大难了!主要有下述八大难题。1、各自为政：各家医疗机构各自为政，都“SH”等表示上海市出生的人。解决这一3、业务及业务流程不标准：要对全国的某个行业是非常高昂的。【为什么要升级改造?因为家卫计委组织业内外力量来解决，解决此问题需要3至5年的时间。有了国家医下述4个问题属于技术问题，关系数据库理论解决不了这4个问题，可由发能实现病历信息的结构化存贮。有人用XML实现病历信息的结构化存贮，然而2.3国家大数据标准工程堪比“两弹一星”大数据八大难题中的五大难题(各自为政、数据不标准、业务流程不标准、而彻底砸烂小数据建立大数据新环境则涉及到几乎所有信息系统的所有数据!当前在处理大数据时的首要工作就是数据抽取(ETL:“Extract”、取工作也类似“秦始皇的书同文”,只是数上解决书同文问题。要使大数据真正做到“书同当我们面对数十万个、数百万个以上的信息系统中的数据(大数据)时，就会发现，我们面临很多挑战：“(维基百科对大数据的定义)无法在可承受的时而信息系统对关系数据库中的数据进行处理后而以用户能够理解的形式展现给国家卫生和计划生育委员会几年前就注意到了医疗行业信息系统顶层设计如果把全国97.8万个医疗卫生机构所产生的数据全部存贮据中心，这些数据可以称作是“国家医疗大数据”,然而这样的数据并不能称作是真正合格的“国家医疗大数据”,因为，对这样的数据的挖掘非常困难，从这国家医疗大数据的概况：截至2014年3月底，全国医疗卫生机构数达97.8万个，其中：医院2.5万个，基层医疗卫生机构91.8万个，专业公共卫生机构仅按全国拥有2.5万家医院、每家医院4个信息系统计算，全国约有10万个以上的医院信息系统，每个信息系统按20张表估算，全国共拥有200百万张2台专用于PACS,其中HIS、LIS、EMR等数据3T,病案缩微数据12T,PACS数据120T左右，每个月的数据增长为2T左右，每年产生的数据量：24T/年。国家医疗大数据的数据量估算=2.5万家(未计小医疗机构的数据)*24T/年=60万国家医疗大数据的数据量估算：6万T/年至100万T/年。如果全国97.8万家医疗机构以镜像的方式把所有数据都上传数据中心，那么该如何对这些数据进行挖掘?全国共有97.8万家医疗机构，这些医疗机构所拥有的信息系统有10万个以上，这些医疗机构所拥有的数据库有10万个以上，这些数据库中的表有200万张以上。这些医疗机构的数据存贮在数十万个以上的文件夹中(存贮XML、音像、文本等数据)。患者病史可能是患者自出生以来的所有●10万个以上的数据库各用什么数据库系统?●10万个以上的数据库的数据存贮在哪里?IP?如何访问数据库(帐(整体定位)(数据库、数据表、字段)(主键或组合主键)(主索引或其他标志)(保证数据准确、全面)…(字段)(字段)燃出如果说要从国家医疗大数据中查询患者影像数据，那么,该如何实现?门诊或住院号姓名中请时间17岁男32岁男亮29岁男福男028岁女考皮右肺结核(请结合痰检)杰男(门+住)胸部撑旋CT文()+任)脚部螺能CT端男田园者(门+住)胸部搜旋CJ男(门+住)胸部螺能CT 原男(门+住)胸部蝶旋可根据患者身份证号而查出患者的“门诊或住院号”,再根据如果在国家医疗大数据中心查询到下表的数据，谁能看懂?R9R9ER9呋喃妥因59该表中的数据是某家医院的信息系统中的关系通人难以看懂的：姓名性别姓名性别中药费其它费用中的数据无论是谁，只要懂汉语，就可以看懂表中内容：D事物代号附件时间教练信息身份证号姓名张三性别男身高病历住院病历医疗费用身份证号姓名张三性别男中药费元西药费元其它费用元相对大数据而言，关系数据库理论是小数据时导致关系数据库中的数据只有通过应用程序关系数据理论的一个致命伤就是由设计人员随意定义数据结构(表结构),例如医院的HIS系统、PACS系统、LIS系统。关系数据库理论于1970年的6月由IBM公司的研究员埃德加.考特(Edgar关系数据库是信息化社会的功臣，也是当今严重的信息孤岛的罪魁祸首!关系数据库理论是单机时代、局域网时代的产物，是一种以自我为“中心”关系数据库有多种(ORACLE、SQLSERVER、DB2、ACCESS等等),每一种大数据，必须从根本上解决大数据所涉及到的“无穷的数据、无穷的数据结构”则用“M”代表男性，用“W”代表女性。在医院信息系统中，各个信息系统可不统一的代码带给数据挖掘人员的将是灾难!因为医疗大数据挖掘人员所面临的性院号病房房号床号姓名hh3039号22性网出生日期年龄婚否码身份证号工作单位住院日期622120112195304293334建南区七闸口植三 学知识库信息的结构化存贮，查询速度远远超2.6.8关系数据库中的数据都是“方言”,大数据需要的是“普通话”大数据中心，那么,国家医疗大数据中就拥有10万个以上的医疗信息系统所产病史的通用应用软件?患者病史数据有可能包含在10万个以上的数据库中的数千万张以上的表中，首先需要搞清楚国家医疗大数据中的10万个以上的信息系统所产生的数据数据库中含有哪些表，这些表(数千万张表)的数据结构是什么、这些表之间的其次是数据抽取(ETL),然而要对数十万个数据库中的数千万张表中的数如果某些医疗信息系统中未能使用患者的身份证号，那么,在大数据环境查询过程如下：发，数据结构各不相同。要搞清楚对应的数据库及对应的表，也是一病历数据存贮在XML文件中。全年每年产生76亿份病历，从76亿份病因结论：处理数十万个关系数据库系统所产生的大数据是非常困难的!由于医疗大数据面临八大难题以及对全国各家医疗医疗机构现有的信息系是把各家医疗机构的数据全部存贮到一个云平台就能称作是合格的国家医疗大2.8.1信息化社会由概念到比较成熟用了30多年时间的较为流行的说法是“3C”社会(通讯化、计算机化和自动控制化),“3A”社会(工厂自动化、办公室自动化、家庭自动化)和“4A”社会(“3A”加农业自动化)。到了90年代，关于信息社会的说法又加上多媒体技术和信息高速大数据的概念是2012年提出的，根据以往的经验，要创造一个时代，最起年危机”。缩写为“Y2K”。是指在某些使用了计算机程序的智能系统(包括计算机系统、自动控制芯片等)中，由于其中的年份只使用两位十进制数来表示，因此当系统进行(或涉及到)跨世纪的日期处理运算时(如多个日期之间的计算或比较等),就会出现错误的结果，进而引发各种各样的系统功能紊乱甚至“千年虫”问题的根源始于60年代。当时计算机存储器的成本很高，如果来临之际，大家才突然意识到用两位数字表示年份将无法正确辨识公元2000年及其以后的年份。1997年，信息界开始拉起了“千年虫”警钟，并很快引起了费2000亿美元(有的媒体报道为3000亿美元，有的为6000亿美元)。新年伊始，联合国“国际2000年问题协调监控中心”等机构先后宣布，133个国家的能源、通讯等若用当前的技术如何处理国家医疗大数据?其次是数据抽取：对原有的数据进行抽取。若要对全国97.8万家医疗机构2.8.4五年之内(2020年前)医疗大数据只是纸上谈兵据才能逐步变成现实。从某种方面而言，五年之内(2020年前)中国没有真正挖掘的数据只能称为“数据垃圾”,五年之后才能将“数据垃圾”变成宝。过目前主流软件工具，在合理时间内达到获取、处理的数据。”维基百科对大数据的定义也意味着当前的主流软件工具已不能满足时代发人的大脑是如何处理数据的多样性的?对人的大脑而言，没有数据类型的概念。对于同一感觉器官所接收的信号而言，它们的类型都是一的数据有数据类型，也只有六种类型(视觉型、听觉型、触觉型、嗅觉型、味觉型、痛觉型)。从某种方面而言，大脑中的数据只有一种类型，即模拟型数大脑以同时联想、相似联想、接近联想的方式就可以联想(犹如计算机中的查询、检索)到大脑中的所有信号。而这些功能、特性是关系数据库及XML不可能实现的。而医学信息的结构化存贮方法是关系数据库理息的结构化存贮方法进行大数据挖掘时会使原来非常困难的问题变得非常简单。适合处理病历信息，可以使病历信息结构化，法”也是一种新型的数据库理论，因此，需要花金庸的小说描写到：游坦之之所以能练成易筋不会。武功非常高强的鸠摩智为什么练不成易筋经?在少林寺藏经阁中的扫地僧说“鸠摩智练了少林派的七十二绝技之后，又去強练甚么《易筋经》”,又说他“次序颠倒，大难已在旦夕之间”。说存慈悲之念，戾气所钟，奇祸难测。这般修炼上乘关系数据库以“横向”的N个字段存贮一个事物的信息：姓名“医学信息的结构化存贮方法”以“纵向”的N(或N+X)条记录存贮一个事物的信息事物代号附件时间员工信息姓名张三性别男医生列名事物代号附件时间万能数据结构表”存贮数据的例子：时间住院病历患者基本情况身份证号姓名石化总厂入院日期婚否已婚病史采取日期籍贯浙江省宁波市病史记录日期民族汉患者本人住院病历现病历身份证号寒战腹泻诱因间身份证号住院病历现病历腹泻开始时间1991-8-16晚间次数3次身份证号住院病历出院记录肿块大小肿块特点不光滑肿块特点界限不清肿块特点肿块特点肿块特点肿块特点“桔皮样”改变中一个完整的数据是“事物”,一个“事物”的信息由若干条拥有相同“超长特征值”的含义也是事物特征值，用来存放超过“事物特征值”6.“单位”字段代表事物特征值的单位(次、米、吨等)。构表”中的“N个记录”时，这“N个记录”组成一个事物，每一息的结构化存贮方法所建立的电子病历系统和医学知识库的存贮效果及查询速息的数量十分庞大，人工已无法处理。计算机处理病历信息的比较高的目标是：速度快。2014年全国诊疗量为78亿人次，若全用电子病历，全国每年产生78存贮方法不要求同一类事物都要拥有相同的“字段用医学信息的结构化存贮方法所建立的各种信息系统的数据源都是相同的医学信息的结构化存贮方法作为通用数据接口的应用可以接收和发送各种各样口就可以接收各种各样的数据，只要把所接收的数据转换为“万能数据结构表”据的可识别性(数据的可识别性是指可让各个数据都的特性),需要特别注重数据的独立性、数据的完整性。姓名性别上面的数据去掉结构后就会失真：1男关系数据库中的数据：姓名性别中药费其它费用去掉结构后就会失真：男9事物代号附件时间病历住院病历患者基本情况身份证号姓名张三性别男身高上表中的数据去掉结构后也不失真：病历住院病历患者基本情况身份证号姓名张三性别男身高下面的数据即使脱离表结构也能表达出原来的含D事物代号附件时间病历住院病历医疗费用身份证号姓名张三性别男中药费元西药费元其它费用元病历住院病历医疗费用身份证号姓名张三性别男中药费元西药费元其它费用元3.3.2一个事物的数据据库的名称、表名”实际上是事物的“分类”,或者说是事物的属性、特征。这对大数据而言每个数据都必须满足如下条件才能让各种上各样的用户都能看懂数据的真实含义：在大数据环境中，系统名(例如电子病历系统、PACS系统)、数据库名、即使数据在数百万个信息系统中，只要具有同的“事物特征”和“事物特征值”事物代号附件时间333帝企鹅33动物编号3名字汉武帝3购入日期3身高m33出生日期3照片3笼舍编号3管理员张三3父3母客户雇员山秦企业统一包患凯诚国际顾间公司学仁贸易国皓10286升格企业下面将要描述的是如何用独立数据库的方法让各个数据自己自动地建立关附件时间山泰企业订购日期到货日期发货日期元货主名称货主地址猪肉元折扣0%9元吨折扣0%元瓶门诊或住院号，要在大数据环境中查询某个份证号而查出门诊或住院号，再根据门诊或住院号而从PACS系统表中的PACS数据。这也是典型的“关系”,这种“关系”为大数据处理增加了很多中请时间世17岁周气男福再女感考虑右帅结核(请结合痰检)杰男(门+住)航事搜第石女(+住)胸部螺建CT滨男田园害(门+性)胸部棵牌行男(门+住)胸部螺庭CT思男(门+住)胸部媒旋性院号病房房号床号姓名性号网出生日期06133038月608有1517班下：222年龄婚否词11230227198302170411无系”,让数据本身的特征及特征值而自动发生“关系”,或者说独立数据库中数关系数据库的“关系”:数据与数据库系统(ORACLE、SQLSERVER、等)具有密不可分的关系，数据与表结构具有密不分的关系处理制造了很多麻烦!正是由于关系数据的“关系”而导是“独立数据库”,就是为了与关系数据库系”,而“独立数据库”所强调的则是坚决铲除“关系”,让各个数据自己独立附件时间患者基本情况患者编号身份证号姓名胡风上海橡胶厂职别性别女上海市蒙古路20号婚否已婚病史采取日期民族汉时间患者编号姓名胡风身份证号独立数据库中的数据冗余的目的是让每一个数据在任何环境中都具有可识策略!其目的是为了是以适当的数据冗余而使数据具有可识别性。当前的硬盘的存贮容量与80年代初期相比，已提高了十万倍以上，因此，为10M,现在硬盘的容量已2T以上。2T=2000G=2000000M=20万个10M】968R9bR3E8R呋喃妥因S1前的医疗信息系统中未使用患者的身份证号而导致查询患者的影像数据变得非 (例如身份证号)来确保每一个数据都是可识别的。在下面的PACS系统表中的门诊或住院号申请时间爸11岁男男元学福男获检)2、表侧胸腔积液伴物膜增原粘属请文法材商镇检(+)考虑右肺结核(请结合痰检)蓝男女出月田园者男西西思男3.3.6数据的多样性持XML进行元数据交换；支持分布式的元数据访问和管理；生成元数据报表；对于ETL过程的冲突分析；基于元数据的查询功能；元数据的广播和重用；对于ETL过程的流程分析等。SQLSERVER、DB2等)具有密不可分的关系，数据与表结构具有密不分的关系，6胡凤工人05已汉上述形式的数据是小数据时代的经典结构形式。其实“字段名”也是很重要附件时间患者基本情况患者编号身份证号姓名胡风职别性别女婚否已婚病史采取日期民族汉那么,在对数十万个信息系统中的数据进行处理时，根本不需要进行数据抽取。“万能数据结构表”中的信息是让“数据自己说话”,不依赖数据库系统、目前硬盘的存贮容量已提高了10万倍以上，多占据一倍左右的存贮空间的代价据就是程序”,其含义是：大脑是一个通用的、万能医学信息的结构化存贮方法是一种“数据与程序无关的数据结构”,或者说是一种“是什么就是什么,与程序无关”。因为医学信息的结构化存贮方法中的无关时(或关系很少时)”,只要编写一个通用的程序，其它人借助这个程序就用数据代替程序：宁愿增加大量的“冗余”推论：由于关系数据库中的数据几乎全部都是与信系”,可以完全脱离数据库系统、表结构、孤岛问题就可以得到有效解决!医学信息的结构化存贮方法与关系数据库的对比一件非常烦琐的工作。“万能数据结构表”是一张万能表，可以存放任意结构的数据。不同的表，其结构不一样。1000种表就有1000种以上的结构。关系数据库是一种与数据结构密不可分的数据库，正因如此而导致了异构数据源、信息孤岛、信息交换问题。的，所有的数据都可以放到一个统据结构表"而建立的数据库系统是据库。关系数据库是异构数据的发源地。不存在异构数据问题，所有的数据都是同构的。化的数据结构的数据结构关系数据库中的任何数据都与其数据结构密切相关，关系数据库不能存放当关系数据库中的数据传送到其它地方时，就会因为没有对应的数据库和数据结构而无法生存。为它是一种与结构无关的数据结构，虽说它也有结构。“万能数据结构表"在任何数据库中的结构都相同。关系数据库中的数据不是独立数据必须依赖其数据结构而存在，失去了数据结构，就会变成无意义的数据。种含义。关系数据中的数据不是完整数据，因为完整的数据。是完整数据所以处理医学信息的结构化存贮方法中的数据与处理关系数据库中表中的数据病历中的“患者基本情况”的信息为：姓名胡凤工作单位职别上海橡胶8厂工人性别女住址上海市蒙古路20号年龄32岁入院日期1991-4-30婚否已病史采取日期1991-4-30籍贯江苏盐城县病史记录日期1991-4-30号值附件时间住院病历入院病历患者基本情况患者编号姓名胡风健康卡号身份证号职别性别女入院日期民族汉者住院病历入院病历患者编号姓名胡风健康卡号身份证号怕热持续时间5年住院病历入院病历患者编号姓名胡风健康卡号身份证号多汗持续时间5年要一个接口，若与100个系统交换数据，最少要开发100个接口。因为用医学信息的结构化存贮方法所开发出的信息系统的数据源都是同