大数据时代和大数据背景下的科研转变

大数据时代和大数据背景下的科研转变大数据的概念数据海量化和数字化

数据量的爆发式、几何式增长：从人类文明出现到2003年，人类总共才产生了5EB（ExaBytes，1EB=10亿GB）的数据，但是当前的人类两天内就创造出了相同的数据量，全球90%的数据都是在过去两年中生成的，到2020年全球数据使用量将大概需要376亿个1TB的硬盘进行存储。

越来越多的数据存储为数字数据：在2000年，数字存储信息仍只占全球数据量的四分之一；而在2007年，所有数据中只有7%是存储在报纸、书籍、图片等媒介上的模拟数据，其余全部是数字数据；到2013年，世界上存储的数据预计能达到约1.2ZB（1ZB=1000EB），其中非数字数据只占不到2%。数据分析和管理效率的大大提高

模拟时代的数据收集和分析极其耗时耗力，新问题的出现通常要求我们重新收集和分析数据。

数据数字化和云计算技术的发展使得数据管理效率又向前迈出了重要的一步。数字化将模拟数据转换成计算机可以读取的数字数据，使得存储和处理这些数据变得既便宜又容易，从而大大提高了数据管理效率。大数据的4V特征“高容量(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。量Volume多样性Variety价值Value速度Velocity数据体量巨大大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）数据的多样性数据类型繁多（文本、图像、视频、机器数据、地理位置信息等等）大量的不相关信息价值密度低需要强大的计算技术进行“提纯”数据产生和更新的频率快，处理速度快大数据时代的来临使人类第一次有机会和条件，在非常多的领域和非常深入的层次获得和使用全面数据、完整数据和系统数据，深入探索现实世界的规律，获取过去不可能获取的知识，得到过去无法企及的商机。“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”

——全球知名咨询公司麦肯锡大数据时代数据处理思维的三个转变全数据模式，而不再依赖于随机抽样

很长一段时间以来，准确统计和分析大量数据对我们而言都是一种挑战，比如人口普查。通常我们只能收集少量数据进行分析，称之为抽样分析。大数据是建立在掌握所有数据，至少是尽可能多的数据的基础上的，使我们能够更清楚地看到了样本无法揭示的细节信息并进行新的分析。为了赢得与癌症的斗争，史蒂夫·乔布斯曾花费数十万美元为自己DNA测序，得到了包括整个基因密码的数据文档。这样，史蒂夫·乔布斯的医生们能够基于乔布斯的特定基因组成，按所需效果用药。如果癌症病变导致药物失效，医生可以及时更换另一种药，最终这种方式帮助乔布斯延长了好几年的生命。乔布斯开玩笑说：“我要么是第一个通过这种方式战胜癌症的人，要么就是最后一个因为这种方式死于癌症的人。”不再热衷于追求精确度

追求精确度的思维方式适用于掌握“小数据量”的情况，此时必须确保记录下来的数据尽量精确。因为收集信息的有限意味着细微的错误会被放大，甚至有可能影响整个结果的准确性。拥有了大数据，我们不再需要过于追究细节，只要掌握大体的发展方向即可。比如计算小商品的营业额和计算国民生产总值。不再执著于寻找因果关系

长久以来，我们的研究总是热衷于追寻现象之间的因果关系。而在大数据时代，我们无须再紧盯事物之间的因果关系，应该寻找事物之间的相关关系。

如果数百万条电子医疗记录显示橙汁和阿司匹林的特定组合可以治疗癌症，那么找出具体的药理机制就没有这种治疗方法本身来得重要。

2011年，美国个人消费信用评估公司FICO提出了“遵从医嘱评分”——它分析一系列的变量来确定这个人是否会按时吃药，包括一些看起来有点怪异的变量。比方说，一个人在某地居住了多久，这个人结婚了没有，他多久换一个工作以及他是否有私家车。这个评分会帮助医疗机构节省开支，因为它们会知道哪些人需要得到它们的用药提醒。有私家车和使用抗生素并没有因果关系，这只是一种相关关系。大数据的应用：谷歌流感预测谷歌流感预测（/flutrends）早在2008年即已推出，原理是采用流感趋势系统监测全美的网络搜索，寻找与流感相关的词语，比如“咳嗽”和“发烧”等，并利用这些搜索结果来提前9个星期预测可能与流感相关的就医量，不像疾控中心一样要在流感爆发一两周之后才可以做到。2009年在H1N1爆发几周前，谷歌公司的工程师们在《Nature》上发表了一篇论文，介绍了GFT，成功预测了H1N1在全美范围的传播，甚至具体到特定的地区和州，而且判断非常及时，令公共卫生官员们和计算机科学家们倍感震惊。大数据的应用：PCORnetPCORnet由美国政府资助的患者中心成果研究所（PCORI）建立。据估计该数据库将收录高达3000万患者的详细医疗数据，通过大数据的分析，为临床疾病的治疗提供更真实的数据图景，将极大丰富美国真实世界的临床研究数据。大数据的应用：百度疾病预测百度的疾病预测（/disease/）于2014年6月上线，目前可以对全国331个地级市，2870个区县的12种疾病进行未来趋势的预测，某些城市甚至已经细化到具体的商圈。目前该产品提供包括流感、肝炎、肺结核、高血压、心脏病等疾病的活跃度、流行指数，以及各种疾病相关的城市和医院排行榜，用户可以查看过去15天以内的数据和未来7天的预测趋势。预测原理：流行病的发生和传播有一定的规律性，与气温变化、环境指数、人口流动等因素密切相关。每天网民在百度搜索大量流行病相关信息，汇聚起来就有了统计规律，经过一段时间的积累，可以形成一个个预测模型，预测未来疾病的活跃指数。大数据时代下的医学科研临床医学资源发掘、收集、整理和利用（标准化、科学化）。大样本、多中心的临床研究（病因、诊断、治疗及药物开发）。依托临床信息的生物医学资源的整理、利用及研究（基因、蛋白及代谢）。大数据研究成果：阿奇霉素与心血管死亡风险分析了田纳西州医院所有患者的数据发现，在疗程5天的阿奇霉素治疗中，心血管(CV)死亡风险小幅增加。研究者分析了1992(阿奇霉素首次引入美国的时间)~2006年间田纳西州医疗补助计划中30~74岁患者的数据。将347,795个阿奇霉素5日疗程中的CV死亡和全因死亡事件数与未接受抗生素治疗的1,391,180个匹配对照时期进行了比较。结果显示，与未接受抗生素治疗相比，使用阿奇霉素与CV死亡率增高相关(每100万阿奇霉素疗程中发生85.2例CV死亡，每100万无治疗时期中发生29.8例CV死亡)。大数垄据研吧究成猾果：梦DD罪I-槐CP沙I上海悔交通剩大学涨B武io圆-X猴研他究院笑联合葱美国破I寺BM萄沃场森研叉究院卧、哈如佛大茫学、举加州见大学秀伯克克利分括校等独医药常大数糟据前朴沿机院构的限研究傻人员她，共迹同构吊建了趣基于钢医药杀大数锯据的把药物昼互相捧作用豪搜索把引擎胜，利光用化险合物伙-府蛋叼白互锈作组鱼（C歌he块mi末ca掘l-当Pr派ot折ei局nI醋nt拉er蚁ac岛to扇me脚,莫CP平I）醒的海混量数脊据在魂超级柄计算器机上溜模拟蓝药物汇相互切作用，通过畜改进诱了的劣大数脊据挖睛掘算次法，楚比较书用户棕提交惰分子粗的指前纹图猪谱来撒预测季潜在部药物相互订作用，从昏而及炒时预评测用之药风矩险。部分费研究小成果山已发贴表在赛近期遮的《袖核酸誓研究尽》（冻影响夕因子钉8匀.3哄）上稿。大数甲据发释展中丝式的问皂题：蜜数据庄的开庆放和卖流通“大躺数据怠”发刑展的疼障碍青，长在于宫数据花的“龟流动堆性”劲和“炼可获饺取性恳”。美国雀政府能创建浸了D败at船a.刊go题v网铸站，坏为大但数据偷敞开白了大赵门；香英猾国、肚印卫度也坟有“擦数据兽公开句”运摩动。大数跨据发僵展中鹿的问婆题：技术卧与硬件甘设备除了枝数据谊的可副获取暖性，泽还需笔要有相应活的技危术与舞设备固来获晨取和错处理舞这些翻数据。传统普的数荐据挖摘掘方灵法与匀工具辩技术访逐渐稍无法胳应付确迅速揪涌现罩的