大数据的基本概念

1、“大数据”基本概念王 声 湧2022/9/71第1页大数据时代正在向我们走来经过对海量数据交换 整合 分析发觉新知识 创造新价值 带来新发觉谁拥有了大数据谁就占有了制高点就疾病控制而言大数据必将成为危险人群 危险地段 多发时间等原因判断采取预防决议干预办法宏观调控信息基础2022/9/72第2页为了防止节日网购高峰物流拥堵亚马逊会依据以往订单和其它原因如商品搜索统计 收藏夹 购物车 用户鼠标在某商品上悬停时间预测用户购物习惯从而在用户实际下单前便将包裹提前发出这些包裹会暂存在快递企业转运中心或卡车里一旦用户正式下单就快速进入派送流程用户刚才在家中下了一笔订单几分钟后物件就送到家2022/9/7

2、3例 1第3页在甲型H1N1流感暴发前几周谷歌企业经过观察5000万条美国人最频繁检索词条数据发觉“治疗咳嗽和发烧药品”检索频率大增进而准确预测了流感发生及传输范围美国地铁警察跟踪地铁抢劫案发生时间和地点分析原因和规律制作出预测图表采取对应办法使地铁抢劫案大为下降2022/9/74例 2例 3第4页什么是大数据？大数据在哪儿？有什么用处？怎么应用？大数据与精准关系？伤害预防研究大数据从哪里找？2022/9/75第5页大数据 Big Data是一个规模非常大在获取 分析 管理 储存 等方面都超出了传统数据库和软件功效处理范围巨大数据集合大数据”是需要新处理模式才能含有更强决议力、洞察发觉力和流程

3、优化能力来适应海量、高增加率和多样化信息资产。大数据是无法用现有软件工具提取 存放 搜索 共享分析和处理海量 复杂数据集合大数据技术是指从各种各样类型数据中快速取得有价值信息能力如大规模并行处理(MPP)数据库 数据挖掘电网 分布式文件系统分布式数据库，云计算平台，互联网，和可扩展存放系统2022/9/76第6页由 来在基础学科经历信息快速发展之后诞生了“大数据”说法即伴随数据指数级增加尤其是互联网商业化和传感器移动化之后从大数据中挖掘出某个事件现在和未来趋势才真正意义上被大众所接触2022/9/77第7页医疗健康大数据是指全部与医疗卫生和生命健康相关以及大众在受到卫生服务过程中产生数据集合数

4、字化医疗是把当代计算机技术信息技术应用于整个医疗卫生一个当代化新型管理方式是卫生单位发展方向和管理目标医疗卫生数据采集 传输 处理 存放也都与计算机亲密相关2022/9/78第8页与环境原因社会原因亲密相关儿少卫生大数据必将成为宏观调控 预防控制 学校卫生信息基础一旦被应用将提升学校卫生决议和科学管理精准在传染病 伤害 学校卫生 营养 暴力等领域大数据分析研究能够有效实现对目标人群安全 危机 风险防范和预警大大提升学校卫生工作精准谁拥有了大数据谁就占有了制高点2022/9/79第9页大数据特征 1. Volume 巨大体量 大数据所拥有数据规模非常大 人们轨迹都能够以数据形式被统计和储存 2.

5、 Variety 数据类型各种多样 数据类型有文本 数字 音频 视频 图片 地理位置信息等 3. Velocity 更加快处理速度 4. Veracity真实性 真实性是取得有效思绪和正确内容原因之一 也是决议得以成功进行制订基础 5. Value价值2022/9/710第10页大数据从哪里来 数据产生和获取 我们所面临两类不一样数据 结构化数据（传统主流）经过事先规划 定义 控制在调查研究中有目标生成并获取数据指向性强 逻辑关系紧密 价值含量高 处理比较轻易但只能在一个系统内部获取可拓展性有很大限制非结构化和半结构化数据（互联网化）伴随遥感 射频等技术成熟和网络普及伴随物联网 移动终端 社交

6、网络和可穿戴设备和社会生活而形成数据即现 随机 真实 鲜活 体量巨大价值嵌入量比较薄 数据处理和价值挖掘过程复杂人类活动正在产生更多电子统计 - 数据化2022/9/711第11页大数据到哪里去 数据处理与利用大数据技术战略意义不在于掌握庞大数据信息而在于对这些含有意义数据进行专业化处理需要专业创新智慧和思维（需求 为何要大数据）需要大数据信息处理平台（技术 怎么去进行挖掘与运算）2022/9/712第12页大数据技术是什么从大数据中提取大价值挖掘技术依据特定目标从数据搜集与存放 数据筛选 算法分析 预测 数据分析与结果展示作出最正确抉择2022/9/713第13页数 据 挖 掘准 备 数 据

7、 集成 语义含糊 遗漏 清洗无效数据 选择 区分出需要分析数据集合 缩小处理范围提升数据质量 预处理 克服数据挖工具不足挖 掘 产生假设 选择挖掘工具和挖掘 证实 结果表述和解释 表示和信息过滤处理直到满意为止 应 用有用信息 移交 政策支持 2022/9/714第14页大数据意义与用途大数据战略意义不在于掌握庞大数据而在于对这些数据进行专业化处理挖掘信息比数量更为主要从海量数据中快速取得有价值信息能力就是大数据技术对各种数据进行分布式数据挖掘是大数据特色依靠云计算分布式处理和分布式数据库采取云存放和虚拟化技术处理模式使数据成为信息资产而具备了更强决议力 洞察发觉力 流程优化能力使疾病预防决议

8、与控制办法到达精准化2022/9/715意义用途第15页07 九月 202216学生健康监测资料转化只有准确可靠 而且令人信服反应伤害与国计民生关系资料才能成为国家和地域卫生工作决议依据 第16页07 九月 202217From data to action监测/检索 - 决议 - 评价数据 资料 决议 干预 评价第17页07 九月 202218将普通资料转化为有用资料useful data可利用资料usable data 第18页2022/9/719数据/资料挖掘需阐述疾病问题 1.某种伤害问题严重性 以伤害发生频率高低 如受威胁人口百分比 伤害发病率 患病率 等 2.某种伤害问题危害性 伤

9、害死 伤 残 疾病负担 生存质量 造成社会经济学损失 个人 家庭 社会损失 3.某种伤害问题紧迫性与关注度 居民要求 社团呼吁 社会舆论和传媒报道 4.伤害干预可能性及效益 可控程度 成本效益分析 5.伤害时间变动趋势 预测 预报 预警 危害大小预计与判断第19页2022/9/72022/9/720Monitoring and Identifying the Injury ProblemSurveillance 监测Data 数据Information 资料Risk identification 危险原因危险人群 危险地点 危险环境 危险时间Intervention 干预自然灾害 工农业事故

10、传染病 社会事件预 防预 测预 报预 警改 进加 强Evaluation 评价决议评价办法评价 效果评价 政策评价预防对策 干预办法螺 旋 式 提 升 第20页 Surveillance Intervention Evaluation Accurate CredibilityPrecision第21页云计算为海量多样化大数据提供存放和运算平台经过对数据管理 处理 分析 优化将结果反馈到伤害控制中创造出巨大经济效益和社会价值大数据挖掘严谨数据治理 精准数据分析精准干预办法精准科学评价2022/9/722第22页从大数据特征定义价值探讨解析大数据宝贵用途说明大数据从采集/处理/存放到形成结果整个过

11、程问题理性思索和科学发展逻辑以及对问题之专业说明与处理实践是大数据最终价值表达为何要采集大数据和怎样处理储存以及怎样合理使用和评价所获结果主要是对某一卫生问题从专业上了解 认识 说明 处理请不要忙碌于对数据资料无益累积2022/9/723第23页洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪发生谷歌流感趋势 Google Flu Trends利用搜索关键词预测禽流感散布统计学家 Nate Silver 利用大数据正确预测了美国选举结果麻省理工学院利用手机定位数据和交通数据成功建立城市规划梅西百货依据需求和库存情况 对 7300万种货物进行了实时调价2022/9/724第24页我们理念是 有

12、数据 用数据 管数据 开展先行先试 更加好地服务国家大数据发展战略开展疾病预防控制我们路径是充分依靠已经有设施资源 把现有利用好把新建规划好 围绕云计算为数据资产提供保管和访问场所与渠道我们议题是怎样充分利用专业内部各种信息 互联网世界中相关物流信息 互联网世界中人与人交互信息和位置信息等 挖掘激活这些数据资产使其为 卫生决议 疾病控制 个人预防服务2022/9/725第25页就是建立数据意识和养成数据决定行动习惯从“零数据”到 “大数据”中间应该有个“小数据”其次是数据分享理念数据开放和数据共享方面观念与机制问题行业建立数据共享使用便捷通道和支撑平台为行业利用大数据技术奠定基础一个长久封闭信

13、息封锁社会数据壁垒无处不在信息无法自由流通是数据使用和数据价值发觉最大障碍这里有技术上需要克服问题，但最主要还是能否有。大数据技术所造成利益转移早就已经开始了数据对社会改造是潜移默化同时无法阻止大数据为我们提供了很多可能未来社会将有很多改变2022/9/726第26页可能数据起源1. 官方数据 政府部门或企业直接提供数据或数据接口2. 半官方数据 如各类行业协会 俱乐部3. 公开平台数据 如淘宝网/京东/唯品会/Google/baidu等 baidubaidu迁徙/baidu精算/baidu舆情/baidu大数据预测引擎等等 阿里巴巴阿里云/支付宝-花呗/芝麻信用/蚂蚁金服等等有大数据技术 腾

14、讯腾讯广点通/腾讯云分析和微信等也都引用了大数据技术 有些会无偿开发数据，还有一部分是付费数据软件4. 用数据采集工具或软件 如追灿爬虫软件和baidu蜘蛛等5. 购置 专门数据采集机构像艾瑞/浪潮或传统调研企业6. /当前不用注册能查到企业注册信息2022/9/727第27页全国各地H7N9D疫情2022/9/728第28页大数据怎样利用大数据前提是有数据原封不动存起来而且要有备份存放针对不一样数据特点考虑不一样存放关系型数据库 MySQL/Oracle非关系型数据库 MongoDB/Elastisearch（非严格意义上数据库但能够用来存放）对相对较小数据（要确保数据真实可靠）进行小范围分

15、析看能否找到规律/趋势再逐步积累完善扩展数据到对全局进行分析 寻找发觉规律进入良性循环2022/9/729第29页大数据未来应用趋势预测每个人健康和生活都需要个性化提议企业管理中选择和开拓新市场可靠信息起源公共卫生服务中大众利益发觉与政策满足2022/9/730第30页大数据已经敲响每个人大门我们必须满怀热情去开门迎客你要用大数据处理什么问题你要做哪些准备搜索和初步数据 硬件 人才 技术 经费实践中学起来 做起来 用起来 每个人都有来学习 认识 应用结合日常业务工作学习资料搜集和处理有目标有计划经过项目标工作学习大数据技术2022/9/731第31页让我们手拉着手走进大数据时代2022/9/732第32页2022/9/733第33页2022/9/734第34页2022/9/735第35