大数据应用与分析

目录TOC\o"1-5"\h\z大数据应用与分析2大数据对经济的影响2大数据提升健康管理和诊疗水平2大数据成为互联网金融动力引擎3大数据改变产销模式：O2O&生产导向-＞需求导向：3大数据重塑人力资源管理4大数据维护公共安全、国家安全4大数据改变未来战争4大数据摧毁暴力恐怖5大数据维护公共安全5大数据改变科学研究理念和方法6大数据是电子信息类学科发展的产物6大数据成为科学研究的第四范式6大数据科研案例7饮食特征分析7农村人对城市的适应能力分析7大数据科研案例：强强联合胜过个人英雄8大数据科研案例：用搜索词预测流感趋势8大数据科研案例：从社会资本到经济发展8大数据科研案例：跨域预测与隐私问题9手机是人类历史上最成功的传感器9大数据改变教育9大数据实现定量化教育管理和引导9大数据改变教育理念和教育方法9大数据实现个性化教学——案例110大数据全面提升校园教学和服务水平10大数据帮助实现学校资源的优化配置11成为大数据企业（并不是一件容易的事）11第一天：数据化11第二天：数据管理平台建设12第三天：海量数据深入分析挖掘的能力12第四天：外部数据战略储备13第五天：数据外部应用创新能力14第六天：数据的开放和共享14第七天：数据产业战略投资15大数据应用与分析大数据对经济的影响大数据提升健康管理和诊疗水平基因测序实现个性化医疗——通过基因缺陷提前进行预防。针对已患疾病进行针对性治疗；针对可能疾患进行提前预防；个性化诊疗和用药方案。穿戴计算实现实时健康管理非干预穿戴设备实时采集脉搏、血压、皮肤电阻等指标；监控个体健康情况，预警突发疾病；为残疾人、老年人、婴幼儿和特定疾病患者提供实时的医疗服务。病历分析实现医疗资源共享为初级医院、初级医生疑难病例的治疗提供智能决策辅助；发现患者骗保行为；监测医院、诊室甚至个别医生不正常的过度医疗和用药行为。1.2.大数据成为互联网金融动力引擎1.2.大数据成为互联网金融动力引擎1-1风险评估：个人授信、企业授信、异常检测；保险歧视：行为分析与风险评估价值挖掘：极高价值客户挖掘与消费关联分析案例：信用卡申请分析——信用分析：搬迁频繁程度，工住区经济情况消费总额度，消费水平奢品消费指数POS手续费套费——冒用低手续费商铺类型（书报店、百货、乡间加油站）：平均值法（书报店的pos消费都不高）消费时段不同（娱乐场所的消费时段集中在夜间）特定时刻的消费金额（油价上调前一晚加油站的消费出现高峰）1・3■大数据改变产销模式：020&生产导向-＞需求导向：大数据提升市场效率：热力图展示网点位置指导代言人选择指导精准营销方案结合行业专家，用数据说话。大数据重塑人力资源管理针对给定职位信息的多维度匹配，关注行为、性格、兴趣等维度；给出目标用户到招聘团队的社交距离和社交路径，增加人资部门人脉资源；对简历数据实行智能化挖掘和机器判断：通过、不通过、边缘、异常；打通绩效分析预测与简历挖掘和人才搜索，实现闭环式管理，预测离职可能等；实现基于大数据分析的培训方案设计、项目团队管理、人员薪资管理等。大数据维护公共安全、国家安全大数据改变未来战争大数据攸关国家安全战略：美国大数据研究和发展计划，欧盟Horizon2020计划都把大数据提到了国家安全战略层面；数字主权是继海陆空天四空间之后另一个大国博弈的空间。大数据提升情况侦察能力：从遥感测绘、电磁探测到泛传感探测体系；数据机器人将广泛投入到战场；民用数据将被广泛应用于战争；终端战争。大数据提升快速决策能力基于海量数据分析决策的“近传感器计算”将成为未来战争典型形态；战争力量对比将从“大吃小”转变为“快吃慢”。大数据摧毁暴力恐怖大数据帮助挫败恐怖袭击大数据帮助挖掘异常事件大数据帮助分析目标对象大数据维护公共安全大数据提高事前预防效率第三方数据的外部应用，例如用水用电数据，结合视频数据；公开数据的挖掘分析，例如论坛、贴吧数据的分析；大数据提高事发出警效率通过地理大数据“文本-位置”对译平台，提高出警效率，优化出警方式；通过数据分析实现自动化警员绩效评估；大数据提高事后刑侦破案率大规模互联网数据回溯技术和IP追踪技术;视频压缩技术，视频关键帧提取技术；视频搜索技术。——把描述语言变成图像搜索可用的条件。大数据改变科学研究理念和方法大数据是电子信息类学科发展的产物信息化从重视流程数据化变为全过程数据大数据在全学科发展中处于中心位置，交叉可以产生更多的作用大数据成为科学研究的第四范式传统方法（串行）：数据+理论.I解释］I预测I>1控制大数据方法（并行）：基于显示小规模控制实验的半定量科学将走向基于大规模非控制数据分析的定量科学：社会学、心理学、管理学以社会科学为例宗教问题社会流动性问题亚文化问题谣言传播问题大型科学愈发依赖于数据和计算3.3.大数据科研案例3.3.1.饮食特征分析有理论认为：饮食特点是由气候不同和原材料不同引起的大数据分析在控制气候条件下，地理位置接近是饮食特点相近的原因，推测沟通是影响饮食特点的重要因素。3.3.2.农村人对城市的适应能力分析农村人从农村进入到城市需要花多长的时间才能接受分析人员行动轨迹、行为特征等。大数据科研案例：强强联合胜过个人英雄分析对象：Science316（2007）1036：1990万篇学术论文和220万份美国专利Sceince322（2008）1259：美国662个主要大学在1975年到2005年之间发表的420万篇论文分析问题：合作是否带来了真正的好处？发现：论文的作者数在自然学科主键增多合作者文章的影响力要更大强强合作影响力更大，弱弱合作影响力更弱大数据科研案例：用搜索词预测流感趋势根据流感相关的5000万个搜索关键字与当地的疾控中心流感数量的关联分析提前一周预测出流感爆发时间大数据科研案例：从社会资本到经济发展2004年大不列颠人口普查。把行政区看成一个节点，查看节点间的电话联系社会资本——和多少人联系，联系频度，紧密程度等结论：节点的社会资本越高，社会发展水平越高大数据科研案例：跨域预测与隐私问题Facebook上找了9万志愿者，分析其Like数进行AUC预测：单身、性别、同性恋……，准确率超过50%，最高达到95%手机是人类历史上最成功的传感器通过游戏数据也能分析其同性恋的可能性；通过手机了解一个人的生活习惯，大场所通过GPS技术确定人员位置、小场所通过射频围栏技术大数据改变教育4.1.大数据实现定量化教育管理和引导大数据改变教育理念和教育方法大数据突破教育理念从定性化教育经验积累到定量化教育引导和教育管理从工业化课堂教育到个性化定制化教育的转变——当前的网络教育仍然是工业化教育大数据创新教育方法从后置性应急管理到前置性教育引导从离线静态分析到自适动态分析大数据实现个性化教学——案例1基于学生过去的学习成绩数据预测学生未来成绩为改善其未来学习成绩提供服务监控在线的课程、作业、交流、考试与测验在线教育网站：MOOCsrising、Coursera大数据全面提升校园教学和服务水平学习引导学习方法优化兴趣特长激发学习行为干预思想引导了解思想动态跟踪思潮趋势引导群体价值科学服务资源优化配置信用档案建设——学生简历认证职业发展建议大数据提前发现异常学习行为大数据建设个性化的学习路径大数据帮助实现学校资源的优化配置贫困生资助、勤工俭学岗位从行为来判断，行为是最根本。从消费行为来判断一个学生是否是贫困生，而不是靠一个证明。成为大数据企业（并不是一件容易的事）第一天：数据化＞形成企业自身业务数据存储的顶层设计＞采集存储企业生产经营中的一切数据＞形成企业数据资产的概念生产线上的视频数据和传感器数据，结合产品质检数据，可以用于生产环控和流程优化，提高产品质量和生产效率经营数据，包括销售记录、客服电话记录，可以用于更好了解目标用户的特征，提高销售能力和服务能力企业内部员工的互动关系、绩效考核、人口统计学信息等等用于高校团队配置第二天：数据管理平台建设>数据管理平台包含但不等于数据中心数据管理平台是由业务所引导的，先进的流数据智能处理系统（解决业务问题）数据中心和数据库的建设要量体裁衣，强调鲁棒性和可扩展性（硬件成本下降太快，不要为未来计划）IT投资要先进、短期，不要考虑太长的时间。第三天：海量数据深入分析挖掘的能力>夕陪枚合作的同时，培养自己的数据挖掘团队>以显示度项目为牵引，既解决问题，有学习能力>培养三方能力：异构数据分析、分析预测算法、高性能存储计算数据形态各异，及数据的初步处理：文本数据、音频数据、图像数据、视频数据、网络数据、位置轨迹绝大部分我们可以想象到的应用问题，其本质都是预测问题，包括：个性化推荐、精分营销、员工绩效管理、银行信用卡征信、小微企业贷款、生产线控制、精准广告、网点选择……——都是特征选择问题，决策树、人工智能、神经网络机器学习与预测、询优————找到最优值，能量波动、熵主要的数据清洗和分析挖掘算法要Hadoop化，特别重要的算法模块，要考虑利用科编程逻辑阵列，实现硬件嵌入目前Hadoop是Google几年前的开源项目架构问题：GraphMapGPU阵列硬件化的问题，应用问题芯片化。FPGA。根据自己的业务问题设计自己的硬件。第四天：外部数据战略储备>夕陪枚数据对于市场拓展、趋势分析、竞品分析、人才招聘、用户画像、产品推荐等意义重大>网站、论坛、社交媒体、电商平台上聚集了有重要价值的公开数据＞形成具备采集、清洗、存储、索引等功能的自动化系统，自动积累外部数据;与此同时，开展与第三方数据的合作。第五天：数据外部应用创新能力＞自身业务数据可能在外部发挥更重要的价值＞建立数据外部化部门，探索数据的创新应用＞注意用户隐私和数据安全智能终端是大数据最残酷也最重要的战场，通过智能终端，能够非常准确了解一个用户，并提供精确的个性化服务通过物流记录、网点记录、电子商务平台等等，获得第一手的到达个体的数据，利用这些数据支持在跨领域交叉销售、环境保护、健康管理、智慧城市、精准广告、房地价预测第六天：数据的开放和共享＞对数据质量、价值、权益、隐私、安全等产生充分认识，出台量化与保障措施＞通过开放和共享，建设数据集成平台＞通过开放和共享，吸引最聪明的头脑为企业所用数据堂：数据资源网站7.第七天：数据产业战略投资>产业布局：从投资方原有优势产业或大数据前景广阔的重点产业入手，进行全产