大数据发展前沿趋势：理论与实践

大数据发展前沿趋势：理论与实践主要内容1大数据实践前沿2大数据理论创新3大数据发展趋势12大数据实践发展演进2008年11月初，IBM彭明盛发表了《智慧的地球：下一代领导人议程》的主题演讲2009年8月，无锡市建立“感知中国”研究中心，中国科学院、运营商、多所大学建立了物联网研究院2014年，《政府工作报告》首提大数据2014年8月29日，八部委印发《关于促进智慧城市健康发展的指导意见》2014年5月，工信部发布《云计算白皮书（2014）》、《大数据白皮书(2014)》2015年5月，工信部编制软件和大数据产业“十三五”规划2015年6月，工信部提出加快推进云计算与大数据标准体系建设2015年7月，国家自然科学基金委管理学部“大数据驱动的管理与决策研究”重大研究计划立项2015年9月，国务院印发《促进大数据发展行动纲要》2015年11月，《十三五规划建议》首提推行国家大数据战略2009年物联网2008年智慧地球2010年智慧城市2010年云计算2011年

大数据2013年认知计算2008年2012年2013年2014年2015年国家战略与技术发展良性互动2013年7月，上海、重庆提出大数据行动2014年2月，贵州发布《关于加快大数据产业发展应用若干政策的意见》2014年8月29日，八部委印发《关于促进智慧城市健康发展的指导意见》智慧电力智慧医疗智慧城市智慧交通智慧供应链智慧银行智能家居智能电网智能物流智能生产智能交通智慧农业食品溯源数字图书馆环境与安全监测迪比克，智慧社区新加坡，政务服务西雅图，智慧电力伦敦，智慧交通纽约，火灾预防无人驾驶无人机航空航天金融服务供应链优化个性化教育专车服务反恐人性化酒店服务品牌营销精准营销精准医疗流媒体服务精准推送物联网+大数据+云计算技术领域不断融合应用领域不断细分1.大数据实践前沿2012年2月14日，工信部颁布《物联网“十二五”发展规划》2012年7月，《“十二五”国家战略性新兴产业规划》明确提出支持海量数据存储、处理技术的研发和产业化2016年7月，《国家信息化发展战略纲要》发布2017年1月，大数据产业发展规划（2016-2020年）颁布各省市纷纷出台加快发展大数据产业行动计划、促进大数据发展工作要点2016年-2017年1.大数据实践前沿大数据实践：从数据融合到计算智能3数据整合：金税三期、精准扶贫、精准反腐、精准医疗、气象大数据……立足国家战略需求，应用已有模型方法，打通数据壁垒，优化运营效率、提升管理水平，产生巨大的经济社会效益个体数量多，数据类型简单且个体数据量较小技术集成：城市数据大脑、金融风险、舆情控制……处理大量异质（非结构化）数据，创新技术方法，谋求整体效率提升与物联网、云计算、人工智能技术相结合计算智能：工业大数据、微软小冰……把海量数据收集起来再并行计算处理，正遇到挑战分布式收集并处理软硬件数据，局部结果再抽象融合，代表未来发展方向大数据最重要的是理念革新，数据的价值被充分重视和挖掘，应用领域由商业向工业和政府治理领域发展从技术深度和问题侧重上，大数据实践可分为以下三类（待商榷）1.大数据实践前沿大数据政务：金税三期4个税代扣代缴系统由各省自主开发改为全国统一以自然人为中心的大数据管理体系更加强大的大数据评估及云计算杜绝增值税发票虚开评估纳税人的税号下，进项发票与销项发票的行业相关性、法人相关性、地址相关性、数量相关性……比你自己更了解库存状况增加了商品编码，未来增加单位编码，保证库存账实一致精准增值税计算商品增值额，库存存量额（以及增值税的留抵）精准企业所得税明确固定资产、消费费用，精确评估企业利润精准个人所得税五证合一，税务、工商、社保随时合并接口1.大数据实践前沿大数据治理：杭州城市数据大脑5对整个城市进行全局实时分析，自动调配公共资源，修正城市运行中的Bug，让数据帮助城市做思考和决策，最终进化成为能够治理城市的超级人工智能将交通、能源、供水等基础设施全部数据化，连接散落在城市各个单元的数据资源，打通“神经网络”交通管理数据公共服务数据运营商数据互联网数据……数据采集系统：末梢神经和小脑，源源不断向大脑输送数据超大规模计算平台：基于阿里云ET人工智能技术的飞天操作系统数据交换中心：脑核，全面融合政府数据、互联网和社会数据，提高数据的多维性和多样性开放算法平台：皮质层，通过各类算法和模型的搭建，进行决策数据应用平台：决策输出到城市管理和城市服务的各个场景1.大数据实践前沿工业大数据：从信息集成、人机交互到人机一体化6产业链跨界数据、工业信息化数据、设备物联数据以大数据为核心，模块化、数字化、柔性化，软硬一体的智能解决方案与商业大数据不同，更注重数据科学与行业经验的融合大多数企业仍停留于使用软件的阶段，少数企业也只是实现了信息集成，即达到数字化工厂的水平；极少数企业，能够实现人机的有效交互，也就是达到智能工厂的水平——上海模具技术协会领先企业开展大数据应用，但数据模型及经验积累成为全流程、全系统应用的瓶颈主要内容1大数据实践前沿2大数据理论创新3大数据发展趋势7大数据技术似乎无法解决矛盾的核心问题，期待新的跨越式大数据技术革命用数据说话的思维已深入人心，但大数据技术本身发展不尽如人意，在计算机或数学领域的进展缓慢大数据管理理论的重大创新远远落后于实践当前的大数据理论创新仍处于炒作期。大数据实践如火如荼，但从实践中提炼出的新的流程、范式、模式、文化等较少基于大数据的管理决策范式正在酝酿形成，但以技术应用为主，针对于大数据环境下的管理决策理论研究的文献几乎没有，似乎占主流的是“伪大数据研究”？82.大数据理论创新大数据技术+管理决策：伪大数据研究？9大数据管理理论创新评估：综合集成人的知识、经验和智慧与各种客观数据，并设计可视化的交互式界面，为管理决策提供理论和方法支持预测：传统“少数据”“贫信息”的小规模、经验性预测让位于以数据为核心、以计算为手段的大规模、精准性预测决策：自上而下的、线性的精英决策模式被颠覆，决策思维转向数据导向、探索导向，面向不确定性的、自下而上的非线性决策模式正在形成2.大数据理论创新理论研究的需求和应用导向明显，利用大数据认知世界的第四范式，进展不大！10大数据研究英文论文知识图谱分析2.大数据理论创新国别美国575中国272英国180德国110澳大利亚109西班牙90意大利81韩国75机构ChineseAcadSci40RutgersStateUniv13UnivIllinois13TsinghuaUniv13USGeolSurvey11HarvardUniv11MonashUniv10UnivQueensland9BeihangUniv9UnivHongKong9StanfordUniv9我国大数据研究与世界同步国家发文总数美国、中国、英国、德国、澳大利亚位列前五机构发文总数，中科院发文数量居首，清华、北航、港大位列前十研究领域聚焦于计算机科学与信息系统，在环境、商业、农业等领域应用较多，大数据管理创新的空间很大大数据关键技术研究趋缓，特定领域中的大数据应用蓬勃发展关键词聚类知识库信息技术组织行为资源分配决策支持成本效率服务科学移动本体论领域共现计算机科学工程计算机科学、跨学科应用计算机科学、理论与方法信息系统水资源管理环境科学与技术商业与经济农业11大数据研究中文论文知识图谱分析北京406湖北208江苏1622.大数据理论创新武大、南大、人大、吉大、中科院、北大是主要的研究机构，已形成了稳定的核心作者群研究以技术+应用为主，信息安全、隐私保护、舆情管理成为近年来的研究热点涉及传媒业、金融业、教育业、电子政务、社会风险和图书馆管理等领域数据的分析、计算和存储成为当前和未来大数据技术创新的焦点云计算、分布式文件系统UFS、批处理技术MapReduce、分布式数据库BigTable、开源数据处理平台hadoop等信息处理技术有待进一步发展主要内容1大数据实践前沿2大数据理论创新3大数据发展趋势12大数据应用发展趋势数据智能加速发展，认知计算不可或缺数据驱动的风控、预警等如火如荼分布式存储作用愈加突出物联数据站上历史舞台数据合规和数据质量成为关注重点隐私保护、伦理规范成为极大挑战更多更高效的分析工具前端到后端的整合能力成为应用基础金融、消费、医疗、零售、制造等高度集成行业两极分化加大，第二等于零数据科学机器人无人驾驶精准越策计算机视觉语言处理数据可视化自助式数据分析资源整合自主创新用户体验机器学习与人工智能数据治理与实时分析终端整合与跨界应用应用层次进一步提升：评估→预测→决策+对策大数据应用领域将不断细分，在领域末端形成模块化的知识和应用模式，反过来促进不同领域的融合网络安全产业有望成为下一个风口大数据的资源属性愈加突出，数据安全成为重中之重133.大数据发展趋势数据整合方面，数据联通成为转型创新的核心，助力治理能力提升和产业生态创新治理能力提升包括政民通联、智能应对、权利留痕、简政放权等产业生态创新包括提升价值、降低消耗、创新业态、协同激活等全量数据为决策提供重要支持，以数据驱动制度改革，推动创新技术集成方面，大数据深入渗透至产业经济社会生活的各个领域，“大数据+”成为产业价值链颠覆与重构的主要动力新的技术集成模式将出现，应用领域不断拓展和细分大数据平台不断跨界融合，迈向更高层次的创新应用计算智能方面，更高量级的软硬件及数据联通，创新海量高速大数据的分析技术，应对高维、稀疏的复杂数据大数据实践发展趋势143.大数据发展趋势大数据分析的底层支撑技术创新，满足大数据的“实时”处理需求，支撑大数据驱动的管理决