《Python经济大数据分析》数字经济与大数据概述

数字经济与大数据概述核心知识包括：数字经济概念、内涵、特征；数字经济与大数据的关系；大数据的概念、特征；大数据处理流程与大数据技术；大数据思维。CONTENTS目录1.1 数字经济概述1.1.1 数字经济概念与现状1.1.2 数字经济的特征1.1.3 数字经济是新发展格局的关键支撑1.1.4 数字经济与大数据的关系1.2 大数据概述1.2.1 大数据的产生1.2.2 大数据的概念与内涵1.2.3 大数据发展现状1.2.4 大数据的特征1.2.5 大数据处理流程与大数据技术 1.2.6 大数据的运用1.2.7 大数据思维01PARTONE1.1 数字经济概述010203041.1 数字经济概述1.1.1 数字经济概念与现状1.1.2 数字经济的特征1.1.3 数字经济是新发展格局的关键支撑1.1.4 数字经济与大数据的关系1.1 数字经济概述数字经济是随着信息技术革命发展产生的继农业经济、工业经济之后的新经济社会发展形态。数字经济是发展最快、创新最活跃、辐射最广泛的经济活动。以移动互联网、大数据、云计算、物联网、虚拟现实、人工智能等为代表的新一代信息技术迅速发展，加速了经济社会各领域的深度融合。新产业、新业态、新模式不断涌现，促进了数字经济的快速发展。1.1 数字经济概述1.1.1 数字经济概念与现状人类社会经济发展主要可以分为三大阶段：农业经济时代、工业经济时代，以及数字经济时代。概念：数字经济是以数字化的知识和信息作为关键生产要素，以数字技术为核心驱动力量，以现代信息网络为重要载体，通过数字技术与实体经济深度融合，不断提高经济社会的数字化、网络化、智能化水平，加速重构经济发展与治理模式的新型经济形态。数字经济可分为三个层次：提供核心动能的信息技术及其装备产业、深度信息化的各行各业以及跨行业数据融合应用的数据增值产业。1.1 数字经济概述1.1.1 数字经济概念与现状数字经济的“四化”框架：一是数字产业化，即信息通信产业，具体包括电子信息制造业、电信业、软件和信息技术服务业、互联网行业等；二是产业数字化，即传统产业应用数字技术所带来的产出增加和效率提升部分，包括但不限于工业互联网、两化融合、智能制造、车联网、平台经济等融合型新产业新模式新业态；三是数字化治理，包括但不限于多元治理，以“数字技术＋治理”为典型特征的技管结合，以及数字化公共服务等；四是数据价值化，包括但不限于数据采集、数据标准、数据确权、数据标注、数据定价、数据交易、数据流转、数据保护等。其中最主要的是产业数字化和数字产业化。1.1 数字经济概述1.1.1 数字经济概念与现状数字经济内涵的理解：第一，数字经济中生产力和生产关系的辨证统一。第二，数字经济超越了信息产业部门的范围。第三，数字经济是一种技术经济范式。第四，数字经济是一种经济社会形态。第五，数字经济是信息经济、信息化发展的高级阶段。1.1 数字经济概述1.1.1 数字经济概念与现状数字经济已成为当前最具活力、最具创新力、辐射最广泛的经济形态，是国民经济的核心增长极之一。图1‑1我国数字经济规模（万亿元）图1‑2我国数字经济增速与GP增速1.1 数字经济概述1.1.2 数字经济的特征数字经济有五大特征：1.数据成为驱动经济发展的关键生产要素和重要的战略资产。2.数字基础设施成为新基础设施。3.数字素养成为对劳动者和消费者的新要求。4.供给和需求的界限日益模糊。5.人类社会、网络世界和物理世界日益融合。1.1 数字经济概述1.1.3 数字经济支撑新发展格局数字经济打造新发展格局关键要素新发展格局的关键在于循环，即推动生产要素公平自由的流动与使用。产品全生命周期数据管控助力企业新产品研发周期降低16.9%，产能利用率提升15.7%，设备综合利用率提升9.5%。数字经济实现新发展格局供需均衡供需平衡方面，数字经济和实体经济融合有效打通供需间信息渠道，减少资金、资源、产品等流动阻碍，提高经济系统面对外部冲击时的协同性和快速反应能力。数字经济支撑新发展格局国际畅通数字经济与实体经济融合发展推进强大国内市场和贸易强国建设，促进国际国内双循环。1.1 数字经济概述1.1.4 数字经济与大数据的关系数字经济业态大规模催生大数据大数据赋能数字经济大数据是数字经济的关键生产要素大数据是发挥数据价值的使能因素大数据是驱动数字经济创新发展的核心动能02PARTTWO1.1 大数据概述020304051.2 大数据概述1.2.2 大数据的概念与内涵1.2.3 大数据发展现状1.2.4 大数据的特征1.2.5 大数据处理流程与大数据技术0607011.2.6 大数据的运用1.2.7 大数据思维1.2.1 大数据的产生1.2 大数据概述大数据是信息化发展的新阶段。随着信息技术和人类生产生活交汇融合，互联网快速普及，全球数据呈现爆发增长、海量集聚的特点，作为新一轮工业革命中最为活跃的技术创新要素，正在全面重构全球生产、流通、分配、消费等领域，对全球竞争、国家治理、经济发展、产业转型、社会生活等方面产生全面深刻影响。1.2 大数据概述1.2.1 大数据的产生大数据的发展历程1990大数据的萌芽阶段2003大数据的突破阶段2005大数据发展成熟期2009数据碎片化、分布式、流媒体特征更明显2010大数据已经成为重要的时代特征2011大数据概念开始风靡全球2012大数据已经成为重要的时代特征2013大数据监管进入公众视野2014大数据产业从理论迈向实际应用2015大数据独立发展成为一种新兴行业1.2 大数据概述1.2.1 大数据的产生大数据产生的支撑技术支撑存储能力、计算能力、网络带宽数据产生方式的变革数据产生的方式大致经历了三个阶段：运营式系统阶段、用户原创内容阶段和感知式系统阶段。简单来说，数据产生经历了被动、主动和自动三个阶段。这些被动、主动和自动的数据共同构成了大数据的数据来源，但其中自动式的数据是大数据产生的最根本原因。1.2 大数据概述1.2.1 大数据的产生大数据与传统数据的对比

传统数据诠释宏观、整体的状况，用于影响政策决策；大数据可以分析微观、个体以及环境的状况，用于调整其行为与实现个性化服务。

传统数据分析方式、采集方法、内容分类、采信标准等都已存在既有规则，方法论完整，数据主要靠人工采集；大数据分析为新鲜事物，数据采集通过传感器采集、SDK采集、运营商采集等自动化方式，还没有形成清晰的分析方法、路径、以及评判标准。

传统数据来源于阶段性的，针对性的评估，其采样过程可能有系统误差；大数据来源于过程性的，即时性的行为与现象记录，第三方、技术型的观察采样的方式误差较小。

SDK是SoftwareDevelopmentKit的缩写，即软件开发工具包，SDK直接调用API(应用程序接口，ApplicationProgrammingInterface)，函数进行编程直接从App里读取数据。1.2 大数据概述1.2.2 大数据的概念与内涵大数据的概念国务院2015年颁布的《促进大数据发展行动纲要》对大数据概念进行了界定，认为大数据是“具有规模巨大、种类多样、形成快速、真实度高的数据集合”，可以通过使用新的信息技术手段从中发现新知识、创造新价值、提升能力的一种新兴的信息服务业态。大数据的内涵主要基于国家发展角度来理解大数据的内涵。首先，大数据是一种全新的国家战略性资源，是重要的国家实力要素。其次，大数据具有集聚性，即只有相关数据聚集一起才能更好的发挥作用。最后，大数据可以显著提升我国科学决策能力和水平。1.2 大数据概述1.2.3 大数据发展现状图18数字数据的爆发式增长资料来源：国际数据公司（IDC）图1‑9结构化数据和非结构化数据增长堆积图（Z字节）资料来源：国际数据公司（IDC）1.2 大数据概述1.2.3 大数据发展现状图1‑10我国数据战略布局历程1.2 大数据概述1.2.4 大数据的特征数据规模大（Volume）伴随互联网的不断发展，社交平台、金融机构、新闻媒体、电商平台等每时每刻都在产生大量的数据。以银行业为例，我国大型商业银行和保险公司的数据量已经超过100TB1024各单位…………等于1单位的注释KM(Kilobyte)MB一张音乐CD光盘拥有600MB数据MB(Megabyte)GB1GB可以存储的数据量，等于书架上叠起来大概9米多高的书籍GB(Gigabyte)TB10TB可以储存美国国会图书馆的全部信息TB(Terabyte)PB1PB可以储存的文本，如果打印出来可以装满2000万个41]的书柜PB(Petabyte)EB5EB的信息量等于全人类曾经说过的全部词语EB(Exabyte)ZB使用现在最快的宽带，下载1ZB的信息需要至少110亿年表1‑1数据计量单位1.2 大数据概述1.2.4 大数据的特征种类多（Variety）宏观数据，如金融、环境、气象、水利、产品设计等;微观数据，过去难以量化的如图像、音频、视频、生物识别、地理标记、笔迹等非结构化数据。速度快（Velocity）真实度高（Veracity）

数据原生性、真实性和即时性，数据相关要求和标准的不断提高。价值大（Value）“对于海量数据的挖掘和运用，预示着新一轮生产率增长和消费者盈余浪潮的到来。”伴随大数据分析技术的进步，数据无论在宏观层面还是微观层面都将发挥巨大的分析价值和应用价值。1.2 大数据概述1.2.5 大数据处理流程与大数据技术大数据的处理流程1.2 大数据概述1.2.5 大数据处理流程与大数据技术大数据技术数据采集ETL数据众包(CrowdSouring)存储与管理结构化、非结构化和半结构化数据分布式文件系统关系数据库非关系数据库(NoSQL)数据仓库云计算和云存储实时流处理数据分析关联规则分析分类遗传算法神经网络预测模型模式识别时间序列分析回归分析系统仿真机器学习优化空间分析社会网络分析自然语言分析数据解释标签云(TagCloud)聚类图(Clustergram)空间信息流(Spatialinformationflow)热图(Heatmap)1.2 大数据概述1.2.6 大数据的运用数据时代万物皆可以数据化，态度变成数据可以表示情绪，方位变成数据可用于导航，沟通变成数据形成社交媒体，大数据的运用已经渗透到非常多的领域，包括业务流程优化、监控身体情况、理解满足客户需求、智能医疗研发、金融交易、研发智能汽车、实时掌控交通情况、改善日常生活等。案例一：影视剧拍摄之《纸牌屋》和《小时代》利用大数据面向特定用户制作影片，投其所好，于是票房越来越好。案例二：谷歌预测流感利用搜索引擎查询数据检测禽流感流行趋势，大数据分析中有陷阱。案例三：点球成金以事实为依据去评价一名运动员的表现，而不是像以前那样只是凭借传闻或者感觉。依据“高上垒率”，用数学分析的模式缜密而细致的测算估计每个球员的价值，并从中挑选出三个上垒率高的身价远不如其他知名球员的球员代替运动家队原先被挖走的三个核心球员，最终，球队在2002年的美国联盟西部