《大数据技术应用基础》课件 项目一模块一 大数据概述

项目一大数据认知《大数据技术应用基础》模块一

大数据概述核心目标职业能力1.掌握大数据的概念与特征，做好数据分析的全面准备工作；2.了解大数据分析工具的基本使用方法；3.能根据学习需要查阅相关资料。职业素养1.养成用大数据思维去看待问题的习惯；2.养成对事物分析的客观、敏感的职业思维。知识图谱项目背景在当今数据驱动的世界中，企业和组织每天都会生成大量的数据。从这些数据中提取见解和知识的能力对于做出明智的决策和指导未来的操作至关重要。大数据已成为各国政府和企业的重要战略资源，就像计算机和互联网一样，大数据即将成为新一轮的技术革命。认识大数据、学习相关大数据知识地必要性不言而喻。作为一名大学生的小张也不甘落后，想要深入学习大数据的相关知识，并选用合适的大数据分析工具完成对实际问题探索与研究。01020304大数据的概念大数据的发展历程中国的大数据发展战略大数据与大数据分析问题引入小张目前接到一个任务：需要选定一个电商平台，并以茶叶行业为研究对象，进行初步市场调研。小张想对市场进行全面调研，尽可能多的获取行业数据。但由于所学知识不足以解决此问题，于是小张向老师请教，通过学习大数据知识来完成此项任务。大数据的概念01一、大数据的概念指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。虽然处理超过单个计算机的计算能力或存储的数据的问题并不新鲜，但近年来这种类型的计算的普遍性，规模和价值已经大大扩展。BIG

DATA大数据的定义一、大数据的概念使用方式完全不同“大数据”的确切定义很难界定项目供应商从业者商业专业人士（一）数据量大（Volume）存储单位:“大”1PB=1024TB1TB=1024GB1PB=1024×1024G信息技术的高速发展，数据开始爆发性增长。社交平台、移动网络、各种智能工具，服务工具等，都成为数据的来源。GBTBPBEB一、大数据的概念（一）数据量大（Volume）每天产生的商品交易数据超过50TB每天产生的日志数据超过300TB迫切需要智能的算法、强大的数据处理平台和新的数据处理技术，来统计、分析、预测和实时处理如此大规模的数据。购物网站8亿的会员社交平台10亿用户一、大数据的概念只有单一的数据，数据就没有了价值。单一的个人数据单一的用户提交数据大数据（二）数据类型繁多（Variety）一、大数据的概念广泛的数据来源，决定了大数据形式的多样性。年龄学历爱好性格（二）数据类型繁多（Variety）一、大数据的概念生活中每个人都离不开互联网，每个人每天都在向大数据提供大量的资料。并且这些数据是需要及时处理的，因为花费大量资本去存储作用较小的历史数据是非常不划算的，对于一个平台而言，也许保存的数据只有过去几天或者一个月之内，再远的数据就要及时清理，不然代价太大。大数据的产生非常迅速，主要通过互联网传输。（三）处理速度快（Velocity）一、大数据的概念基于这种情况，大数据对处理速度有非常严格的要求，服务器中大量的资源都用于处理和计算数据，很多平台都需要做到实时分析。数据无时无刻不在产生，谁的速度更快，谁就有优势。（三）处理速度快（Velocity）一、大数据的概念大数据的产生非常迅速，主要通过互联网传输。一、大数据的概念（四）价值密度低（Value）大数据与小数据比较大数据最大的价值：通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识。一、大数据的概念（四）价值密度低（Value）1PB以上全国所有20岁~35岁年轻人上网数据行为习惯、爱好指导产品的发展方向商业价值分析数据一、大数据的概念（四）价值密度低（Value）全国几百万病人的数据价值疾病预测分析一、大数据的概念（四）价值密度低（Value）大数据在各个领域广泛应用，达到改善社会治理、提高生产效率、推进科学研究的效果农业金融医疗物流教育大数据的发展历程02二、大数据的发展历程最早可以追溯到1980年，未来学家托夫勒在其所著的《第三次浪潮》一书中，首次提出“大数据”一词，将大数据称赞为”第三次浪潮的华彩乐章”。“大数据”阿尔文·托夫勒（AlvinToffler，1928.10.8—2016.6.27）未来学大师二、大数据的发展历程《Science》杂志发表了一篇题为《大数据科学的可视化》的文章，此时“大数据”的含义仅限于数据量的巨大。二、大数据的发展历程进入21世纪后，互联网行业发展速度加快。2001年，美国Gartner公司率先开发了大型数据模型。2005年，Hadoop技术应运而生，成为数据分析的主要技术。2007年，数据密集型科学的出现，不仅为科学界提供了一种新的研究范式，而且为大数据的发展提供了科学依据。2008年，《Science》杂志推出了一系列大数据专刊，详细讨论了一系列大数据的问题。这一阶段，大数据作为一个新名词，开始受到理论界的关注，其概念和特点得到进一步丰富，相关的数据处理技术层出不穷，大数据开始显现出活力。二、大数据的发展历程2010年以后，大数据应用渗透到各行各业，数据驱动决策，信息社会智能化程度大幅提高。以百度、阿里、腾讯为代表的国内互联网公司各显身手，推出创新性的大数据应用。2013年二、大数据的发展历程国务院发布《促进大数据发展行动纲要》，全面推进我国大数据发展和应用，进一步提升创业创新活力和社会治理水平。2015年9月二、大数据的发展历程明确提出大数据产业是以数据生成、采集、存储、加工、分析、服务为主的战略性新兴产业，是激活数据要素潜能的关键支撑,是加快经济社会发展质量变革、效率变革、动力变革的重要引擎。2021年11月30日工业和信息化部发布《“十四五”大数据产业发展规划》中国的大数据发展战略03三、中国的大数据发展战略十八届五中全会首次提出“国家大数据战略”，《促进大数据发展行动纲要》发布。近一年，我国在政策、人才、资金等方面持续加码，为大数据后续发展注入强劲动力。2015年三、中国的大数据发展战略中央、地方发布一系列支持文件，对大数据产业、数字技术、数据要素市场、数据安全等方面进行了重点部署。政策方面2021年底，《“十四五”大数据产业发展规划》的出台明确了未来五年大数据产业发展工作的行动纲领。中央层面三、中国的大数据发展战略2022年，党中央、国务院先后通过《要素市场化配置综合改革试点总体方案》等文件，多次强调了释放数据要素价值对于我国发展的必要性、紧迫性，为我国大数据发展提供了良好的政策环境和明确的发展目标。《要素市场化配置综合改革试点总体方案》《关于加快建设全国统一大市场的意见》《关于构建数据基础制度更好发挥数据要素作用的意见》三、中国的大数据发展战略习近平总书记强调“数据基础制度建设事关国家发展和安全大局，要维护国家数据安全，保护个人信息和商业秘密，促进数据高效流通使用、赋能实体经济，统筹推进数据产权、流通交易、收益分配、安全治理，加快构建数据基础制度体系”。2022年12月召开的中央全面深化改革委员会第二十六次会议大数据与大数据分析04四、大数据与大数据分析大数据最大的价值通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据。只有通过分析才能获取更多深入的、有价值的信息。大数据分析流程在技术层面与数据分析师的应用层面有稍许不同。四、大数据与大数据分析大数据时代的到来使得原先的技术手段已不能满足现在的需求，以数据存储为例，分布式存储已经慢慢成为了大数据存储的主流方式。最大的原因就是分布式存储的应用成本较低、灵活度较高，能解决普通的磁盘阵列解决不了的问题。数据的存储与管理数据采集数据预处理数据计算数据应用0102030405大数据分析流程步骤四、大数据与大数据分析数据分析师项目中数据对象是谁？商业目的是什么？要解决什么样的业务问题？数据分析师的大数据分析流程四个步骤：需求分析