信息技术基础（拓展模块） 课件 学习单元5大数据5.1

学习单元五

大数据5.1初识大数据线上课前导学课前自测推课前学习资源包头脑风暴任务调研现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。未来的时代将不是IT时代，而是DT的时代，DT就是DataTechnology数据科技，大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。小思考

在大数据时代，企业如何通过数据的“加工能力”来实现数据的“增值”？线上课前导学头脑风暴任务调研课前自测参考网站：慕课网（/）极客时间（/）实验楼（/）参考书籍：《Hadoop权威指南》《Spark大数据处理》《NoSQL数据库原理及应用》《大数据时代》《Python大数据处理与分析》线上课前导学任务调研课前自测头脑风暴1大数据是什么？2列举一些大数据工具和技术，简要介绍它们的应用场景。3大数据分析与机器学习的结合有哪些应用场景？线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结经过线上课前预习，我们应该了解到，大数据已经成为当今社会不可忽视的重要课题，对于企业和社会发展都有着重要的意义。学习大数据技术，需要先了解大数据的基础知识，包括大数据的定义、大数据的应用场景、大数据的处理方式、大数据的基础架构、大数据的工具和技术等。在学习大数据技术的过程中，我们还需要关注大数据的安全问题，学习大数据安全的基本概念和防护措施，了解大数据隐私保护的方法和标准。线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结1.认识大数据的基本概念；2.熟悉大数据的典型特点；3.了解大数据的应用场景。大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据也可以定义为来自各种来源的大量非结构化或结构化数据。从学术角度而言，大数据的出现促成广泛主题的新颖研究。大数据一词自1990年代开始使用。大数据“大小”是一个不断移动的目标，如2012的范围从几十兆兆字节到许多泽字节的数据。大数据需要一套具有新的集成形式的技术和技术，以揭示来自多样化，复杂且大规模的数据集的见解。

它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结典型工作环节1大数据的基本概念线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结1.规模性数据的特征首先就体现为“数量大”，存储单位从过去的GB到TB，直至PB、EB。随着信息技术的高速发展，数据开始爆发性增长。2.多样性广泛的数据来源，决定了大数据形式的多样性。大数据大体可分为三类：一是结构化数据，如财务系统数据、信息管理系统数据、医疗系统数据等，其特点是数据间因果关系强；二是非结构化的数据，如视频、图片、音频等，其特点是数据间没有因果关系；三是半结构化数据，如HTML文档、邮件、网页等，其特点是数据间的因果关系弱。典型工作环节2大数据的典型特点线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结3.高速性大数据时代的数据产生速度非常迅速。在Web2.0应用领域，在1min内，新浪可以产生2万条微博，Twitter可以产生10万条推文，苹果可以下载4.7万次应用，淘宝可以卖出6万件商品，人人网可以产生30万次访问，百度可以产生90万次搜索查询，Facebook可以产生600万次浏览量。4.价值性这也是大数据的核心特征。现实世界所产生的数据中，有价值的数据所占比例很小。相比于传统的小数据，大数据最大的价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，并通过机器学习方法、人工智能方法或数据挖掘方法深度分析，发现新规律和新知识，并运用于农业、金融、医疗等各个领域，从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。典型工作环节2大数据的典型特点线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结未来,大数据将继续成为企业数字转型和智能发展的重要支撑。更多企业将大数据融入到战略规划和日常运营中。政府也将大力推进“数字政府”建设,利用大数据提升政府服务能力和治理效能。大数据技术将进一步成熟，分析能力和应用场景将更加丰富。人工智能和大数据的融合也将打开更多机遇,助力企业和政府实现更高级别的智能化。1.数据的资源化何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。典型工作环节3大数据的发展趋势线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结2.与云计算的深度结合大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。

除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。3.科学理论的突破随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改变数据世界里的很多算法和基础理论，实现科学技术上的突破。典型工作环节3大数据的发展趋势线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结4.数据科学和数据联盟的成立未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗位。

与此同时，基于数据这个基础平台，也将建立起跨领域的数据共享平台，之后，数据共享将扩展到企业层面，并且成为未来产业的核心一环。5.数据泄露泛滥未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。

可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们是否已经做好安全防范。

而所有企业，无论规模大小，都需要重新审视今天的安全定义。典型工作环节3大数据的发展趋势线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结6.数据管理成为核心竞争力数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管理的核心。7.数据质量是BI成功的关键采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。

想要成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得更佳决策。典型工作环节3大数据的发展趋势线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结8.数据生态系统复合化程度加强大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。

而今，这样一套数据生态系统的基本雏形已然形成，接下来的发展将趋向于系统内部角色的细分，也就是市场的细分；系统机制的调整，也就是商业模式的创新；系统结构的调整，也就是竞争环境的调整等等，从而使得数据生态系统复合化程度逐渐增强。典型工作环节3大数据的发展趋势线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结

1.电商领域相信大数据在电商领域的应用，大家已经屡见不鲜了，淘宝、京东等电商平台利用大数据技术，对用户信息进行分析，从而为用户推送用户感兴趣的产品，从而刺激消费。2.医疗领域

大数据在医疗保健行业中的应用越来越广泛，可以从疾病预测和预防、临床决策支持、医疗资源管理和个性化医疗等方面进行应用。典型工作环节4大数据的应用线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结

3.政府领域“智慧城市”已经在多地尝试运营，通过大数据，政府部门得以感知社会的发展变化需求，从而更加科学化、精准化、合理化的为市民提供相应的公共服务以及资源配置。4.传媒领域传媒相关企业通过收集各式各样的信息，进行分类筛选、清洗、深度加工，实现对读者和受众葛新华需求的准确定位和把握，并追踪用户的浏览习惯，不断进行信息优化。典型工作环节4大数据的应用线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结

5.金融领域大数据在金融行业应用范围是比较广的，它更多应用于交易，现在很多股权的交易都是利用大数据算法进行，这些算法现在越来越多的考虑了社交媒体和网站新闻来决定在未来几秒内是买出还是卖出。

金融机构可以利用大数据分析技术来进行风险评估、投资分析、信用评估和欺诈检测等方面的工作。6.教育领域通过大数据进行学习分析，能够为每位学生创设一个量身定做的个性化课程，为学生的多年学习提供一个富有挑战性而非逐渐厌倦的学习计划。典型工作环节4大数据的应用线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结7.交通领域大数据技术可以预测未来交通情况，为改善交通状况提供优化方案，有助于交通部门提高对道路交通的把控能力，防止和缓解交通拥堵，提供更加人性化的服务。此外，大数据技术还可以实现智能交通管控和管理，包括交通信号控制、车辆跟踪监控、违法行为识别等方面，提高交通违法处罚的准确性和实效性。通过对历史数据和实时数据的分析和比对，大数据技术可以预测未来交通拥堵情况和运输需求，从而提前做出合理的交通规划和调度安排。典型