《大数据存储技术与应用》 课件 项目七 高校大数据决策分析系统

《大数据存储技术与应用》拓展篇大数据存储技术与应用篇章引入最近几年，随着高校业务信息系统的建设日趋完善，云计算、物联网、移动互联、大数据、以及知识管理与社交网络等新型信息技术的广泛应用，高校信息系统的建设已经迈入到了一个新的时代－智慧校园时代。高校大数据决策分析系统对高校各业务系统数据进行采集、存储、分析、计算，为各业务部门提供决策服务。章节任务大数据存储技术与应用项目七高校大数据决策分析系统任务一概述及存储规划什么是GlusterFS分布式文件系统？GlusterFS分布式文件系统架构？GlusterFS的安装部署？GlusterFS的应用场景？回顾任务引入-智慧校园总体框架2010年，在信息化“十二五”规划中，浙江大学提出建设一个“令人激动”的“智慧校园”。这幅蓝图描绘的是：无处不在的网络学习、融合创新的网络科研、透明高效的校务治理、丰富多彩的校园文化、方便周到的校园生活。简而言之，“要做一个安全、稳定、环保、节能的校园。”2018年6月7日，国家标准《智慧校园总体框架》（Smartcampusoverallframework）发布。任务描述:本项目数据存储以Greeplum（ProgresSQL底层架构）大数据集群为背景，提炼工程项目中的关键技术要素，进行实现。任务教学目标：理解案例实现的意义；理解大数据项目建设流程；理解数据存储的概念；学会将数据存储到ProgresSQL数据库；掌握大数据存储综合应用开发。任务概要教学内容系统概述系统架构一二数据存储规划NoSQL代表三四系统概述知识点一（一）项目背景最近几年，随着高校业务信息系统的建设日趋完善，云计算、物联网、移动互联、大数据、以及知识管理与社交网络等新型信息技术的广泛应用，高校信息系统的建设已经迈入到了一个新的时代－智慧校园时代。高校大数据决策分析系统对高校各业务系统数据进行采集、存储、分析、计算，为各业务部门提供决策服务。

安装依赖（53&54）（二）项目背景-数据分析

安装依赖（53&54）（三）项目背景-精准画像

安装依赖（53&54）（四）项目背景-虚拟校园

安装依赖（53&54）（五）项目背景-大数据管理平台（六）项目需求本项目数据存储以Greeplum（ProgresSQL底层架构）大数据集群为背景，提炼工程项目中的关键技术要素，以ProgresSQL对典型功能进行实现。系统架构知识点二系统架构系统存储规划知识点三系统存储规划本项目数据存储以Greeplum（ProgresSQL底层架构）大数据集群为背景，提炼工程项目中的关键技术要素，以ProgresSQL对典型功能进行实现。任务小结本节以理-实一体化的方式展开，课程以高校大数据决策分析系统为项目背景，提炼工程项目中的关键技术要素，以ProgresSQL对典型功能进行实现。业务服务基于Python框架展开。扩展训练信息标准独立学习数据模型遵循教育部颁发的《教育管理信息化标准》和相关行业信息标准，制定符合学校实际情况的校数据字典和信息编码标准，建立统一的数据交换体系，规范信息从采集、处理、计算、加载到综合利用的全过程，实现全校资源数据的有效存储与管理，完成全校范围的数据的统一、集中和共享，为学校领导和有关部门信息利用、分析决策提供支持，为学校的长远发展奠定坚实基础。课后阅读信息标准文档。1.编写《高校大数据决策分析系统》需求分析？作业谢谢！THANKS!《大数据存储技术与应用》大数据存储技术与应用项目七高校大数据决策分析系统任务二项目实战高校大数据决策分析系统数据存储？Greenplum基于什么语言实现？高校大数据决策分析系统的背景？高校大数据决策分析系统的业务功能？回顾任务引入-智慧校园总体框架2010年，在信息化“十二五”规划中，浙江大学提出建设一个“令人激动”的“智慧校园”。这幅蓝图描绘的是：无处不在的网络学习、融合创新的网络科研、透明高效的校务治理、丰富多彩的校园文化、方便周到的校园生活。简而言之，“要做一个安全、稳定、环保、节能的校园。”2018年6月7日，国家标准《智慧校园总体框架》（Smartcampusoverallframework）发布。任务描述:本任务对主要的技术要点进行了剖析，大家可以根据实际情况进行拓展。任务教学目标：1.了解大数据分析应用项目开发流程。2.熟悉大数据分析应用开发。任务概要教学内容项目准备应用需求一二分析计算数据可视化应用三四项目准备知识点一数据模型字段名字段类型是否允许空字段描述SNOCHAR(10)否学号T1CHAR(10)是第1题原始成绩T2CHAR(10)是第2题原始成绩T3CHAR(10)是第3题原始成绩T4CHAR(10)是第4题原始成绩T5CHAR(10)是第5题原始成绩数据连接pip3installpsycopg2importpsycopg2#数据库连接参数，数据库名称、用户密码、IP地址和端口根据实际环境配置。conn=psycopg2.connect(database="bigdata",user="postgres",password="postgres",host="",port="5432")conn.close()数据导入数据清洗应用需求知识点二应用需求（一）课程成绩分布分析计算《计算机网络》课程成绩人数分布，即分析计算“60分以下、60~69、70~79、80~89、90~100”各组总成绩的人数分布。通过成绩人数分布了解学生对该门课程的掌握情况。（二）成绩分析分析计算《计算机网络》选择题、填空题、判断题、简答题、应用题的平均成绩、最高成绩、最低成绩。分析计算知识点三分析计算数据可视化应用知识点四数据可视化应用任务小结本节介绍了高校大数据决策分析系统的项目实战，系统开发可以基于PostgreSQL、Python、ApacheECharts展开。项目准备阶段对成绩数据建模、数据连接、数据导入、数据分析检索进行了讲解。应用需求部分针对课程成绩分析、选择题成绩分析进行了讲解。分析计算部分讲解了关键分析指标的计算方式，并以选择题成绩分析为例进行分析计算，最后，以pyecharts组件实现数据可视化分析应用。扩展训练信息标准独立学习数据模型遵循教育部颁发的《教育管理信息化标准》和相关行业信息标准，制定符合学校实际情况的校数据字典和信息编码标准，建立统一的数据交换体系，规范信息从采集、处理、计算、加载到综合利用的全过程，实现全校资源数据的有效存储与管理，完成全校范围的数据的统一、集中和共享，为学校领导和有关部门信息利用、分析决策提供支持，为学校的长远发展奠定坚实基础。课后阅读信息标准文档。按照步骤完成本项目作业谢谢！THANKS!《大数据存储技术与应用》大数据专业委员会大数据存储技术与应用项目七高校大数据决策分析系统任务二项目实战高校大数据决策分析系统数据存储？Greenplum基于什么语言实现？高校大数据决策分析系统的背景？高校大数据决策分析系统的业务功能？回顾任务引入-智慧校园总体框架2010年，在信息化“十二五”规划中，浙江大学提出建设一个“令人激动”的“智慧校园”。这幅蓝图描绘的是：无处不在的网络学习、融合创新的网络科研、透明高效的校务治理、丰富多彩的校园文化、方便周到的校园生活。简而言之，“要做一个安全、稳定、环保、节能的校园。”2018年6月7日，国家标准《智慧校园总体框架》（Smartcampusoverallframework）发布。任务描述:本任务对主要的技术要点进行了剖析，大家可以根据实际情况进行拓展。任务教学目标：1.理解Django框架；2.理解Django应用开发流程；3.了解Greenplum集群连接。任务概要教学内容项目准备应用开发一二系统部署系统应用三四项目准备知识点一项目背景最近几年，随着高校业务信息系统的建设日趋完善，云计算、物联网、移动互联、大数据、以及知识管理与社交网络等新型信息技术的广泛应用，高校信息系统的建设已经迈入到了一个新的时代－智慧校园时代。高校大数据决策分析系统对高校各业务系统数据进行采集、存储、分析、计算，为各业务部门提供决策服务。系统架构

安装依赖（53&54）系统设计常见问题及解决办法代码规范问题调试技巧开发环境-版本版本：Python3.7+ProgreSQLDjango3.0.4应用开发知识点二

Django简介Django框架于2005年开源Django框架是迄今为止Python界名气最大的Web框架Django框架是美国WorldCompany的工程师AdrianHolovaty和SimonWillison在开发其公司运行的新闻网站（LJW、L、KU）过程中，逐渐完善丰富而成

Django简介Django官网/Django的特点完善的文档数据库访问组件（ORM）URL映射技术自带管理界面（admin）调试信息完整

DjangoMVT开发模式MVC：M表示Model，主要用于对数据库层的封装V表示View，用于向用户展示结果C表示Controller，用于处理请求、获取数据、返回结果MVC框架的核心思想是：解耦DjangoMTV开发模式MTV：在MVC基础上，对控制器Controller进行了封装，增加了模块功能Template实现前端网页M为Model与MVC中的M功能相同，负责和数据库交互，进行数据处理T为Template与MVC中的V功能相同，负责封装构造要返回的HTMLV为View与MVC中的C功能相同，接收请求，进行业务处理，返回应答搭建开发环境搭建Python环境：在Python官网中选择电脑对应的版本进行下载搭建开发环境Django安装：pipinstallDjango==3.0.4查看Django安装版本：进入到Pythonshell下查看需求说明:搭建开发所需要的虚拟环境，安装Django3.0.4，成功安装后，进入Pythonshell查看Django版本操作—搭建开发环境创建Django项目在想要创建项目的文件夹下面执行以下命令目录结构__init__.py：一个空文件，表示这个目录应该被看作一个Python包settings.py：项目的配置urls.py：项目的URL声明wsgi.py：项目与WSGI兼容的Web服务器入口manage.py：项目管理器（一个命令行工具）django-adminstartprojecttest1创建应用在项目中可以创建多个应用，每个应用处理一种业务逻辑在项目的目录下执行以下命令目录结构migrations：数据迁移模块__init__.py：一个空文件，表示这个目录是一个Python包admin.py：当前应用的后台管理系统配置apps.py：当前应用的配置models.py：数据模型tests.py：自动化测试模块views.py：执行相应代码pythonmanage.pystartappbooks编写HelloWorld创建视图函数配置URL路由fromdjango.httpimportHttpResponsedefindex(request):

returnHttpResponse("HelloWorld")fromdjango.urlsimportpathfromusers.viewsimportindexurlpatterns=[path('index/',index)]系统部署知识点三Django项目配置调试配置DEBUG=True当DEBUG为False，ALLOWED_HOSTS则为必填项，否则程序无法启动如果想要所有域名都可以访问则配置：ALLOWED_HOSTS=[‘*’]如需指定域名则配置：ALLOWED_HOSTS=[‘’]Django项目配置应用配置：在开发过程中，无论是第三方应用还是自己创建的应用都需要配置到INSTALLED_APPS下，只有配置后应用才会生效。INSTALLED_APPS=['django.contrib.admin','django.contrib.auth