大数据时代的成绩管理与数据分析毕业论文

大数据时代的成绩管理与数据分析专业：通信工程 摘 要随着新世纪我们进入信息时代以来，科学技术越来越发达。在社会的各个层次，都在加强自身的信息化管理。现在的信息管理系统已经成为各行各业中应用非常广泛的计算机应用。而我们现在的作为时代的先锋的大学就更应该加强自身的信息化管理，提升自我档次。现如今学校的发展飞速，由于学生数量上的增长使得传统意义上的成绩管理的工作的负担变得尤为的繁重。而且现在的新青年更加倾向于网络和新奇士事物。设计一款基于web的成绩管理系统是非常必要的。因为这样技能够减轻成绩管理工作的工作负担，摒弃它的复杂流程、提高工作效率。同时还能够为同学们提供新的网络平台，便于了解自己的在校情况。论文首先提出的是在大数据的前提下，设计出基于web的学生成绩管理系统。该设计方案是采用移动互联网技术和Struts构架、JSP技术,数据库技术；数据库主要是运用SQL Sever这个关系型数据库管理系统。通过本论文的课题研究，实现基于web的数据库管理系统，使大数据时代能够在未来得到更好的运用。关键词：Web、JSP、大数据、成绩管理、SQL Sever 16Performance Management and Data Analysis of The Age of Big Data.Major: Communication EngineeringStudent: Zheng Dan Supervisor: Luo FuqiangAbstractSince the new century we haveentered the information age,more and more developed science andtechnology.At all levelsof society,in the strengthening ofinformation managementof its own.Information management systemof thecomputer applicationnowhas becomeverywidely usedin all walks of life.We nowasthe pioneer of a new eraofuniversity should be moreto strengthen the information managementof themselves,improve selfgrade.Nowthe rapid development oftheschool,the number of studentson thegrowth makes the performance managementin the traditional senseofthe burden of workhas become particularlyonerous.Butthe new youthare now moreinclined tonetwork andSunkistthings.To design aperformance managementsystem based on webisvery necessary.Because such skillscan not only reduceperformance managementworkburden,abandonitscomplex process,improve work efficiency.At the same time can alsoprovide a newnetworkplatform forthe studentsin the school situation,easy to understandtheir own.This paperfirst proposedis predicated onlargedata,designstudent achievement managementsystem based on web.The design schemeis the use ofmobileInternet technology and Structsframework,JSP technology,database technology;databaseis mainly the use of SQLSeverto therelational database management system.Through the research of this paper,the realization ofdatabase management system based on Web,theage of big datacan beused to getbetterinthe future.key words：Web JSP Big Date Performance management SQL Sever目 录1绪 论11.1项目背景及意义11.2国内外动态21.3研究内容32项目关键技术介绍32.1 Struts构架介绍32.2 SQL Sever概述42.3 JSP技术概述43项目需求分析53.1 需求分析概述53.2 项目系统功能63.2.1 学校功能模块63.2.2 学生子系统功能模块73.2.3 教师子系统功能模块73.2.4 家长子系统信息模块84项目设计84.1 系统功能框架图84.2 学校管理框架84.3 学生子系统框架94.4 教师子系统框架104.5 家长子系统框架104.6 数据库设计114.7 数据库存储结构125项目实现135.1 开发环境135.2 管理后台实现145.2 信息录入实现实现145.3 信息查询实现155.4 数据库连接实现166项目测试176.1 测试项目说明176.2 信息查询测试176.3 数据导入测试176.4 录入修改测试176.5 添加信息测试18结束语18参考文献19致 谢201绪 论1.1项目背景及意义现如今的科学信息技术发展迅猛，这使得Internet正在不断的发展壮大，而且它所具备的各种功能也越来越强大，所涉及的应用领域也在不断扩展。可以这样说，Internet开辟出了人类新的发展道路，是人类文明前进道路上非常非常重要的武器。当今社会下，作为高等学府，就更应该利用新的知识，新的科技，前卫的方式来做好社会发展得标杆，运用现如今逐步趋于成熟的互联网技术、web、数据库技术等一系列信息科学技术来充实自身，提升自我。所以，利用web数据库在如此卓越的Internet环境，建立起一个学生信息管理系统是非常有必要的，也是历史发展的必要产物。1.2国内外动态 到了新世纪以来，信息科学技术飞速发展。一个国家的信息技术的发展已经成为衡量各国经济、社会发展的检验标准，在各国科技、经济和社会发展方面起着越来越重要的作用。在我国社会主义建设的这条道路上，以及今年中共中央十八大的顺利召开下，信息化建设已经成为我国社会主义建设现如今最首要的任务。 信息管理系统是。 目前。1.3研究内容对研发的背景和意义进行阐述，以及国内外的研究动态与现状进行分析介绍，同时大体上介绍本论文的基本框架和内容。是对研发系统相关技术的介绍，对研发学生信息管理系统的关键技术做了详细介绍。如Struts构架、JSP技术、数据库连接技术和数据库应用系统进行介绍。同时还需要运用大数据时代的数据库知识，SQL Sever的运用。是对论文的需求分析，首先对系统需求进行概述，然后对具体的论文中涉及的学生信息管理系统进行分析。然后了解大数据时代下的数据库基础知识，找出适合本平台的学生信息管理系统的模型架构，对学生信息管理系统的功能结构进行分析。 。2项目关键技术介绍2.1 Struts构架介绍 Struts是最早的Java开源框架，它是对MVC设计模式的实现，Struts完全有能力开发大型的Java Web项目。其中MVC是Struts的一个设计模式，MVC能够强制性的把程序的输入、输出和处理分开，这样就能使MVC的应用程序分成三个能够自行处理自己任务的核心部分，模型、视图、控制器。下面就三个核心部分进行简单的介绍。（1） 模型 在MVC的三个核心部分中,模型扮演者至关重要的任务，它负责。（2） 视图视图其实就是。（3）控制器 MVC的控制器就是。2.2 SQL Sever概述 SQL Server 是微软公司推出的一个关系型数据库管理系统。它的有点十分明显，使用非常方便，相关软件集成程度高，可伸缩性非常好，应用非常的广泛。它能够在Windows的各个版本和平台中使用，由此可以看出Microsoft SQL Server 同样也是一个十分全面的数据库平台。现代的信息科学技术的重要组成部分之一就是。2.3 JSP技术概述 JSP技术是使用Java编程语言编写出类XML的tags和scriptlets，主要用来封装产生动态网页的处理逻辑。它能够将网页的设计显示和网页逻辑分离开，为了快速并且简单容易的开发出基于Web的应用程序，所以它能够支持可重用的基于组件的设计。 JSP(Java Server Pages)其实就是一种动态页面技术，主要目的就是在JAVA的基础上把表示的逻辑从Servlet中分离开来，从而脱离出硬件平台的束缚。JSP的运行方式是选择先编译后运行，所以能够大大提高执行的效率，这就使它成为Internet上的主流开发工具。而JSP采用的脚本语言是与平台无关性的JAVA语言，所以它就能够在各种平台上得到广泛应用。3项目需求分析3.1 需求分析概述 论文所涉及的信息系统的需求分析是信息系统开发过程中非常重要的第一步，万事开头难，有一个完美的开局就等于成功的一半，所以本章涉及的需求分析的好坏直接影响着后面信息系统设计合理性以及是否能够符合用户的需要。需求分析指的是要。需求分析可分为三个阶段：。现在的高校随随便便都能够拥有几万名的学生。如果还是继续使用传统的成绩管理模式的话，除了不方便还是不方便。效率低下，不方便维护不方便使用等都是我们必须选择新型的信息管理系统的。而且学生的信息、成绩以及校园信息的动态管理也是非常重要的，所以现如今就急需开发一个适合各个学校情况的的学生信息管理系统，这样就能够提高成绩管理、信息化管理的准确度和工作效率。广大学生也能够根据自己的拥有的权限查询自己的相关信息，老师也能够拥有权限去管理学生的一些情况，促进学校对学生的管理以及家长对自己子女的了解。“大数据”的到来，结合大数据和传统数据库，传统的学生成绩管理系统，能够为学校提供了一个更好的管理平台，学校能够更好的了解学校的每一位学生，每一位老师。3.2 项目系统功能3.2.1 学校功能模块 （1）学生管理在本功能中，学校利用平时采集到的学生信息，经过“大数据”技术的分析，管理查询学生的在校情况。以下由两个方面来分析。学习方面：。生活方面：。（2） 教师管理3.2.2 学生子系统功能模块 （1）查询个人信息学生登录之后，和传统的学生成绩管理系统相比，除了会显示出自己的个人的基本信息，如查询自己的近况包括上课质量，练习速度和精准度以及出现的问题，和奖惩情况。同时可以对自己的用户信息的密码进行修改。（2）查询成绩在“大数据”前提下，学生登录之后，可以查询自己的考试成绩，包括平时的课堂表现和练习速度。平时考试成绩及具体问题的出现，上课考勤情况以及期末考试成绩的查询。可以是对某一学期，也可以是对某一科进行查询。4项目设计学校信息管理系统4.1 系统功能框架图大数据分析处理管理模块家长子系统模块学生子系统模块老师子系统模块图1：整体框架4.2 学校管理框架 管理框架中，主要是管理人员能够在此框架中对学生的考试成绩进行录入，发布学校的及时信息，同时对学生老师的信息进行管理和备份。同时还能够收到学生、老师及家长的留言信息，能够做好各种反馈。图2：管理框架4.3 学生子系统框架 学生版块中，主要是对学生基础信息、成绩、平时表现、课表、考试安排等的录入和查询，学生可以通过学生学生版块来查看自己的各种信息，如考试成绩、考试排名、考试安排、课程安排、平时表现以及学校的即时性的新闻通知等信息，同时还能够看到自己的学籍信息。 学生登录学生登录个人信息留言板块课表查询成绩查询校园信息图3：学生框架4.6 数据库设计数据项是数据库的关系中不可再分的数据单位，下表分别列出了数据的名称、数据类型、长度、取值能否为空。利用SQL Server 2000建立“学生选课”数据库，其基本表清单及表结构描述如下：表1：Student信息表结构数据库表名关系模式名称备注Student学生学生学籍信息表Course课程课程基本信息表Score成绩选课成绩信息表表2：Student信息表结构字段名字段类型Not Null说明Student _snoCharPrimary key学号Student _sncharNot Null学生姓名Student _sexchar男或女性别Student _deptchar系别Student_agechar年龄Student_addresschar地址5项目实现5.1 开发环境 本系统采用ASP语言为开发语言，系统采用 Windows XP平台作为开发的操作系统，开发工具采用的是Dreamweaver，数据库采用的是SQL Server 2005。由于在国内大部分的操作系统就是微软的Windows操作系统，所以选择在Windows系统上设计和测试本次设计的系统，能够顺利的运行就能够达到我们高校学生，老师的要求。而且Windows XP系统使用简单，配置容易。 5.2 管理后台实现 如果管理员要对系统进行管理,首先要登录到管理后台。在网站前台首页的底部提供了后台管理员登录的入口,管理员通过输入正确的用户名和密码即可登录到网站的后台。在登录时,如果用户名或密码为空,系统将通过Java Script进行判断并给予提示信息。实现关键的代码： 6项目测试6.1 测试项目说明 计划测试的主要包括对系统的各个模块进行测试，比如对数据录入的测试、对基本信息的正确性测试、对录入后修改信息的测试、对基本信息的查询测试等。当每个模块完成设计之后就进行编译和测试，这样能够保证每个模块的正确性。 具体简单的流程是，当论文管理系统的每个子模块设计完成之后，直接进行试运行，这样就能在运行的过程中发现问题，然后就能针对发现的问题和错误进行修正。这种边设计边测试的方法让本次论文的设计变得更高效。6.2 信息查询测试 本测试的目的是为了确保在查询学校信息的时候，在窗口输入错误或者不存在的学生学号时，反应出系统的错误和纠错性。具体处理方法是：在后台添加信息的地方中输入空的信息编号，把输入的空编号和已存在的信息编号放在一起，这样就能检测出系统的出错运行情况。同时还要求系统在遇到这些错误输入情况时能够给出正确的错误提示。结束语论文在大数据时代的基本上，运用SQL Server和JSP技术在基于Internet的基础上构建出了一个信息时代的web学生信息管理系统。登录的用户只要通过任意web浏览器这进入这个系统界面,就能够体验到校园的各种信息服务。在本次论文设计中，深入理解了数据库设计。参考文献1数据库原理及应用教程:张莉、王强等著,清华大学出版社,2003.12SQL Server2000管理及应用系统开发:李晓喆、张晓辉等著,人民邮电出版社,2003.73SQL Server数据库原理及应用教程:张莉、王强等著,清华大学出版社,2003.14张继坚，数据管理的演进J.微电脑世界5周森鑫，基于校园网的学生成绩管理系统.计算机技术与发展,2006.46Java大学基础教程（第六版）美戴特尔（Deitel.H.M.）等著 刘晓莉等译 电子工业出版社 2007.17张继坚，数据管理的演进J.微电脑世界8JSP程序设计精彩实例:姜晓铭刘波张亦华编著,清华大学出版社,2001.69郭东强，现代管理信息系统M.北京:清华大学出版社，2006.810孙荣平，成绩统计分析中的数据预处理研究J. 黑龙江教育(高教研究与评估)11孟小峰，慈祥，大数据管理:概念、技术与挑战J.计算机研究与发展，2013.112 刘意成，SQL实战演练M .北京：西安电子科技大学出版社，2004.7.微信公众号添加菜单/* * 添加菜单 */Testpublic void testAddMenu() / http请求方式：POST（请使用https协议）/cgi-bin/menu/create?access_token=ACCESS_TOKEN/ 并且要传递一个json的菜单格式(见微信官方开发文档)/ 构造url和token;String url = /cgi-bin/menu/create?access_token=ACCESS_TOKEN;url = url.replace(ACCESS_TOKEN, WeChatConstants.ACCESSTOKEN);/ json格式的菜单内容String menuJson = getMenu();/ 发送一个get请求String resultJson = HttpClientUtil.httpPost(url, menuJson);/* * 组建一个json格式的菜单,格式见官方开发文档; */private static String getMenu() / 根对象JSONObject root = new JSONObject();/ 有一个button属性，属性的值数组JSONArray oneLevelMenu = new JSONArray();/ 一级菜单数组里面包含两个一级菜单(主页和功能菜单)JSONObject index = new JSONObject();index.put(type, view);index.put(name, 商城首页);index.put(url, URL);/ url地址以http开头JSONObject manager = new JSONObject();manager.put(type, view);manager.put(name, 产品上新);manager.put(url, URL + /shop/manager);/ url地址以http开头/ 添加两个一级菜单到一级菜单数组oneLevelMenu.add(index);oneLevelMenu.add(manager);/ 添加属性，put(key,value) key表示属性的名称 value表示属性的值root.put(button, oneLevelMenu);return root.toString();微信验证服务器 /* * 验证为新服务器: */ RequestMapping(method = RequestMethod.GET) public void signature(HttpServletRequest request, HttpServletResponse response) throws Exception /* * 第二步：验证服务器地址的有效性: * 1.开发者提交信息后，微信服务器将发送GET请求到填写的服务器地址URL上，GET请求携带四个参数; * 2.若确认此次GET请求来自微信服务器，请原样返回echostr参数内容，则接入生效，成为开发者成功，否则接入失败: * 加密/校验流程如下： * a. 将token、timestamp、nonce三个参数进行字典序排序 * b. 将三个参数字符串拼接成一个字符串进行sha1加密 * c. 开发者获得加密后的字符串可与signature对比，标识该请求来源于微信 */ PrintWriter writer = response.getWriter(); /接收四个参数; String signature = request.getParameter(signature); String timestamp = request.getParameter(timestamp); String nonce = request.getParameter(nonce); String echostr = request.getParameter(echostr); /构造数组; String args = weixin, timestamp, nonce ; /进行排序; Arrays.sort(args); /构建新的字符串准备加密; StringBuilder sb = new StringBuilder(); for (String str : args) sb.append(str); /得到sha1加密的字符串; String sha1Msg = SecurityUtil.sha1(sb.toString(); /进行验证;(实际上这一步是在微信服务器上完成的,如果验证成功公众号就可以使用了;) if (signature.equals(sha1Msg) System.out.print(认证成功); else System.out.println(认证失败); 支付宝支付请求 RequestMapping(method = RequestMethod.POST) public void doPost(HttpServletRequest httpRequest, HttpServletResponse httpResponse) throws ServletException, IOException, AlipayApiException /获取订单ID; String id = httpRequest.getParameter(id); /通过订单ID去数据库查询订单的所有信息(产品,价格等); MyOrder myOrder = service.get(Long.valueOf(id); Double totalPrice = myOrder.getTotalPrice(); / 获得初始化的AlipayClient,创建支付宝支付对象,准备进行支付请求,参数就是上面定义的参数; AlipayClient alipayClient = new DefaultAlipayClient(URL, APP_ID, APP_PRIVATE_KEY, FORMAT, CHARSET, ALIPAY_PUBLIC_KEY, SIGN_TYPE); / 创建API对应的request,准备进行支付请求; AlipayTradeWapPayRequest alipayRequest = new AlipayTradeWapPayRequest(); / 设置支付完成后回跳和通知地址; alipayRequest.setReturnUrl(); alipayRequest.setNotifyUrl(http:/163.com); / 填充订单业务参数 alipayRequest.setBizContent( + out_trade_no: +myOrder.getId()+ total_amount:+totalPrice+ subject: +myOrder.getGoodName() + seller_id:2088123456789012, + product_code:QUICK_WAP_PAY + );/填充业务参数 / 执行请求之后生成表单,并获得表单,表单会自动进行提交; String form = alipayClient.pageExecute(alipayRequest).getBody(); / 调用SDK生成表单 / 设置表单网页的类型; httpResponse.setContentType(text/html;charset= + CHARSET); / 直接将完整的表单html输出到页面 httpResponse.getWriter().write(form); / flush方法会直接进行表单提交,此时跳转到支付宝支付界面; httpResponse.getWriter().flush(); Opencv录制视频,截图 RequestMapping(value = /camera, method = RequestMethod.GET) public String camera(final String type, double rate) throws org.bytedeco.javacv.FrameRecorder.Exception, Exception, InterruptedException / 加载opencv组件; Loader.load(opencv_objdetect.class); / 获取摄像头资源(本机默认为0,构造函数参数不同摄像头不同) OpenCVFrameGrabber grabber = new OpenCVFrameGrabber(0); / 启动摄像头; grabber.start(); / 转换器;(OpenCV主要针对的是计算机视觉方面的处理，因此在函数库中，最重要的结构体是IplImage结构) OpenCVFrameConverter.ToIplImage converter = new OpenCVFrameConverter.ToIplImage(); / 获得每一帧的图像; / 抓取一帧视频并将其转换为图像，至于用这个图像用来做什么？加水印，人脸识别等等自行添加 IplImage grabbedImage = converter.convert(grabber.grab(); int width = grabbedImage.width(); int height = grabbedImage.height(); /* * 先保存视频; */ / 格式化日期; SimpleDateFormat sdf = new SimpleDateFormat(yyyy-MM-dd hh:mm:ss.SSS); / 开始录制的时间start; String start = sdf.format(new Date(); / 创建video对象准备进行存储; Video video = new Video(); / 先保存,保存结束之后再修改video的信息; videoService.insertVideo(video); / 获得当前video的id,以便视频录制完成后进行修改; final int videoid = video.getId(); /视频存储位置;本项目; File file = new File(srcmainresourcesstaticvideo); if (!file.exists() / 如果存储文件夹不存在,则新建文件夹; file.mkdirs(); / 创建录制器(参数是视频文件的名称和视频的长宽比例); FrameRecorder recorder = FrameRecorder.createDefault(file.getPath() + + type + -NO- + videoid + .mp4,width, height); / avcodec.AV_CODEC_ID_H264，编码 recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264); / 封装格式，自定义,具体看业务需求; recorder.setFormat(mp4); / 设置视频帧率; recorder.setFrameRate(rate); / 开启录制器,进行视频录制; recorder.start(); long startTime = 0; long videoTS = 0; /* * 创建窗体,并添加菜单; */ / 新建一个窗口 final CanvasFrame frame = new CanvasFrame(视频录制); / 创建菜单条 JMenuBar jMenuBar = new JMenuBar(); / 将菜单条加入窗体中 frame.setJMenuBar(jMenuBar); / 新建菜单 JMenu jStart = new JMenu(操作); JMenuItem stop = new JMenuItem(停止录制); / 添加菜单; jStart.add(stop); jMenuBar.add(jStart); / 点击关闭窗口弹窗提示信息; frame.setDefaultCloseOperation(WindowConstants.DO_NOTHING_ON_CLOSE); frame.addWindowListener(new WindowAdapter() public void windowClosing(WindowEvent event) JOptionPane.showMessageDialog(frame, 请点击:操作 - 停止录制!); ); / 设置窗口布局,位置等; frame.setAlwaysOnTop(true); / 大小 frame.setCanvasSize(800, 600); / 居中显示 frame.setLocationRelativeTo(null); / 不可改变大小 frame.setResizable(false); frame.setLayout(null); / 点击停止录制让窗口隐藏后销毁; stop.addActionListener(new ActionListener() Override public void actionPerformed(ActionEvent e) frame.setVisible(false); ); / 获得画图对象,用来保存图片; Frame rotatedFrame = converter.convert(grabbedImage); / 定义缓存图像; final BufferedImage bImage = new BufferedImage(width, height, BufferedImage.TYPE_INT_RGB); / 构建截屏时的动画效果对象; Graphics2D bGraphics = bImage.createGraphics(); / 画图工具;10毫秒定时器 用于控制截屏时的动画时间; TimerAction timerAction = new TimerAction(frame); final Timer timer = new Timer(10, timerAction); timerAction.setTimer(timer); / 给视频添加点击事件进行截图; frame.getCanvas().addMouseListener(new MouseAdapter() public void mouseClicked(MouseEvent e) / 开启截屏动画效果; timer.start(); Date date = new Date(); long time = date.getTime(); try / 图片存储文件夹, Fil