基于大数据技术的智联高校与智能推荐设计与实现

1、    基于大数据技术的智联高校与智能推荐设计与实现    胡凯强 李昌清 陈圣文 薛孟武 李乐摘 要：基于大数据技术的智联高校与智能推荐采用b/s模式，利用ssm进行设计和开发，通过hadoop生态对部分有用数据进行分析，利用微信小程序展示数据。开发工具为lntellij idea、微信开发者工具、hadoop、zookeeper、hive等。基于大数据技术的智联高校与智能推荐使用微信小程序，操作简单，维护方便，具有很高的实用性。关键词：大数据;智能推荐;学科学习;微信小程序0 引言21世纪已进入了网络时代，虽然获取信息资源的方式增加了许多，但是网络上

2、的信息资源质量依旧是良莠不齐，并且甄别资源又浪费了大量的时间。加上学习软件的众多，使同学无从下手，课程的质量参差不齐，不知如何选择。在大数据对网络信息时代发展的重要推动下，为了解决这一问题，利用大数据和爬虫技术获取网络上的大量资源，然后对数据进行清洗和批处理后存入数据库。再根据学生的专业和兴趣做出描述性分析，使用算法将学习资料视频数据智能推荐给对应学生，鼓励大学生自主学习，解决自身学习上的问题，为学生节省了大量的时间。本项目就是整合一些学习平台的学习资源，并给出最符合该专业学生所需要的学习视频及资料。1 基于大数据技术的智联高校与智能推荐的总体架构基于大数据技术的智联高校与智能推荐系统的用户分

3、为系统管理员和学生用户。按照角色设计的基本思想，即基于角色的访问控制（role-based access control，rbac）通过用户角色而不是仅通过用户角色来标准化对功能和数据的访问。用户访问基于提供给用户的角色定义，本系统设有管理员角色和普通用户角色，且每个角色的相关权限和功能并不相同。某模块的简易模型如图1所示。基于大数据技术的智联高校与智能推荐的主要功能包括：（1）系统管理员，可以对数据库进行维护、填写和发布公告、视频发布、用户管理、评论管理、失物管理等。 （2）学生用户，能够发表评论、查看其他用户评论、修改个人信息、浏览视频、收藏视频、点赞视频、上报失物、失物认领等功能。1.1

4、 hadoop生态数据存储总体设计hive1是基于 hadoop2的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询聚合功能，可以将sql语句转换为mapreduce任务运行。在hadoop mapreduce 框架下利用zookeeper3实现master和slave之间的心跳线维护，在此基础（hadoop ha）上搭建（hive ha）保证数据库的连接。具体搭建模块如 表12所示。1.2 系统管理员模块设计系统管理员模块的主要功能有：发布公告、推荐视频管理、模块管理、审核用户评论、用户管理。（1）发布公告：管理员可以发布公告展示到微信小程序首页。（2）推荐

5、视频管理：管理员对推荐视频进行增删改查。（3）模块管理：管理员对模块的增删改查，如失物招领、闲置交易、问题解答类模块的管理。（4）审核用户评论：用户发布评论后只有通过过滤器，审核通过后才会显示到微信小程序中，这样可解决违规评论的出现。（5）用户管理：对注册用户的管理，面向用户操作，如有用户违规可以注销该用户。1.3 注册用户模块设计注册用户模块的主要功能有：填写个人信息、浏览其他用户发布的信息、浏览学习视频、发布评论留言。填写个人信息：注册用户通过使用微信小程序，打开微信，搜索小程序。进入页面用户点击登录，授权，获取用户的openid以及用户微信的相关信息4。此时判断用户是新用户还是老用户，并

6、进行用户个人信息的填写。浏览其他用户发布的信息：小程序中可以浏览个人发布的信息，可供浏览的分类模块有失物招领、闲置交易、问题解答等。浏览视频学习：进入视频观看页面，根据学院专业信息，有默认的推荐视频（默认排序），也可以按照点赞数排序，同时可以搜索科目进行模糊匹配，给出推荐，浏览视频即可以跳转到相对应的学习页面。发布评论留言：对于他人的发布，用户如果想详细了解该事情，可以发布留言等待博主的回应或者获得他人的解答。1.4 技术选择使用java语言编写后端模块采用spring+spring mvc+mybatis即ssm来构建项目，使得代码复用，可维护性大幅度提升，aop提供切面编程，同样增强了生产

7、力5。使用微信小程序方便用戶的点击访问。通过后端提供接口，前台访问接口。通过ajax在浏览器与web服务器之间使用异步数据传输（http 请求），通过get或post方法与后端服务器交互。2 基于大数据技术的智联高校与智能推荐的实现基于大数据技术的智联高校与智能推荐的实现采用了b/s和c/s的混合设计。c/s使用了微信小程序和服务器端的交互，b/s使用网页和服务器端的交互。项目的总体实现使用了mvc思想，有推荐信息表示层、推荐信息逻辑层、推荐信息数据层。第一层是表示层，是用户进行交互信息的界面，用户通过微信小程序查看推荐的学习视频，也可以使用浏览器查看推荐的分析echarts图。第二层是推荐信息逻辑层，介于表示层和逻辑层之间。负责接收前台数据，执行响应程序将结果传递给表示层中，对用户请求的内容，与数据库连接后，获取数据进行逻辑处理。如：用户对视频的查询是按照播放量查询，还是按照点赞量查询。第三层是数据层，主要是对数据库的访问。微信小程序用于获取用户间的信息，将用户的操作、发布等信息保存下来，通过大数据平台的分析会得到有用的推荐数据，将推荐数据存储到数据库中，获取数据库中的信息将结果展现到echarts图，使得3层之间具有很高的独立性、强扩展性。3 结语基于大数据技术的智联高校与智能推荐平台极大地方便了大学生的学习。大学生在空闲时间