大数据数据分析项目实践

目录一、 实践目的 11. 时代要求 12. 教育要求 13. 素养提升 2二、 实践内容 3三、 实践过程 41. 准备阶段 42. 理论基础知识学习 43. 按组做项目 54. 进行答辩 5四、 实践体会 6 2大数据数据分析项目实践实践目的时代要求“大数据”是近几年来最火的词之一，虽然出现的时间不久，但是凭借其良好的发展前景和快速的发展速度被社会认可。早在互联网初期，就有很多公司通过计算机技术对大量的分析处理，比如各个浏览引擎。然而，大数据提出的真正时间却是源自2008.09.03《Nature》专刊的一篇论文，紧接着，产业界也不断跟进，麦肯锡于2011.06发布麦肯锡全球研究院报告，标志着大数据在方式难以应对的非结构化数据。据统计，高达80%的商业数据均以非结构化的形式保存，如何充分有效地挖掘其中的价值成为所有企业面临的挑战和机遇。我们已经身处大数据商业时代，数据的核心是发现价值，而驾驭数据的核心是分析。分析是大数据最关键的环节，数据的采集、存储、和管理都是数据分析的基础步骤，通过进行数据分析得到的结果，将会运用于大数据相关的各个领域。目前在大数据这一领域我国还处于初级阶段，它的实际价值是数据共享、交叉复用后获取最大的数据价值。从全球来看，它缩小了各国之间的距离，打破了沟通障碍，创造了一种人人都可以就此达成一致的统一全球语言。在谈论大数据时，我们只注意到了它所显露出来的一小部分，以此来预期它将更进一步地改变我们的生活方式，工作方式，甚至会影响到我们日常的行为模式。我们预期未来大数据会成为互联网的基础设施，大数据的规模将会更大，将会变成一大产业，数据的价值会更加凸显，由此而产生的新兴职业数据分析师、工程师、科学家都将会是人才大缺口。教育要求我们可以通过对数据的计算分析出最优化的教育模式，如在足球项目中使用大数据技术采集运动员的体能、耐力等各项数据分析出其最适应的训练计划和出场位置，以便提高整个球队的竞技水平。素养提升实践是个人综合能力的检验，为了满足当代社会对于大学生的要求，我们需有一定的实践动手能力，操作能力。学校的培养方式和社会工作中所需要的技能之间存在很大的差距，学校主要培养学生的理论知识，而社会需要的是员工的实践能力。要适应社会的生存要求，除了要加强课堂上的理论知识外，还必须要亲自接触社会参加工作实践，通过对社会工作的了解指导课堂学习。在实践中切身体验大数据时代对企业、个人的影响，从而更好地将所学的与大数据相结合。进一步培养自己的业务水平、与人相处的技巧、团队协作精神、待人处事的能力、提高自学、独立开发和协作能力等，尤其是观察、分析和解决问题的实际工作能力，以便提高自己的实践能力和综合素质，希望能帮助自己以后更加顺利地融入社会，投入到自己的工作中，为走向工作岗位奠定良好的基础。（1）实践能力通过在企业的实践，从了解企业如何运用大数据方面，运用所学的有关计算机方面的知识对企业相关业务进行调查和分析。在此过程中学会如何运用专业知识去发现问题和解决问题，并提升实践能力。（2）心理素养通过实践，学会了如何在团队中进行分工合作，与他人交流意见。提高自己的责任心与集体荣誉感，提升今后在学习生活中的抗压能力，为以后走入社会奠定良好的心理素养。（3）管理能力通过实习，调查和了解企业的运行机制和业务管理过程，参与企业具体的管理工作，提高社会实践能力，增强调查研究、人际沟通、谋略决策、随机应变等独立工作能力与管理能力3（4）信息敏锐度大数据可以挖掘需要的信息，比如对目前就业环境进行分析。大学生不能只在校园里观察社会的发展和变化，在实践中利用大数据分析的优势，对各行各业进行分析，做出正确的选择。通过网络获取大量的信息，提高了大学生对信息的敏感度，意识到信息对生活和工作的重要性。实践内容在课程前几天，我们学习了数据和数据库的基本内容，明白了什么是数据、数据存储方式、存储数据的目的等内容，然后按照安装步骤参考文档安装Mysql并且学习了几个常用操作命令：登陆、退出、命令开启服务、命令停止服务、查看数据库、切换数据库、查看表、查看表结构和查帮助的命令，及Mysql的历史。接着安装了navicatpremium，学习了sql的概念和sql分类，在DDL操作中学习了创建数据库、创建数据表、表结构的修改、删除表、清空数据库、修改密码和数据库的备份和还原，并且尝试在navicatpremium中实际操作，对数据进行插入、删查询等。对数据库有了一定的了解后，我们安装了FineReport模板设计器，并学会了如何用FineReport模板设计器制作分组报表、行式报表、单元格拓展、父子格、交叉报表、柱形图、区域图等基本操作，然后又学习了点地图和流向地图的制作方法。学完基本操作后，我们根据老师的步骤和提供的数据慢慢做出了数据大屏，在这个大屏中可以形象直观的看出职位分析及薪资情况、薪资排名、平均薪资、职位数量、技能需求、学历分析、公司福利和经验分析等重要信息。数据分析职位分析大屏对求职者提供了极大的便利，可以更了解各个地区职位方面的要求，各公司的福利和各地区的薪资情况等重要信息。在学习完FineReport模板设计器的操作后，我们又接着根据老师提供的步骤安装了八爪鱼采集器和JetBrainsPyCharm。老师先叫我们用PyCharm爬取了百度标题，将豆瓣电影影评提取出来，并且将猫眼电影TOP1000的电影名、主演和上映时间按照顺序单独爬取出来。接着用八爪鱼采集器爬取智联网站中企业对于数据分析职位的信息，将各个公司的职位、薪资、经验、福利、名称等有用信息提取出来并4导入Excel表格中，求职者可以在表格中清楚的看到有用信息，为他们提供了极大的便利。对数据分析所用的部分软件有所了解，并对基础操作熟练后，老师让我们用这两周所学到的东西结合起来并做出一个大屏。我组成员首先用八爪鱼采集器将中国2019年度电影票房榜单前25部电影的名称、票房和制作地区爬取出来并导入Excel表格中，接着用FineReport模板设计器将电影所在地区分布用地图显示出来，并将票房排名用滚动的形式表示出来，然后统计出各种类型的电影数量和票房区间，并且用词云的形式将电影类型数量生动的表现出来，最后用饼图将各个地区电影数量占总电影数量的百分比表示出来。整个大屏的制作都是根据各位老师上课所教的内容进行的。实践过程这次的实践活动可以说是获益良多，掌握了大数据三个软件，并用其对互联网的大数据进行的获取、组织、分析和挖掘的过程。从客观上对自己所学的有关大数据的各项知识和理论有了更深一层的认识，对我们以后的学习、工作提供了很大的便利，也学到了课本上学不到的知识。实践过程主要包括以下几个阶段：准备阶段跟着老师安装接下来学习所需的软件，熟悉这些软件。理论基础知识学习前三天了解了数据与数据库，然后学习如何运用NavicatPremium数据库管理工具。将此工具连接至数据库，可以从中看到各种数据库的详细信息，包括报错等。学习了如何创建数据库、数据表、对表结构的修改、数据库的备份和还原、各种运算符、DML操作DQL数据查询、函数（包括数学函数、字符函数、日期函数、聚合函数、分组函数、加密函数等）。接下来的三天学习了FineReport模版设计器。它是一款集数据展示和数据录入功能于一身的企业级报表工具，它“专业、简捷、灵活”的特点，只需要简单的拖拽操作就能够进行复杂的报表设计和搭建数据决策分析系统。利用导入的数据对其进行分组报表、行式报表、单元格拓展等设置，使阅读报表者可以更清楚地看到自己想要的信息。还学习了绘制柱形图、区域地图、点地图、流向地图。最后根据前面所学的东西制作了数据分析职位的大屏。5最后几天学习的是Python是一种计算机程序设计语言，与Java、C语言并齐，可以广泛应用于游戏开发、网站开发、科学应用、大数据分析、云计算等领域。建立python使用时的基本结构：发送请求，接受响应，解析数据，保存数据。然后用Python爬取了百度的标题、豆瓣影评、猫眼电影的排名。最后利用一个叫八爪鱼的采集器对拉勾网、智联招聘的“数据分析师”进行了数据采集，爬取了西安企业最新招信息求职信息（公司地址、月薪、学历、福利等），然后将其导入到Excel表格中，得到最终数据。按组做项目我们组做的项目是“中国2019年度电影票房榜单”，依据之前所学的理论及基础知识利用八爪鱼采集器对CBO中国票房网站的数据进行了爬取。把这些爬取的数据导入Excel表格中，将数据导入NavicatPremium数据库中，在FineReport模版设计器用定义数据连接将Mysql数据库的数据导入，建立好数据库查询就可以进行大屏的制作。我们组将大屏分为6个板块，分别为地区分布、票房排名、类型数量、票房统计、影片类型、各国家影片数量占比。对每个板块按其内容进行编辑，最后做成的成果能够使读者清晰地从大屏中看到他所需要的信息。进行答辩最后一天的下午，我们以组为单位进行了项目答辩，大家都很认真的运用了自己这两周所学的东西来做项目，并最终以报表的形式呈现出来，接着每组的组长都上台展示了自己组的项目，并且进行了简短的介绍，并且阐述了数据代表的了什么，以及从数据中发现了什么问题，每个组都做出了自己的特点。6实践体会本次夏季短学期我们小组五人参加了大数据分析实训，完成了三个项目的实践操作，进一步了解到大数据分析在现实问题中的应用，也认识到其对事物的发展趋势具有预测推断的作用。随着互联网的广泛应用和物联网技术的快速发展，人类产生创造的数据规模在不断扩大，数据的种类也在日益增加。在庞大的数据集中隐藏着具有使用价值的模式和信息，但其中数据价值密度极低，因此需要引入大数据分析技术，及时对其进行筛选、分析、归纳、整理入库，获取所需信息，从而帮助人们更好地作出决策，在市场上拥有更强的竞争力。在第一个项目中，我们首先学习了数据库的基础知识并下载安装了Mysql数据库管理系统，然后实践操作了如何创建数据库、数据表，如何修改表结构，以及怎样删除清空表，删除数据库，还学习了数据库的备份与还原。经过一系列的练习，我们对大数据分析的技术有了初步的认识，也掌握了入门所必要的相关知识，为后面的深入学习打下了基础。第二个项目是通过新建决策报表，借助地图、雷达图、条形图等将数据进行可视化表达，再编辑调整属性、标签、样式等，最终实现数据分析职位驾驶舱大屏。这个项目旨在借助图形化手段，清晰有效地传达与沟通信息，即对数据加以可视化的处理，更为直观地解释数据分析的过程。最后也是最为重要的一个项目是利用python语言在PyCharm中进行数据爬取。我们主要学习了如何编写代码的基本结构，即先发送请求，然后接受响应，再读取响应，得到一个网址的源代码，对其进行数据解析，最后保存数据。在理解了爬虫的基本框架后，我们在一些网站上进行了数据的抓取练习，成功地获取到自己所需要的信息。我们在大学所学习的专业是经济统计学，学科的主要方向就是数据分析，这次实践中所接触到的计算机语言与相关系统程序对我们的帮助极大，有利于我们接下来的专业学习和职业规划。在实训答辩时，我们小组将所学知识综合运用，从数据的爬取，到其中的整合分析以及可视