《数据挖掘技术与应用》课件-项目一：搭建数据挖掘环境

数据挖掘技术DataMiningTechnology>>人工智能专业项目一：搭建数据挖掘环境任务一揭开数据挖掘面纱任务二搭建数据挖掘环境任务三运行第一个程序任务一揭开数据挖掘面纱任务描述项目组接到一个数据挖掘项目，今天我们将进行该项目的项目启动会，以便了解项目的整体情况，并对各个环节的工作要求有一个清晰的认识和了解，为日后协同开展工作做准备。“知己知彼，才能百战百胜“，我们先要进行数据挖掘系统的构建规划，理解数据挖掘商业模式和业务流程，构思好项目的总体架构，这样才能在编写页面时游刃有余。”这就是我们完成的第1个任务：揭开数据挖掘面纱。任务一1.1.1认识数据挖掘ONESECOND会有60张照片上传到网络ONEMINUTE会有60小时视频上传到视频网站youtubeONEDAY在facebook有40亿的信息扩散每个智能手机用户平均会安装65个应用有2940亿封邮件发出，相当于美国两年的纸质信件数量发出的社区帖子达200万个，相当于《时代》杂志770年的文字量互联网产生的全部内容可以刻满1．68亿张DVD为什么需要数据挖掘——数据爆炸VS知识匮乏人们积累的数据越来越多目前这些数据还仅仅应用在数据的录入、查询、统计等功能，无法发现数据中存在的关系和规则，无法根据现有的数据预测未来的发展趋势，导致了“数据爆炸但知识贫乏”的现象。任务一1.1.1认识数据挖掘数据挖掘的提出任务一1.1.1认识数据挖掘什么是数据挖掘数据挖掘是从数据中，发现其有用的信息，从而帮助我们做出决策（广义角度）任务一1.1.1认识数据挖掘什么是数据挖掘数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程（技术角度）任务一1.1.1认识数据挖掘任务一1.1.1认识数据挖掘商业领域金融领域交通领域......数据挖掘的其他应用领域任务一1.1.2数据挖掘的应用领域抖音的大数据通过识别大数据，分析每个内容，通过点赞，停留等动作识别用户的兴趣标。然后分别给内容和用户打上大量的标签，精准给用户匹配相关内容。任务一1.1.2数据挖掘的应用领域农夫山泉用大数据卖矿泉水在强大的数据分析能力做支持后，农夫山泉近年以30%-40%的年增长率，在饮用水方面快速超越了原先的三甲：娃哈哈、乐百氏和可口可乐。任务一1.1.2数据挖掘的应用领域soul的大数据soul提出的心灵匹配算法（可以看到两个人心灵的契合程度）任务一1.1.2数据挖掘的应用领域任务一1.1.3数据挖掘的模型任务一1.1.4数据挖掘的数据类型数据挖掘能被应用于任何对目标应用有意义的数据类型最基本的形式有：数据库数据数据仓库数据事务处理数据库数据其他类型的数据数据库数据数据库管理系统（DBMS）数据仓库数据数据仓库通过数据清理、数据变换、数据集成、数据装入和定期数据刷新来构造。任务一1.1.4数据挖掘的数据类型事务处理数据库数据传统的数据库系统不能做这种商业分析。但是基于交易数据的数据挖掘能够发现这种频繁模式，即发现那些商品会被一起经常购买。其他类型的数据时间相关的数据和序列数据（历史记录，股票交易）数据流（视频监控和传感器数据）空间数据（地图）工程设计数据（系统部件和集成电路）超链接和多媒体数据（文本、图像、音频和视频）图数据和网络数据（社会和信息网络）web数据等等（HTML等）图数据和网络数据（社会和信息网络）web数据等等（HTML等）任务一1.1.4数据挖掘的数据类型任务小结认识数据挖掘数据挖掘的应用领域数据挖掘的模型数据挖掘的数据类型任务二搭建数据挖掘环境任务描述在开始进行数据挖掘之前，需要搭建好数据挖掘环境。在掌握了相关数据挖掘知识之后，我们搭建好数据挖掘环境。这就是我们完成的第2个任务：搭建数据挖掘环境。任务二1.2.1Python开发环境系统要求Python支持的系统平台WindowsUnixLinuxMacOSXPython支持跨平台移植可以移植到Java和.NET虚拟机。Python程序编写可以使用IDLEPythonShell编写（1）在浏览器地址栏中输入“/”，按回车键，进入Python官方网站，如图所示。任务二1.2.2Python的安装工欲善其事，必先利其器。在学习Python语言之前，首先要搭建Python开发环境，本书将基于Windows平台开发Python程序，接下来分步骤讲解Python的安装。（2）单击上图中的Downloads进入下载页面，如图所示。（3）单击上图中的DownloadPython3.10进行下载，下载完成后的文件名为python-3.10.6.exe，双击该文件，进入Python安装界面，如图所示。任务二1.2.2Python的安装（4）在上图中，选中AddPython3.10toPATH前小方框，表示将Python.exe添加到环境变量Path中，此外还可以选择安装方式，InstallNow为默认安装，Customizeinstallation为自定义安装，此处单击Customizeinstallation，进入可选特性界面，如图所示。任务二1.2.2Python的安装（5）单击上图中的Next按钮，进入高级选项界面，如图所示。任务二1.2.2Python的安装（6）单击上图中Browse按钮，选择安装路径，最后单击Install按钮，开始安装，进入安装进度界面，如图所示。（7）安装完成后的界面如图所示，最后单击Close按钮即可。任务二1.2.2Python的安装（8）安装完成后，需要测试安装的Python是否可用。打开控制台（按Window+R组合键打开运行窗口，在输入框中输入cmd并单击“确定”按钮），在命令行中输入python，按回车键，将会显示Python的版本号，如图所示。任务二1.2.2Python的安装（9）在上图中，输入python并按回车键后，Python解释器就开始启动了，用户可以接着输入“importthis”，如图所示。（10）在上图中，输出结果为Python的设计哲学，即优雅、明确、简单。如果想退出Python解释器，则输入exit()。任务二1.2.2Python的安装任务二搭建数据挖掘环境Anaconda（官方网站）就是可以便捷获取包且对包能够进行管理，Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。通过官网下载，选择适合自己的电脑版本的安装包。/download/下载安装包任务二1.2.3anaconda的安装选择路径下载完成之后得到exe文件Anaconda3-2020.11-Windows-x86_64.exe，双击运行任务二1.2.3anaconda的安装假如你的电脑有多个

Users

，才需要考虑这个问题。此处可点击任意一个，如图所示。Installfor:Justme

还是

AllUsers

任务二1.2.3anaconda的安装为了方便，将本机的Python环境注入到Anaconda中。点击进入下一步按照下图进行安装任务二1.2.3anaconda的安装完成安装任务二1.2.3anaconda的安装依次点击：桌面，点击右下的window图标——系统——关于——高级系统设置——高级——环境变量——选中Path，点击编辑。添加环境变量任务二1.2.3anaconda的安装在windows的命令行下查看anaconda是否安装成功：win+R然后输入cmd进入命令行。看到版本号就说明安装成功了。依次添加四个anaconda相关的变量使用anaconda任务二1.2.3anaconda的安装pycharm能很方便的和anaconda管理的环境结合，打开Pycharm，在Setting——Project——ProjectInterpreter里面修改ProjectInterpreter,点击齿轮标志再点击**Add…**添加你某个环境的python.exe解释器就行了。anaconda链接Pycharm任务二1.2.3anaconda的安装切换不同的环境，就是在对应的环境中编程把对应解释器选择出来，它下面的列表就是这个环境中的各种工具包（package)以及他们的版本（version）。添加完成任务二1.2.3anaconda的安装任务小结Python开发环境系统要求Python的安装PyCharm的安装anaconda的安装任务二搭建数据挖掘环境（1）打开PyCharm官方网站/pycharm/，如图所示。（2）单击图中DOWNLOADNOW按钮进入下载页面，如图所示。任务二1.2.4Pycharm的安装（3）单击上图中Professional版本下的DOWNLOAD按钮进行下载，下载完成后的文件名为pycharm-professional-2017.2.3.exe，双击该文件，进入PyCharm安装界面，如图所示。任务二1.2.4Pycharm的安装（4）单击上图中Next按钮，进入选择安装路径界面，如图所示。（5）单击上图中Next按钮，进入配置安装界面，如图所示。任务二1.2.4Pycharm的安装（6）单击上图中Next按钮，进入选择启动菜单界面，如图所示。（7）单击上图中Install按钮，进入安装过程界面，如图所示。任务二1.2.4Pycharm的安装（8）安装完成后的界面如图所示，最后单击Finish按钮即可。任务二1.2.4Pycharm的安装任务三运行第一个程序任务描述建好数据挖掘环境后，我们可以试着运行第一个程序。后期我们需要在次项目环境中对数据进行采集、存储、分析与挖掘，在此之前我们可以试着运行第一个程序。这就是我们完成的第3个任务：运行第一个程序。任务三1.3.1创建第一个项目（1）完成安装后，进入启动界面，如图所示。（2）启动完成后:进入初始化配置界面，如图所示。（3）单击图中OK按钮，进入创建项目界面，如图所示。任务三1.3.1创建第一个项目（4）单击上图中CreateNewProject按钮，进入项目设置界面，如图所示。（5）单击上图中Create按钮，进入项目开发界面，如图所示。任务三1.3.1创建第一个项目（6）右击图中的项目名称，在弹出的快捷菜单中选择New→PythonFile菜单项，如图所示。（7）出现填写文件名界面，如图所示。任务三1.3.1创建第一个项目（8）在图中输入文件名“test”（或“test.py”，默认创建.py文件）并单击OK按钮，则文件创建完成，如图所示。任务三1.3.1创建第一个项目（1）点击菜单栏

file-settings-projectinterpreter-任务三1.3.2Pycharm集成Anacconda（2）点击add（3）选系统默认的环境：(也就是Anaconda环境)，点击ok即可任务三1.3.2Pycharm集成Anacconda（1）点击上open按钮，打开原先创建的test.py文件，如图所示。任务三1.3.3运行第一个程序（3）在上图中，在test.py文件编辑区写入如图所示的代码。Print（“Helloworld!”）任务三1.3.3运行第一个程序（4）右击图中的test.py文件，在弹出的快捷菜单中选择Run‘test’选项，如图所示。任务三1.3.3运行第一个程序（