大数据技术在财务中的应用Python版 课件 项目1 数据分析认知

项目一

数据分析认知数据分析基本内容认知任务1.1Python开发环境的搭建任务1.2目录引入案例任务分析知识解析案例解析任务实训实训评价1.1.1数据分析概述1.1.2数据分析方法任务1.1数据分析基本内容认知任务1.1数据分析基本内容认知引入案例今天，数据已渗透到每个行业和业务领域，并已成为重要的生产要素。随着新一轮的生产力增长和消费者盈余浪潮的到来，海量数据的挖掘和使用预示着“大数据”已经存在于我们生活的方方面面。通过本节任务的学习，请大家列举一些大家日常生活中遇到的大数据分析应用的场景。任务分析当前，越来越多的应用涉及到大数据，而这些大数据的属性，包括数量、速度、多样性等等都呈现出不断增长的复杂性。因此，大数据分析方法在这一领域也就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于此，我们要了解数据分析的含义，理解数据分析的流程，了解数据分析的应用场景及数据分析常见的统计方法。任务1.1数据分析基本内容认知知识解析数据分析是指为了提取有用的信息和形成结论而对数据加以详细研究和概括总结的过程。数据分析涵盖的内容很广，涉及领域包括数学、统计学、计算机科学以及数据科学等。一般来说，数据分析分为狭义的数据分析和广义的数据分析。

狭义的数据分析更侧重传统的统计分析领域，可以进一步分为描述性数据分析、探索性数据分析以及验证性数据分析。一、数据分析的概念1.1.1数据分析概述任务1.1数据分析基本内容认知广义数据分析除了狭义数据分析外，还包含数据挖掘。数据挖掘是指从大量的、不完全的、有噪声的、模糊的数据中抽取隐含的、以前未知的、具有潜在应用价值的信息的过程,并为管理决策提供支持。任务1.1数据分析基本内容认知二、数据分析的流程需求分析数据采集数据预处理数据可视化分析与建模部署应用1.需求分析数据分析的本质要求是满足分析需求，如果没有确定分析需求，将会导致分析无法落地。因此，需要相应的背景知识帮助明晰分析目标，确定用户需求。2.数据采集根据确定的分析目标，采集相关数据。在当前时代下，数据的种类、复杂性与来源都不断增长，包括各种财会报表数据、销售业务数据、证券价格数据、环境监测数据、医疗保健数据、政府公开的统计数据、期刊数据以及社会化媒体数据等。对来源丰富、种类多样的数据，我们不仅需要从多个途径进行采集，并且还需要对收集的格式多样的数据进行处理与合并。数据收集的工具种类繁多，如各种关系数据库、Python数据爬虫工具、数据采集器软件等。任务1.1数据分析基本内容认知3.数据预处理由于收集的数据的多样与复杂，大数据的一个重要特质表现为数据的噪声、不完整和不一致，采集的数据通常不能直接用于数据分析数。因此，对数据进行预处理是必不可少的步骤，数据预处理过程包括数据集成、数据清洗、数据变换以及数据规约等。数据预处理是一个烦琐过程，花在数据预处理上的时间往往超过数据分析其他阶段花费的时间。4.分析与建模结合目标分析对预处理后的数据进行建模。首先，我们对数据进行比较基础的统计分析，了解数据的基本的规律与特征，常见的方法包括对比分析法、同比分析法、环比分析法、结构分析法、因素分析法等。在了解数据的基本的规律与特征后，我们再通过包括相关分析、聚类分析、回归分析、分类分析、关联分析以及各种机器学习算法对数据建立模型。5.数据可视化为了便于理解，对数据分析的结果通过图形的方式进行呈现，这就是数据可化。将数据可视化，能够提高人们阅读数据分析结果的能力。目前，常见的数据可视化工具包括Python、R语言、MicrosoftPowerBI等。6.部署应用数据部署应用是指将数据分析结果应用到实际业务中，是数据产生实际价值的直接体现，这个过程需要具有数据沟通能力、业务推动能力和项目工作能力。任务1.1数据分析基本内容认知任务1.1数据分析基本内容认知三、大数据分析的应用场景1.大数据在财务领域的应用财务大数据在财务领域的应用场景有财务指标分析、应收账款信用风险管理、销售量与订货量预测、潜在流失客户画像等，大数据的应用有利于提高财务管理的效率与质量、强化财务风险的评估与防范、全方位支撑业务的高效开展和精准驱动企业的经营管理决策。2.大数据在金融行业的应用随着大数据技术的广泛普及和发展成熟，金融大数据应用已经成为行业热点趋势，在交易欺诈识别、精准营销、黑产防范、消费信贷、信贷风险评估、供应链金融、股市行情预测、股价预测、骗保识别、风险定价等涉及银行、证券、保险等多领域的具体业务中得到广泛应用。对于大数据分析的应用能力，正在成为金融机构未来发展的核心竞争要素。3.大数据在医疗领域应用近年来，大数据解决方案与大数据分析工具开始被广泛运用于医疗卫生领域。医生对患者诊疗和治疗过程中产生的数据，包括患者的基本数据、电子病历、诊疗数据、医学影像数据、医学管理、经济数据、医疗设备和仪器数据等。以患者为中心，成为医疗数据的主要来源。医疗大数据的主要用于以下方面：用药分析、病因分析、移动医疗、基因组学、疾病预防、可穿戴医疗设备等。任务1.1数据分析基本内容认知4.大数据在交通物流领域的应用物流是物品从供应地向接收地的实体流动，是将运输、储存、装卸搬运、包装、流通加工、配送和信息处理等功能有机结合起来而实现用户要求的过程。用户可以通过业务系统和GPS定位系统获得数据，使用数据构建交通状况预测分析模型，有效预测实时路况、物流状况、车流量、客流量和货物吞吐量，进而提前补货，制定库存管理策略。5.大数据在教育教学管理方面应用校园数据分析对于提升教师能力也有重要的意义。以前的教学主要依靠教师的个人经验和感觉，教师教学能力的学习曲线比较平缓，在教师教学能力提升过程中，教学质量难以得到保证。如果能够对教学资源管理平台中的学生学习数据进行分析，教师就可以得知学生的兴趣点和难点,从而帮助教师有的放矢地把握教学重点、难点，提升教学效果。通过对不同老师教学方法和教学效果的横向对比，也可以帮助老师吸取别人的优点，提高教学能力。同时,教学数据也可以为教学管理者提供全面、科学的教师评价依据。任务1.1数据分析基本内容认知大数据分析方法，从其技术实现层面可以分为统计分析类、高级分析类和数据挖掘类三种类型。1.1.2数据分析方法任务1.1数据分析基本内容认知案例分析随着新一轮的生产力增长和消费者盈余浪潮的到来，海量数据的挖掘和使用，预示着“大数据”已经存在于我们生活的方方面面。下面列举两个发生在身边的大数据技术应用的场景。1.购物推荐系统打开淘宝，首页内容会给你推荐很多商品，这些商品有的是你曾经浏览过类似的物品，有些是你可能潜意识里想买的物品，于是你不断刷着淘宝，不断的点进去看，不断地买买买。打开美团，首页给你推荐了很多美食，单是火锅，就有各种口味的、距离你最近的、最便宜的，再到其他的奶茶等等，于是你就不断的查看挑选，最终选择了最心仪的店铺与美食。2.高德地图APP高德地图APP能够播报实时交通路况，推荐避堵路线方案，用户可在高德地图APP中输入起点与终点可以查询公交地铁换乘方案，智能计算到达目的地所需的时间，且可通过输入公交路线号查询实时公交位置。这些都离不开大数据技术。任务1.1数据分析基本内容认知任务实训在学习本节内容后，请同学结合自己专业谈谈大数据在你的专业领域中如何运用的，可以从以下几个方面切入，包括数据分析的应用场景、数据分析流程以及数据分析可能用到的方法等。任务评价评价类别评价内容分值得分综合得分知识与技能评价（70%）能结合专业思考数据在本专业中可能的应用场景与数据分析的流程。50

内容是否具备一定的合理性。20

素质评价（30%）具有刻苦、勤奋、好问、独立思考和细心检查的学习习惯10

能与组员精诚合作，能正确面对成功或失败10

具有一定的自学能力，分析问题、解决问题能力和创新能力10

任务1.1数据分析基本内容认知引入案例任务分析知识解析案例解析任务实训实训评价任务1.2

Python开发环境的搭建1.2.1常用数据分析工具1.2.2

Anaconda发行版的下载与安装1.2.3

JupyterNotebook的使用1.2.4

Python数据分析常用库简介任务1.2

Python数据分析环境的搭建引入案例目前，许多财会、金融岗位招聘时都要求应聘者掌握Python技能，可以说Python是财务人前往大数据分析时代的通行证。那么，利用Python进行数据分析时，什么样的开发环境对于财务人员易于上手？如何搭建呢？还要学习Python哪些常用库呢？

任务分析了解财务数据分析常用工具的优缺点，学会Python数据分析环境Anaconda的下载与安装，并掌握JupyterNotebook的常用功能。最后，大家需要了解在Python中进行数据分析的常用库。任务1.2

Python开发环境的搭建知识解析常见的数据分析工具很多，根据应用场景、应用范围，介绍三个常见数据分析工具，包括Excel、Stata与Python。Excel自带有数据分析模块，可以实现描述统计分析、抽样分析、点估计、区间估计、假设检验、总体均值和比例的统计推断、回归和相关分析、方差分析与实验设计等，满足基本的数据分析要求。Stata是一款统计软件，具有数据分析、数据管理和绘制专业图表等强大功能。Stata以其简单易懂和功能强大受到初学者和高级用户的普遍欢迎。Python作为一种高级编程语言，已经成为人工智能、大数据、云计算和其他学科的基础语言，也是目前被广泛接受的一门面向对象的高级编程语言。任务1.2

Python开发环境的搭建1.2.1

常用数据分析工具任务1.2

Python开发环境的搭建1.2.2Anaconda发行版的下载与安装Anaconda是一个免费开源的Python的发行版本，支持Linux、Mac、Windows系统，提供了包管理与环境管理的功能，可以很方便地解决多版本Python并存、切换以及各种第三方包安装问题。Anaconda是一个基于Python的数据处理和科学计算平台，内置了许多非常有用的第三方库。安装了Anaconda相当于安装了包管理器conda、Python解释器与众多常用的功能强大的Python库。登录官网下载Anaconda软件/STEP01一、Anaconda软件的下载任务1.2

Python开发环境的搭建选择合适产品点击Products选项，在下拉选项中选择AnacondaDistribution。STEP02根据电脑选中合适系统根据个人电脑系统，可以选择Windows版本、Mac版本或Linux版本，以下载windows版本下的Anaconda为例。STEP03任务1.2

Python开发环境的搭建双击下载好的安装文件开始安装，然后点击“Next”。STEP01出现是否同意安装条款，点击“IAgree”选项。STEP02二、在Windows系统中安装Anaconda任务1.2

Python开发环境的搭建选择“JustMe”（如果电脑有多个用户选择“AllUsers”），然后点击“Next”STEP03设置Anaconda的安装路径，路径名称最好为全英文，随后点击“Next”选项。STEP04任务1.2

Python开发环境的搭建接下来的界面中勾选这两个选项（AddAnaconda3tomyPATHenvitonmentvariable和RegisterAnacondaasmydefaultpython3.9。第一个选项是把Anaconda添加到环境变量中，第二个选项表示在Anaconda中安装Python3.9版本。然后点击“Install”选项。STEP05耐心等待，等到进度条结束后，点击“Next”选项。STEP06任务1.2

Python开发环境的搭建点击“Next”选项。STEP07点击“Finish”完成安装。STEP08任务1.2

Python开发环境的搭建1.2.3JupyterNotebook的使用成功安装Anaconda发行版，也就默认安装了Python和Jupyter，包括Python、JupyterNotebook和其他常用的科学计算和数据科学软件包。JupyterNotebook是一个基于Web技术的交互式和展示数据科学项目的工具，支持包括Python在内的近40种编程语言。它可以作为一个开发文档，包含代码、解释说明文字、代码运行结果、数学公式、内嵌式画图和图片文件插入等等，功能非常强大，JupyterNotebook已迅速成为数据分析和机器学习的必备工具。一、启动JupyterNotebook电脑桌面点击“开始”，在“所有程序”中找到“Anaconda3”,进而找到“JupyterNotebook

(Anaconda3)”。STEP01任务1.2

Python开发环境的搭建首先会自动弹出如下黑色命令框（在后续使用中不能关闭），然后会打开JupyterNotebook默认的浏览器，最后跳转网址localhost:8888/tree网页表示启动成功。STEP02任务1.2

Python开发环境的搭建二、新建一个Notebook打开JupyterNotebook后，会在计算机系统默认浏览器中出现JupyterNotebook主页界面。单击右上方的“New”，可出现下拉菜单，如下图所示。在下拉菜单中选择需要创建的类型，其中，“TextFile”为纯文本型，“Folder”为文件夹，“Python3”表示Python脚本，“Terminal”为终端。单击“Python3”，进入Python脚本编辑状态界面。任务1.2

Python开发环境的搭建三、JupyterNotebook的使用1.JupyterNotebook的编辑界面及其构成JupyterNotebook界面是由Notebook的名称、菜单栏、工具栏和Notebook的内容编辑区组成的。Notebook的内容编辑区由一系列单元（Cell）组成，这些单元可以设置为代码单元（CodeCell）、标记(Markdown)、原生NBConvert或标题。如果要详细了解有关Notebook或相关库，可以使用菜单栏右侧的“Help”菜单。任务1.2

Python开发环境的搭建2.菜单栏组成菜单栏中有File、Edit、View、Insert、Cell、Kernel、Help等菜单。

选项

功能NewNotebook新建一个NotebookOpen…在新的页面中打开主面板MakeaCopy…复制当前Notebook生成一个新的NotebookRename…Notebook重命名Saveas…导出多种格式SaveandCheckpoint将当前Notebook状态存为一个CheckpointReverttoCheckpoint恢复到此前存过的CheckpointPrintPreview打印预览Downloadas下载Notebook存为某种类型的文件CloseandHalt停止运行并退出该NotebookFile菜单功能任务1.2

Python开发环境的搭建选项功能CutCells剪切单元CopyCells复制单元PasteCellsAbove在当前单元上方粘贴复制的单元PasteCellsBelow在当前单元下方粘贴复制的单元PasteCells&Replace替换当前的单元为复制的单元DeleteCells删除单元UndoDeleteCells撤回删除操作SplitCell从光标位置处拆分当前单元为两个单元MergeCellAbove当前单元和上方单元合并MergeCellBelow当前单元和下方单元合并MoveCellUp将当前单元上移一层MoveCellDown将当前单元下移一层EditNotebookMetadata编辑Notebook的元数据FindandReplace查找替换，支持多种替换方式Edit菜单功能任务1.2

Python开发环境的搭建View菜单功能选项功能ToggleHeader隐藏/显示JupyterNotebook的Logo和名称ToggleToolbar隐藏/显示JupyterNotebook的工具条ToggleLineNumbers隐藏/显示程序行号CellToolbar更改单元展示样任务1.2

Python开发环境的搭建Cell菜单功能选项功能RunCells运行单元内代码RunCellsandSelectBelow运行单元内代码并将光标移动到下一单元RunCellsandInsertBelow运行单元内代码并在下方新建一单元RunAll运行所有单元内的代码RunAllAbove运行该单元（不包含该单元）上方所有单元内的代码RunAllBelow运行该单元（包含该单元）下方所有单元内的代码CellType选择单元内容的性质CurrentOutputs对当前单元的输出结果进行隐藏/显示/滚动/清除AllOutput对所有单元的输出结果进行隐藏/显示/滚动/清除任务1.2

Python开发环境的搭建Kernel菜单功能选项功能Interrupt中断与内核的连接（等同于【Ctrl】+【C】）Restart重启内核Restart&ClearOutput重启内核并清空现有输出结果Restart&RunAll重启内核并重新运行Notebook中的所有代码Reconnect重新连接到内核Changekernel切换内核任务1.2

Python开发环境的搭建Help菜单功能选项功能UserInterfaceTour用户使用指南，可使用户全面了解NotebookKeyboardShortcuts快捷键大全NotebookHelpNotebook使用指南MarkdownMarkdown使用指南Python/Ipython/NumPy/SciPy/Matplotlib/SymPy/Pandas各类库使用指南About关于JupyterNotebook的一些信息任务1.2

Python开发环境的搭建3.工具栏组成4.单元模式在工具栏从左到右的按钮依次为：保存、新建、剪切、复制、粘贴、上移Cell、下移Cell、运行代码、终止运行、重启内核、改变cell类型和命令面板等。Notebook中的单元有两种模式：命令模式（CommandMode)）和编辑模式（EditMode)。在编辑模式(EditMode)下,右上角出现铅笔的图标，单元左侧边框线呈现绿色，按Esc键就会切换回命令模式。在命令模式（CommandMode)下，铅笔图标消失，单元左侧边框线呈现蓝色，按Enter键或者单击单元变为编辑状态。任务1.2

Python开发环境的搭建5.代码单元（CodeCell）的使用例如，在“In[]:”单元中输入“10+5”,按[Shit]+[Enter]组合键后，就会在本单元的下方出现运算结果为“out[1]:15”,其中,“out[1]:”是红色标记。而光标也会被移动到一个新的单元中，这时该新单元用绿色边框线标记，表明该单元是当前工作的单元格。选提示符含义In[]程序未运行In[num]程序运行后In[*]程序正在运行代码单元(CodeCell）是用户编写代码的地方，用户可按[Shift]+[Enter]组合键运行代码，其结果会显示在本单元的下方。代码单元左边有“In[]:”编号，方便用户查看代码的执行次序。代码单元中提示符及其含义任务1.2

Python开发环境的搭建6.单元操作单元操作包括单元格的删除、移动、剪切、合并等，使得程序的编写变得更加方便。删除单元，首先选择要删除的单元格，再单击菜单“Edit→DeleteCell”。移动单元，首先选择要移动的单元，再单击菜单“Edit→MoveCellUp/Down”。剪贴单元，首先选择要剪贴的单元，再单击菜单“Edit→CutCell”，然后单击菜单“Edit→PastCellAbove/Below”。合并单元，首先选择要合并的单元，再单击菜单“Edit→MergeCellAbove/Below”。利用合并单元方法，可实现一次执行—大段代码的操作。7.JupyterNotebook的导出功能Notebook还有一个强大的特性，就是其导出功能。它可以将Notebook导出为多种格式，如HTML、Markdown、reST、PDF（通过LaTeX）和RawPython等格式，还可以将Notebook作为网页发布在自己的网站上，甚至还可以导出为reST格式，作为软件库的文档。导出功能在菜单栏“File”下拉菜单的“Downloadas”的项目中。任务1.2

Python开发环境的搭建8.JypyterNotebook快捷键命令模式下快捷键及作用编辑模式下快捷键及作用任务1.2

Python开发环境的搭建1.2.4

Python数据分析常用库简介NumPy（1）Pandas是围绕着Series和DataFrame这两个核心数据结构展开的。（2）提供了复杂精细的索引