Python数据可视化（微课版） 课件汇 吕云翔 第6-11章 Python比例数据可视化 -新生数据分析与可视化案例

主讲人：AiPPT时间：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------Python比例数据可视化Catalogue目录1.比例数据在大数据中的应用PartOne部分与整体PartTwo2.时空比例数据可视化PartThree习题PartFour3.4.实训：使用Pyecharts构建数据大屏PartFive5.--------------PowerPointDesign比例数据在大数据中的应用01PARTPOWERPOINTDESIGN比例数据可视化中，通过数据排序可轻易找到最大值与最小值。例如，市场份额占比中，最小值和最大值分别代表市场份额最少和最多的公司。在一顿早餐中食物卡路里含量占比图中，最小、最大值对应卡路里含量最少和最多的食物。寻找最大值与最小值研究者更关注整体的分布构成以及各部分之间的相对关系。如早餐中鸡蛋、面包、牛奶的卡路里含量是否均衡，是否存在某一种成分的卡路里含量占绝大多数。本章涉及的图表类型将帮助读者解答类似问题，理解各部分在整体中的占比和相互关系。研究整体分布与相对关系比例数据可视化目的--------------PowerPointDesign部分与整体02PARTPOWERPOINTDESIGN饼图基本框架与特点饼图是常见的统计学模型，用来直观形象地表示比例关系。虽然可以在对应的部分标上精确数据，但有时楔形角度过小，数据标注会存在一定困难，无法兼顾美观。饼图不太适合表示精确的数据，但可以直观呈现各部分占比差别，以及部分与整体之间的比例关系。如图6-2所示的入学时间饼图，清晰地展示了不同入学时间学生所占的比例。饼图绘制代码示例使用Matplotlib绘制饼图的代码示例：pythonimportmatplotlib.pyplotaspltplt.rcParams['font.sans-serif']='SimHei'#设置中文显示plt.figure(figsize=(6,6))#将画布设定为正方形，则绘制的饼图是正圆label=['正常入学','错后入学','提前入学']#定义饼图的标签explode=[0.01,0.01,0.01]#设定各项距离圆心n个半径values=[719,84,196]plt.pie(values,explode=explode,labels=label,autopct='%1.1f%%')plt.title('入学时间饼图')#绘制标题plt.savefig('./入学时间饼图')#保存图片plt.show()该代码生成的图形如图6-4所示，通过设置标签、颜色和宽度属性，绘制出了具有视觉效果的环形图，用于展示不同入学时间的学生比例。饼图堆叠柱形图的基本框架如图6-5所示。在实际应用中，数值轴一般表示比例，堆叠柱状图在进行不同比例之间的变化的比较时以及时间序列比较时具有优势。例如，对五个公司三年的营业额进行可视化时，使用饼图很难确切看到发生了什么，而切换到堆积条形图时，可以清楚地看到A公司的市场份额增长和E公司的市场份额萎缩的趋势，如图6-7所示。堆叠柱形图基本框架与优势具体代码可以参考第四章中4.3.3堆叠柱形图部分，在此不再叙述。堆叠柱形图代码参考比例中的堆叠矩形树图绘制代码示例使用Python的squarify库生成矩形树图的代码示例：生成的图形如图6-9所示，通过设置大小、标签和透明度，绘制出了矩形树图，用于展示不同类别的比例关系。矩形树图基本框架与特点矩形树图是一种基于面积的可视化方式。外部矩形代表父类别，内部矩形代表子类别。矩形树图可以呈现树状结构的数据比例关系。其基本框架如图6-8所示。当类目数据较多且有多个层次的时候，饼图的展示效果往往会打折扣，矩形树图能更清晰、层次化地展示数据的占比关系。如电子商务、产品销售等涉及大量品类的分析，都可以用矩形树图。矩形树图和弦图基本框架与特点和弦图绘制代码示例和弦图是一种用于展示多个项目之间关系的可视化方法。在和弦图中，数据通常以一个圆环来表示，节点围绕着圆周分布，点与点之间以弧线彼此连接以显示当中关系，通过每个圆弧的大小比例给每个连接分配数值。此外，还可以通过颜色将数据分类，直观地进行比较和区分。这些数据段之间的关系通过圆环内部的弦（线条）来表示，弦的大小通常表示关系的强度或数据的量。和弦图常用于展示如社交网络、交通流量、商品交换等多个项目之间的相互联系和交互模式。其基本框架如图6-9所示。使用基于matplotlib的第三方库mpl_chord_diagram绘制和弦图的代码示例：生成的图形如图6-12所示，通过设置节点名称和流量矩阵，绘制出了和弦图，用于展示不同城市之间的交通流量关系。0102和弦图旭日图基本框架与特点旭日图是一种用于可视化层次数据结构的图表，通过多层的圆环展示数据的层次关系和比例大小。旭日图的中心是数据结构的根节点，每一层的圆环代表了数据结构中的一个层级，向外层扩展显示更深层次的数据。旭日图非常适合于展示树形数据的分布情况，比如文件系统的目录结构、公司的组织架构、网站的导航结构等。其基本框架如图6-13所示。0102使用pyecharts库创建旭日图的代码示例：生成的图形如图6-14所示，通过设置数据结构和配置项，创建了旭日图，用于展示层次数据的分布情况。旭日图绘制代码示例旭日图--------------PowerPointDesign时空比例数据可视化03PARTPOWERPOINTDESIGN堆叠面积图的基本框架如图6-15所示。现在的数据往往都带有时间维度的信息，时间属性的比例数据也是经常出现的。例如，每年都会对各项消费占居民总消费的比例进行统计，每一的调查结果都会积累下来。01各种消费占比随着时间的变化情况是国家很关心的信息，这可以反映国民的生活是越来越好了还是越来越差了。假设存在多个时间序列图表，现在将它们从下往上堆叠，填满空白的区域，最终得到一个堆叠面积图，水平轴代表时间，垂直轴的数值范围为0到100%。02堆叠面积图基本框架与特点0201使用matplotlib生成堆叠面积图的代码示例：生成的图形如图6-16所示，通过设置数据和标签，绘制出了堆叠面积图，用于展示不同系列随时间的变化趋势。堆叠面积图绘制代码示例--------------PowerPointDesign习题04PARTPOWERPOINTDESIGN01饼图主要用于展示哪种类型的数据？B.比例数据04矩形树图主要用来表示什么类型的数据？B.层次数据02环形图与饼图不同之处在于什么？C.中间有一个“空洞”05和弦图用于展示什么？C.项与项之间的流量或关系堆叠柱状图在数据可视化中主要用来展示什么？C.各部分之间的比例关系03选择题1饼图适合用于展示精确的数据比例。（×）2环形图不能表示多个样本之间的比例关系。（×）3堆叠柱状图不能用于展示时间序列数据的比例变化。（×）4矩形树图可以清晰地展示大量品类的分析数据。（√）5旭日图适合用于展示复杂的层次数据结构。（√）判断题环形图是饼图的一种变体，特点是中间有空洞。矩形树图通过矩形的大小来表示数据的层次结构和比例大小。堆叠柱状图主要优势在于能够展示各部分之间的比例关系的变化。和弦图常用于展示项与项之间的相互关系和交互模式。在比例数据可视化中，用于表示整体中各部分比例的图表是饼图。填空题描述饼图在数据可视化中的用途和限制。用途：饼图用于直观地展示各部分在整体中所占的比例关系，适用于展示简单的分类数据占比情况。限制：饼图不适合展示精确的数据比例，当类别较多或部分占比差异较小时，难以准确区分各部分的具体数值，且不适合展示层次结构或多个样本之间的比例关系。环形图与饼图在视觉表现上有什么不同，环形图的优势是什么？01020304不同：环形图中间有一个“空洞”，而饼图是一个完整的圆形。优势：环形图可以同时展示多个样本各部分所占的相应比例，有利于构成的比较研究，通过各个弧形的长度衡量比例大小，更适合展示多个样本之间的比例关系。如何解释堆叠柱状图在比例数据可视化中的作用？堆叠柱状图在比例数据可视化中主要用于展示不同分类之间的比例关系以及随时间或其他变量的变化趋势。它能够清晰地展示各部分在整体中的占比，并且可以直观地比较不同分类之间的差异和变化，适用于展示时间序列数据的比例变化或不同组之间的比较。05060708问答题01设计一个场景，说明如何使用饼图和环形图来分析市场份额数据。0302假设有一个数据集包含多个年份的公司收入数据，如何使用堆叠柱状图和旭日图来展示每年收入中不同产品的收入比例变化？场景：假设有一家公司在分析其在不同地区的市场份额。首先，使用饼图展示该公司在各个地区的市场份额占比，通过不同颜色的扇形区域直观地表示各地区在公司总市场份额中的比例。然后，使用环形图展示多个竞争对手在同一地区的市场份额，通过环形图的多个环来比较不同公司在同一地区的市场份额构成，从而了解公司在各地区的竞争地位和市场分布情况。首先，使用堆叠柱状图展示每年公司收入中不同产品的收入比例。将年份作为X轴，收入作为Y轴，不同产品的收入用不同颜色的柱子堆叠在一起，从而直观地展示每年各产品收入在公司总收入中的占比以及随时间的变化趋势。然后，使用旭日图展示层次化的收入数据，将年份作为最外层的圆环，产品类别作为内层的圆环，通过不同颜色和大小的扇形区域表示各产品在不同年份的收入比例，从而清晰地展示收入数据的层次结构和随时间的变化情况，便于分析公司收入的动态变化和产品收入的贡献度。04应用题--------------PowerPointDesign实训：使用Pyecharts构建数据大屏05PARTPOWERPOINTDESIGN在Python环境中使用Pyecharts库创建一个数据大屏，该数据大屏应包含多种类型的图表，如柱状图、饼图、地图、散点图等。目标是熟悉Pyecharts的基本绘图功能，并通过将这些图表集成到一个大屏幕中来提高数据可视化的效果和表达力。需求说明确保Python环境已正确安装，并通过pip安装Pyecharts库。环境准备01将创建的多种图表按照逻辑和美观的布局集成到一个数据大屏中。可以使用Pyecharts中的Grid、Tab或Page等布局类来组织图表，以实现数据大屏的布局设计。数据大屏集成02学习如何使用Pyecharts创建基本的图表类型，掌握他们的配置方法。开始可以使用random等库来随机创建模拟数据，之后可以与各项接口对接来实现各种数据的实时显示和可视化。图表创建03探索并应用Pyecharts的不同主题，观察这些主题对数据大屏外观的影响。可以尝试调整图表的更多样式选项，如颜色、字体大小和图表元素的布局，以提升数据大屏的视觉效果。样式和主题应用04实现思路及步骤主讲人：AiPPT时间：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------谢谢大家主讲人：AiPPT时间：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------Python文本数据可视化目录12文本数据在大数据中的应用及提取文本内容可视化34文本关系可视化习题5实训：用HoloViews构建数据大屏--------------PowerPointDesign文本数据在大数据中的应用及提取01PARTPOWERPOINTDESIGN从人文研究到政府决策，从精准医疗到量化金融，从客户管理到市场营销，文本数据作为信息载体，在各领域发挥重要作用。如互联网上的海量用户生成内容，为营销活动、政府政策等提供指导。文本信息需求分为三级：词汇级、语法级和语义级，对应不同信息挖掘方法。词汇级用分词算法，语法级用句法分析算法，语义级用主题提取算法。01文本数据的应用领域文本数据可分为单文本、文档集合和时序文本数据。对应的文本可视化分为文本内容的可视化、文本关系的可视化、文本多层面信息的可视化。文本内容可视化展示关键信息；文本关系可视化展示单个或多个文本间的关系；文本多特征信息可视化结合多个特征全方位展示。02文本数据的类型与可视化文本数据在大数据中的应用网络爬虫的重要性社交软件中用户生成内容蕴含大量信息，但数据不公开，网络爬虫技术重要。爬虫是自动化访问网络抓取信息的程序，用于大数据和数据分析领域。爬虫按逻辑采集页面内容，处理多页面或网站。与单个静态页面处理程序不同，爬虫需确定下一页链接，循环爬取。需注意抓取频率，避免影响网站运行。网络爬虫的实现大部分编程语言可编写爬虫，Python常用，有Request、urlib、Scrapy等第三方库。Scrapy提供完善爬虫框架。爬虫程序面对任务是根据抓取逻辑遍历页面，从“爬取当前页”到“进入下一页”循环，实现整个爬取过程。使用网络爬虫提取文本数据--------------PowerPointDesign文本内容可视化02PARTPOWERPOINTDESIGN制作标签云分两步：统计词语出现频率、TF-IDF等指标衡量重要程度，提取权重高关键词；按规律展示，用颜色透明度、字体大小区分重要程度。Python中用wordcloud库生成标签云，可自动分词、提取标签并生成。示例代码生成的标签云可直观展示文本关键词。词语在文本中出现频率高可能是关键词，需构建停用词表去除常见无信息词，用TF-IDF方法计算词语重要程度。TF是词语在文本出现频率，IDF是逆文件频率，TF-IDF综合考虑频率。标签云是关键词视觉化描述，通过不同大小字体表示单词重要性或频率，适合展示文本数据关键词，帮助观众快速把握主题和趋势。标签云的原理与应用标签云的生成方法标签云主题河流的概念与特点主题河流是时序数据可视化方法，反映文本主题强弱变化过程。包括颜色属性区分主题类型，宽度属性表示主题数量或强度。主题河流图横轴表示时间，不同颜色涌流表示不同主题，涌流流动表示主题变化，垂直宽度表示主题强弱。但存在局限性，将主题高度概括为数值，省略特性。01主题河流的绘制方法为主题河流引入标签云，用关键词描述主题内容。Python中用Holoviews库绘制堆叠面积图实现主题河流图效果。示例代码生成的主题河流图可展示时序文本内容变化趋势。02主题河流--------------PowerPointDesign文本关系可视化03PARTPOWERPOINTDESIGN词语树的定义与作用词语树用树形图展示词语在文本中出现情况，呈现一个词语和前后词语关系。用户可自定义根关键词，字号大小代表频率。词语树可直观展示文本中词语的前后关系，如图示例呈现“Child”词与相连前后所有词语的关系。Python中无常见库直接绘制词语树，可用graphviz绘制。示例代码中，分词并构建词语路径，绘制词语树，生成图片展示词语关系。词语树的绘制方法词语树短语网络是网络图，将文本中短语作节点，关系作边。分析文本中短语共现关系、相互作用或语义连接，深入理解文本结构和主题。包括节点代表词语或短语，带箭头连线表示关系，连线宽度表示短语出现频率。如图示例对小说中“*the*”关系进行可视化。短语网络的概念与特点Python中用matplotlib库和networkx库构建可视化的短语网络。示例代码中，设置中文字体，添加节点和边，可视化网络，生成图形展示短语关系。短语网络的构建方法0102短语网络--------------PowerPointDesign习题04PARTPOWERPOINTDESIGN0102可视化技术选择文本数据可视化中，用于展示关键词频率的可视化技术是词云（B）。网络爬虫在数据分析中的作用是数据采集（B）。主题河流图主要用于展示时序文本数据（B）。不是文本关系可视化类型的是词云（A）和标签云（D）。TF-IDF方法用于衡量词语对表达文本信息的重要程度（D）。判断题分析标签云适用于展示文本数据中的关键信息（正确）。网络爬虫不仅用于互联网搜索引擎开发，还用于大数据和数据分析领域（错误）。主题河流可展示文本主题随时间变化趋势（错误）。词语树可展示词语的前后关系（正确）。短语网络不用于展示文本存储技术（错误）。选择题专业术语填空文本数据的关键信息分析后的展示技术称为文本内容可视化。使用网络爬虫技术可以大批量采集目标页面内容。通过视觉元素表现文本数据的过程是文本内容可视化。词语树使用树形图展示词语在文本中的出现情况。短语网络通过节点和边展示文本中短语的共现关系。填空题网络爬虫基本功能是自动化访问网络抓取信息，应用领域包括搜索引擎、大数据分析、内容聚合等，可用于采集网页数据、社交媒体数据等，为数据分析和研究提供数据支持。网络爬虫的功能与应用主题河流图是时序数据可视化方法，通过颜色和宽度展示不同主题随时间的变化趋势。横轴表示时间，不同颜色涌流表示主题，涌流宽度表示主题强弱，适用于分析新闻报道、社交媒体话题等时序文本数据。主题河流图的定义与展示TF-IDF计算公式为TF-IDF=TF*IDF，TF是词语在文本出现频率，IDF是逆文件频率。作用是衡量词语对表达文本信息的重要程度，帮助识别文本中的关键词。TF-IDF计算公式与作用标签云应用于文本数据的关键词展示，优势在于直观展示关键词频率和重要性，帮助用户快速把握文本主题和趋势，适用于社交媒体分析、新闻报道分析等场景。标签云的应用与优势词语树适用于展示文本中词语的前后关系，帮助理解词语在句子中的上下文。短语网络适用于展示文本中短语的共现关系和语义连接，分析文本结构和主题，适用于文学作品分析、学术论文分析等场景。词语树与短语网络的适用场景问答题主题河流图场景应用场景：分析新闻报道随时间变化的主题强度。收集新闻数据，提取主题，使用Holoviews库绘制主题河流图，展示不同主题随时间的强弱变化，为新闻媒体和研究人员提供可视化分析工具。词云技术项目设计设计项目：分析社交媒体上的热门话题。使用Python的wordcloud库，收集社交媒体数据，统计关键词频率，生成词云展示热门话题，帮助了解用户关注点和趋势。应用题--------------PowerPointDesign实训：用HoloViews构建数据大屏05PARTPOWERPOINTDESIGN利用Python环境和HoloViews库创建数据大屏，包含动态地图、折线图、柱状图、热力图等交互式图表。通过实践学习HoloViews的基本使用方法，包括数据绑定、图表创建、布局配置和交互式控件集成，增强数据视觉呈现和用户交互体验。数据大屏构建目标01需求说明环境准备确保Python环境已安装，通过pip安装HoloViews及其依赖库。新建项目，导入HoloViews库及其他数据处理库，如Pandas或Numpy。数据绑定与图表创建加载和准备数据集，可以是CSV、JSON或从数据库读取。使用HoloViews创建不同类型的图表，理解数据绑定到图表元素上的方法。大屏展示与分享将数据大屏渲染为HTML文件或在JupyterNotebook中展示。探索分享和部署数据大屏的方法，使其可在Web服务器上访问并部署到大屏幕上。图表美化与主题应用探索HoloViews的样式选项，自定义图表的颜色、字体、标记等样式属性。应用支持的主题，调整大屏整体视觉风格。布局配置与交互式控件集成使用HoloViews的布局功能组织图表成统一数据大屏。集成交互式控件，如滑块、选择框等，提供动态数据筛选和图表更新功能。实现思路及步骤主讲人：AiPPT时间：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------谢谢大家主讲人：AiPPT时间：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------Python复杂数据可视化目录CONTENT01大数据市场与可视化挑战02高维多元数据可视化方法03三维数据可视化技术04习题解析与应用05实训：Pyecharts构建可交互图表--------------PowerPointDesign大数据市场与可视化挑战01PARTPOWERPOINTDESIGN根据《IDC全球大数据支出指南》，2022年中国大数据市场IT投资规模约170亿美元，预计2026年增至364.9亿美元，实现规模翻倍。中国市场在五年预测期内占比持续增高，有望在2024年超越亚太（除中日）总和，并在2026年接近全球总规模的8%。随着数字中国、数据要素、大数据等政策发布和重大工程落地，以及疫情后企业项目需求释放，我国大数据市场迎来新的爆发阶段。市场规模与预测厂商积极布局底层计算存储、数据中台、大数据分析平台等业务，尤其聚焦金融、政府、能源、制造等行业。ChatGPT的爆火带来了数据计算和存储业务领域的更大的资本关注度，将大数据市场带入更大体量、更强计算和更专业化服务的新台阶。行业布局与技术影响数据复杂度大大增加，包括非结构化数据和异构数据，传统单一的可视化方法无法支持分析。数据量级超过单机、外存模型甚至小型计算集群处理能力上限，需全新思路解决大尺度调整。数据获取和处理过程中产生数据质量问题，特别是数据的不确定性。数据快速动态变化，常以流式数据形式存在，实时分析与可视化技术存在问题。可视化面临的挑战010302中国大数据市场增长态势--------------PowerPointDesign高维多元数据可视化方法02PARTPOWERPOINTDESIGN散点图将数据对象映射到二维坐标空间，展示数据关联和属性。散点图矩阵是其扩展，通过N^2个散点图表示N维数据属性间的两两关系，但过多散点图降低可读性，需交互式选取关注属性。Matplotlib提供函数绘制散点矩阵，对角线上是变量直方图，非对角线是变量间散点图，通过代码示例可生成散点矩阵图。当数据维度过高时，各类可视方法无法清晰呈现所有数据细节，可通过线性/非线性变换将多元数据投影或嵌入低维空间，保持数据特征，如主成分分析（PCA）、t-SNE等。使用Python和scikit-learn库中的PCA方法，可从100维降维到2维并绘制散点图，通过代码示例生成降维散点图。散点图与散点图矩阵降维技术平行坐标在二维空间显示更高维度数据，以平行坐标替代垂直坐标，可揭示数据在每个属性上的分布及相邻属性间关系，但难同时表现多个维度间关系，可通过交互选取和更改坐标轴排列顺序解决。Pyecharts提供生成平行坐标图方法，数据组织成列表，每个子列表代表一组数据，通过代码示例可生成平行坐标图。平行坐标空间映射法星形图是平行坐标的极坐标形式，数据对象各属性值与最大值比例决定坐标轴上点位置，折线连接围成星形区域，其大小形状反映数据对象属性。使用pyecharts库可轻松生成星形图，通过定义指标名称和数据，绘制星形图并生成HTML文件，代码示例展示生成过程。星形图（雷达图）图标法--------------PowerPointDesign三维数据可视化技术03PARTPOWERPOINTDESIGN曲面图的应用三维曲面图展示具有两个自变量和一个因变量的数据关系，或一个变量随两个变量变化的情况。在工程领域可展示零件几何形状，在经济学领域可展示GDP、人均收入和消费水平关系。Matplotlib和Plotly等库支持生成三维等高线图，可定制图表属性，如颜色、样式、精度等。曲面图的生成通过生成数据、设置图表属性和绘制曲面图等步骤，可使用Python生成三维曲面图。代码示例中，生成从-5到5的100个均匀间隔点定义x和y坐标轴值，通过meshgrid产生二维矩阵，构造矩阵z=sin(sqrt(x^2+y^2))，设置图表标题和坐标轴标签，显示图表。0102三维曲面图01等高线图的特点三维等高线图展示三维表面数据在二维平面上的投影，通过等高线表示三维表面上具有相同值的点，用于地理信息系统、气象学、工程等领域，等高线间距表示变量值变化率，颜色或阴影增强视觉效果。02等高线图的生成使用matplotlib生成三维等高线图，数据包括三维空间中的点，每个点有x、y坐标和z值。代码示例中，生成数据、设置图表属性和绘制等高线图，设置等高线数量和颜色映射，显示图表。三维等高线图--------------PowerPointDesign习题解析与应用04PARTPOWERPOINTDESIGN复杂数据可视化挑战处理复杂数据可视化时，面临的主要挑战包括数据复杂度增加、数据量级增加、数据不确定性，选项D“数据可视化方法过于简单”不包括在内。降维技术方法降维的常用技术包括主成分分析（PCA）、t-SNE，选项C“线性回归”不是降维技术。散点图矩阵作用散点图矩阵主要用于展示多个变量之间的关系，选项C正确。高维多元数据特征高维多元数据的典型特征是数据对象具有多个独立属性，选项B正确。平行坐标图用途平行坐标图的主要用途是揭示多维数据属性的分布和相互关系，选项C正确。选择题解析高维数据的可视化不仅限于三维空间表达，判断为错误。高维数据可视化空间限制平行坐标不适用于揭示高维数据间非相邻属性的关系，判断为错误。平行坐标非相邻属性关系星形图多维数据表示星形图（雷达图）可以表示多维数据对象的属性，判断为错误。散点图矩阵细节表示散点图矩阵不能有效地表示高维数据的所有细节，判断为错误。降维技术重要性降维技术可以将高维数据转换为低维空间以便于可视化，判断为正确。判断题解析高维多元数据定义高维多元数据指的是每个数据对象具有两个以上的独立或相关属性。降维变换方式降维是通过线性/非线性变换将数据从高维空间投影到低维空间。散点图矩阵展示关系散点图矩阵通过N^2个散点图展示变量之间的两两关系。星形图属性反映星形图通过折线连接围成区域的形状和大小来反映数据对象的属性。平行坐标图坐标轴排列平行坐标图通过改变坐标轴的排列顺序来帮助用户理解数据维度间的关系。填空题答案高维多元数据作用高维多元数据在大数据分析中用于描述具有多个独立或相关属性的数据对象，帮助理解和分析复杂数据集，辅助决策。散点图矩阵作用与限制散点图矩阵用于展示多个变量之间的关系，但过多散点图降低可读性，需交互式选取关注属性。可视化挑战复杂数据可视化面临的主要挑战包括数据复杂度、数据量级、数据不确定性和数据动态变化。平行坐标图分析高维数据平行坐标图通过展示数据在每个属性上的分布及相邻属性间关系，帮助分析高维数据，但难同时表现多个维度间关系。降维技术重要性降维技术将高维数据转换为低维空间，便于可视化和分析，保持数据特征，是数据可视化中的关键技术。问答题解答平行坐标图分析空气质量数据设计使用散点图矩阵分析多维股市数据的方法，选取关注的股市指标，如股价、成交量、市盈率等，生成散点图矩阵，通过交互式分析发现指标间的关系和趋势。散点图矩阵分析股市数据描述使用平行坐标图分析多个城市空气质量数据的场景，选取空气质量指标，如AQI、PM2.5、PM10等，生成平行坐标图，通过高亮显示和坐标轴排列调整，分析城市间空气质量的差异和变化。应用题示例--------------PowerPointDesign实训：Pyecharts构建可交互图表05PARTPOWERPOINTDESIGN实训目标使用Pyecharts库在Python环境中创建多种类型的图表，如三维曲面图、三维高线图、三维散点图、热力图等，并为他们添加可交互的内容，提高数据呈现的互动性和吸引力。01需求说明环境准备确保Python环境已正确安装，并通过pip安装Pyecharts库，了解Pyecharts支持的图表类型和基础概念。数据准备与处理选择或创建适合可视化的数据集，使用Python进行数据预处理，确保数据格式适合于所选图表类型的可视化需求。基本图表创建使用Pyecharts创建不同类型的基本图表，学习如何配置图表的主要属性，如标题、图例、坐标轴、工具箱等。图表互动性增强探索Pyecharts的互动功能，如标签的鼠标悬停显示、图表的缩放和拖动、三维图表的互动、数据项的选择等，增强图表的用户交互体验。图表发布与分享学习如何将创建的图表嵌入到Web页面中，或者导出为图片或PDF格式，以便于报告和演示中使用。实现思路及步骤主讲人：AiPPT时间：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------谢谢大家主讲人：AiPPT时间：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------医疗花费预测案例分析数据读取与初步观察数据分析方法线性回归模型构建结果预测与分析目录CONTENTS--------------PowerPointDesign数据读取与初步观察01PARTPOWERPOINTDESIGN01.本案例数据来源于DataFountain，数据以csv文件形式提供。使用Python的Pandas库读取csv文件，得到Dataframe类型的对象，便于后续的数据观察与处理。示例代码：train=pd.read_csv("train.csv")，通过调用train.head(5)可查看文件中最前面的几条数据。02.数据类型观察在提供的数据中，age和children是整数类型，bmi和charges是浮点类型，sex、smoker和region是字符串类型。这些信息对于后续的数据预处理至关重要。数据集来源与格式数据集介绍与读取字符串类型转换为了便于分析，需将无法参与计算的字符串类型变为整数类型。Scikit-learn包提供了OrdinalEncoder，用于将sex、smoker和region进行序数编码。示例代码：encoder=OrdinalEncoder(dtype=)，通过encoder.fit_transform(train[['sex','smoker','region']])实现编码转换。01数据分布与映射观察数据发现age、bmi和charges为连续数据，children为离散数据。使用Seaborn库对连续数据的分布进行可视化，发现charges近似符合对数正态分布，故对其取对数后再进行可视化。对age使用最大最小标准化映射到[0,1]区间，对charges的对数和bmi使用Z-score标准化映射到标准正态分布。02数据预处理--------------PowerPointDesign数据分析方法02PARTPOWERPOINTDESIGN通过观察样本的协方差矩阵，初步了解属性和预测目标charges的关系。使用Seaborn库的heatmap函数绘制热度图，颜色越浅表示数值越高，颜色越深表示数值越低。从图中可粗略观察出，charges和age、smoker的关系较为明显，而其他属性与charges的相关性不明显。协方差矩阵观察协方差矩阵与热度图使用Matplotlib观察样本根据age、bmi和charges绘制的图像，发现数据大致分布于三个曲面，适合使用DBSCAN聚类方法进行分类。DBSCAN算法通过指定半径和数量，将空间中的点分为核心点、边界点和噪声。在本案例中，调整参数以将样本分为3类。空间分布观察与聚类聚类结果使用Matplotlib进行观察，通过不同颜色标记不同类别的样本，直观展示聚类效果。聚类结果可视化DBSCAN聚类算法应用分类标准建立DBSCAN得到聚类标签后，使用支持向量机（SVM）建立分类标准。观察样本分布发现age、bmi、smoker与样本分类有明显关系，适合使用SVM进行分类。使用Scikit-learn库的SVM工具，对非噪声样本进行训练，并将预测结果与DBSCAN聚类标签比较，得到分类准确率约为83%。支持向量机分类算法--------------PowerPointDesign线性回归模型构建03PARTPOWERPOINTDESIGN01在DBSCAN算法得到样本类别后，对每一类样本分别进行线性回归，得到三个不同的线性模型。由于charges和age并非简单的线性关系，构造新属性age2表示age的平方，使用age、age2和bmi进行拟合。02模型构建与属性选择使用均方误差初步观察拟合性能。Scikit-learn提供mean_squared_error函数用于计算，结果显示模型具有较好的拟合效果。模型性能评估线性回归模型拟合--------------PowerPointDesign结果预测与分析04PARTPOWERPOINTDESIGN预测流程与代码实现对结果进行预测的代码读取test.csv文件，并将预测结果写入submission.csv中。包括对测试数据的预处理、类型预测、属性构造、模型预测和结果反标准化等步骤。结果预测实现结果可视化与评估使用Seaborn库的lineplot方法绘制折线图，对比预测结果和真实取值。图示结果表明，本案例的预测结果和真实取值基本一致，验证了模型的有效性。预测结果分析主讲人：AiPPT时间：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------谢谢大家主讲人：AiPPT时间：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------影评数据分析与电影推荐Catalogue目录工具选择2.1.明确目标与数据准备电影推荐初步分析3.4.总结与展望5.--------------PowerPointDesign明确目标与数据准备01PARTPOWERPOINTDESIGN目标明确性本案例目标明确，旨在根据用户对不同电影的评分情况实现新的电影推荐。阶段性目标包括“找出和某用户有类似观影爱好的用户”、“找出和某一个电影有相似的观众群的电影”等。数据准备是根据要实现的目标要求，收集、积累、清洗和整理所需要的数据。在实际操作时，有时候明确目标和数据准备并没有完全严格的时间界限。数据采集与处理在进行数据采集时，需要根据实际的业务环境来采用不同的方式，例如使用爬虫、对接数据库、使用接口等。本案例需要的是用户的对电影的评分数据，所以可以使用爬虫获取豆瓣电影影评数据。获取的数据有两个文件：包含加密的用户ID、电影ID、评分值的用户评分文件ratings.csv和包含电影ID和电影名称的电影信息文件movies.csv。本案例的数据较为简单，所以基本上可以省去特征方面的复杂处理过程。分析目标设定实际操作中，如果获取的数据质量无法保证，就需要对数据进行清洗，包括对数据格式的统一、缺失数据的补充等。在数据清洗完成后还需要对数据进行整理，例如根据业务逻辑进行分类、去除冗余数据等。而在数据整理完成之后需要选择合适的特征，而且特征的选择也会根据后续的分析进行变化。而关于特征的处理有一个专门的研究方向，就是特征工程，也是数据分析过程中很重要而且耗时的部分。数据清洗必要性本案例中，由于数据较为简单，主要集中在用户对电影的评分数据，因此在数据清洗和整理方面的工作相对较少。但仍然需要确保数据的准确性和完整性，以便为后续的分析和推荐提供可靠的基础。数据准备总结数据清洗与整理--------------PowerPointDesign工具选择02PARTPOWERPOINTDESIGN01Pandas(PythonDataAnalysisLibrary)是一个强大的分析结构化数据的工具集，它的使用基础是Numpy（提供高性能的矩阵运算），用于数据挖掘和数据分析，同时也提供数据清洗功能。Pandas的主要数据结构是Series（一维数据）与DataFrame（二维数据），这两种数据结构足以处理金融、统计、社会科学、工程等领域里的大多数数据。本案例中使用的是二维数据，所以更多操作是DataFrame相关的。DataFrame是Pandas中的一个表格型的数据结构，包含有一组有序的列，每列可以是不同的值类型（如数值、字符串、布尔型等），DataFrame既有行索引也有列索引，可以被看作是由Series组成的字典。Pandas工具介绍02开发工具选择比较适合尝试性开发的工具JupyterNotebook。JupyterNotebook是一个交互式笔记本，支持运行40多种编程语言。JupyterNotebook的本质是一个Web应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和markdown。由于其灵活交互的优势，所以很适合探索性质的开发工作。其安装和使用比较简单，这里就不做详细介绍，而是推荐使用很方便的使用方式，就是使用VSCode开发工具，可以直接支持Jupyter，不需要手动启动服务。JupyterNotebook选择数据分析工具使用Pandas可以轻松地处理大规模的结构化数据，进行数据的筛选、排序、统计等操作，为数据分析提供了强大的支持。而JupyterNotebook则提供了便捷的代码编写和执行环境，支持实时的代码调试和结果展示，使得整个数据分析过程更加直观和高效。02工具使用优势选择Pandas作为数据分析工具是因为其强大的数据处理能力和对结构化数据的良好支持，能够高效地完成数据的清洗、整理和分析工作。而选择JupyterNotebook作为开发工具，则是因为其交互式的特点非常适合进行探索性的数据分析和模型构建，能够方便地展示分析过程和结果。01工具选择合理性工具选择总结--------------PowerPointDesign初步分析03PARTPOWERPOINTDESIGN用户评分数据结构首先可以先使用pandas的head()函数来看一下rating的结构。head是DataFrame的成员函数，用于返回前n行数据。其中n是参数，代表选择的行数，默认是5。可以看到，用户ID是经过长度一致的字符串（实际是经过MD5处理的字符串），影片ID是数字，所以在之后的分析过程中影片ID可能会被当作数字来进行运算。如果想看一下一共有多少条数据，可以查看rating.shape，输出的(1048575,3)代表一共有将近105万条数据，3则是对应的上面提到的3列。然后我们可以看一下用户的评论情况，例如数据中一共有多少人参与评论，每个人评论的次数。由于ratings数据中每个用户可以多部影片进行评分，所以可以按用户进行分组，然后使用count()来统计数量。而为了查看方便，可以对分组计数后的数据进行排序。再使用head()函数查看排序后的情况。可以看出评分最多的用户ID是535e6f7ef1626bedd166e4dfa49bc0b4，一共评论了1149次。这里movie_id和rating的数据是相同的，是由于其计数规则是一致的，所以属于冗余数据。但是head()函数能看到的数据太少，所以可以使用describe()函数来看统计信息。用户评论情况统计用户角度分析接下来，我们可以用相似的办法，从电影的角度来看数据的分布情况，例如每一部电影被评论的次数。要获取每一部电影的评分次数就需要通过对影片的ID进行分组和计数，但是为了提高数据的可观性，可以通过关联操作将影片的名称显示出来。通过pandas的merge函数，我们可以很容易做到数据的关联操作。可以看到，被评分次数最多的电影就是《寻龙诀》，一共被评分320次。同样，user和rating的数据是一致的，属于冗余数据。然后我们来看一下详细的统计数据和直方图。电影评分次数统计01接下来同样要对评分值进行观察。从统计数据中可以看出所有电影的平均分数和中位数很接近，大约是3.3左右，说明整体的分布比较均匀。然后我们可以将评分次数和评分值进行结合进行观察。从输出的数据可以看出，有些电影如《寻龙诀》本身被评分的次数很多，但是综合评分并不高，这也符合实际的情况。从plot()方法输出的散点图中可以看到，总体上数据还是呈现“>”分布，但是在评分次数在100和200左右出现了比较分散的情况，和之前的直方图是相对应的，这也许也是一种特殊现象，而是否是一种规律就需要更多的数据来分析和研究。电影评分值观察02电影角度分析--------------PowerPointDesign电影推荐04PARTPOWERPOINTDESIGN协同过滤推荐算法推荐算法大致可以分为三类：协同过滤推荐算法、基于内容的推荐算法和基于知识的推荐算法。其中协同过滤算法是诞生较早且较为著名的算法，其通过对用户历史行为数据的挖掘发现用户的偏好，基于不同的偏好对用户进行群组划分并推荐品味相似的商品。协同过滤推荐算法分为两类，分别是基于用户的协同过滤算法（user-basedcollaborativefiltering），和基于物品的协同过滤算法（item-basedcollaborativefiltering）。基于用户的协同过滤算法是通过用户的历史行为数据发现用户对商品或内容的喜欢（如商品购买，收藏，内容评论或分享），并对这些喜好进行度量和打分。根据不同用户对相同商品或内容的态度和偏好程度计算用户之间的关系，然后在有相同喜好的用户间进行商品推荐。其中比较重要的就是距离的计算，可以使用余弦相似性、Jaccard来实现。整体的实现思路就是：使用余弦相似性构建邻近性矩阵，然后使用KNN算法从邻近性矩阵中找到某用户临近的用户，并将这些临近用户点评过的影片作为备选，然后将邻近性的值作为权重作为推荐的得分，相同的分数可以累加，最后排除该用户已经评价后的影片。部分脚本如代码清单10-13所示。代码中给出的是基于用户的协同过滤算法，可以试着写出基于影片的协同过滤算法来试下电影推荐，然后对比算法的优良性。基于用户的协同过滤算法推荐算法介绍邻近性矩阵建立ratings_pivot=ratings.pivot('user','movie_id','rating')ratings_pivot.fillna(value=0)m,n=ratings_pivot.shapeuserdist=np.zeros([m,m])foriinrange(m):forjinrange(m):userdist[i,j]=np.dot(ratings_pivot.iloc[i,],ratings_pivot.iloc[j,])/np.sqrt(np.dot(ratings_pivot.iloc[i,],ratings_pivot.iloc[i,])*np.dot(ratings_pivot.iloc[j,],ratings_pivot.iloc[j,]))proximity_matrix=pd.DataFrame(userdist,index=list(ratings_pivot.index),columns=list(ratings_pivot.index))推荐电影列表获取deffind_user_knn(user,proximity_matrix=proximity_matrix,k=10):hbrs=userdistdf.sort(user,ascending=False)[user][1:k+1]returnnhbrsdefrecommend_movie(user,ratings_pivot=ratings_pivot,proximity_matrix=proximity_matrix):nhbrs=find_user_knn(user,proximity_matrix=proximity_matrix,k=10)recommendlist={}fornhbridinnhbrs.index:ratings_nhbr=ratings[ratings['user']==nhbrid]formovie_idinratings_nhbr['movie_id']:ifmovie_idnotinrecommendlist:recommendlist[movie_id]=nhbrs[nhbrid]else:recommendlist[movie_id]=recommendlist[movie_id]+nhbrs[nhbrid]ratings_user=ratings[ratings['user']==user]formovie_idinratings_user['movie_id']:ifmovie_idinrecommendlist:recommendlist.pop(movie_id)output=pd.Series(recommendlist)recommendlistdf=pd.DataFrame(output,columns=['score'])s=['movie_id']returnrecommendlistdf.sort('score',ascending=False)推荐算法实现--------------PowerPointDesign总结与展望05PARTPOWERPOINTDESIGN01本章通过一个利用机器学习进行的影评数据分析案例，展示了从数据准备、工具选择、初步分析到电影推荐的完整过程。数据分析是信息时代的一个基础而又重要的工作，面对飞速增长的数据，如何从这些数据中挖掘到更有价值的信息成为一个重要的研究方向。在明确分析目标后，我们进行了数据采集、清洗和整理，选择了合适的工具进行数据分析，并从用户和电影两个角度进行了初步分析。最后，我们实现了基于用户的协同过滤算法，为用户推荐了他们可能喜欢的电影。02分析过程回顾通过本项目的实施，我们成功地实现了一个电影推荐系统，能够根据用户的评分数据为用户推荐他们可能感兴趣的电影。这个系统不仅展示了数据分析的整个过程，还提供了一个实际的应用场景，展示了机器学习在推荐系统中的应用。项目成果项目总结算法优化与改进未来，我们可以进一步优化和改进推荐算法，例如尝试不同的相似性计算方法，或者结合多种推荐算法的优点，提高推荐的准确性和可靠性。同时，我们还可以考虑引入更多的特征，如用户的人口统计学特征、电影的类型和演员等，以丰富推荐模型的特征空间。应用拓展与创新除了电影推荐，数据分析和机器学习技术还可以应用于其他领域，如音乐推荐、书籍推荐、新闻推荐等。我们可以通过不断探索和创新，将这些技术应用于更多的实际问题，为用户提供更加个性化和智能化的服务。未来展望主讲人：AiPPT时间：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------谢谢大家主讲人：AiPPT时间：20XX.XXPOWERPOINTDESIGN202XPowerPointDesign------------------新生数据分析与可视化案例01使用Pandas对数据预处理02使用Matplotlib库画图03使用Pandas进行绘图CONTENTS目录--------------PowerPointDesign使用Pandas对数据预处理01PARTPOWERPOINTDESIGN导入数据并查看基本信息使用Pandas的read_excel方法导入Excel格式的新生数据，包括年龄、身高、籍贯等基本信息。通过print(data.head())等函数查看数据的前几行、数据形状、数据类型和描述性统计信息，了解数据的基本情况，如数据量为160条，每条数据包含7个属性。示例代码展示了如何设置Pandas选项以解决中文列名对齐问题，并通过describe方法获取数值型数据的统计指标，如数量、均值、标准差等，为进一步的数据分析和处理提供基础。处理字符串型数据对于字符串型数据如“籍贯”，describe方法无法直接使用，将其类型改为“category”后，可以获取非空数据条数、去重后非空数据条数、数量最多的数据类型及频次等信息。通过cat.categories查看所有类别，发现数据存在不规范问题，如同一省份有不同名称。示例代码展示了如何使用apply方法结合lambda函数对数据进行清洗，将籍贯名称统一为前两位，但发现仍存在问题，如“黑龙江省”前两位不能代表省份。于是编写deal_name函数进行更精确的数据清洗，最终使数据规范化，便于后续统计分析。数据导入与查看规范籍贯数据在数据清洗过程中，发现籍贯数据存在名称不统一的问题，如“山东”和“山东省”同时出现。通过apply方法和自定义的deal_name函数，将籍贯名称规范为统一格式，解决了数据不一致的问题，提高了数据的质量和可用性。示例代码详细展示了如何使用apply方法和lambda函数对籍贯数据进行初步清洗，以及如何通过编写deal_name函数对特殊情况进行处理，最终使籍贯数据的类别更加清晰、准确，为后续的分析和可视化工作打下良好基础。0102对星座这列数据的处理方法与籍贯类似，可以通过编写相应的函数来规范星座名称，确保数据的一致性和准确性。虽然原文中没有详细展示星座数据的具体处理过程，但可以借鉴籍贯数据的处理方法，使用apply方法结合自定义函数对星座数据进行清洗和规范，使其符合分析和可视化的要求。例如，如果星座数据中存在“白羊座”和“牡羊座”两种表示方式，可以编写一个函数将它们统一为“白羊座”，从而避免数据的重复和混淆，提高数据的可读性和分析效果。处理星座数据数据清洗与规范--------------PowerPointDesign使用Matplotlib库画图02PARTPOWERPOINTDESIGN使用Matplotlib库绘制男生身高分布的直方图。首先，通过data[data.性别=='男']选中男生的数据，然后检查身高数据是否有缺失值，如果有则使用dropna方法丢弃缺失数据。接着，使用plt.hist函数绘制直方图，设置相关参数如bins、range和density，并添加x轴和y轴标签以及标题。示例代码中，将身高区间[155,190]划分为七个区间，每个区间长度为5，通过设置bins=7和range=(155,190)实现。density=False表示直方图纵坐标为频数，直观展示了男生身高的分布情况。最后，使用plt.show()显示图形，并通过