Python人工智能技术与应用 课件全套 模块1-6 对人工智能与自动驾驶的基本认知-掌握基于深度学习的语音处理技术应用

《Python人工智能技术与应用》能力模块一

对人工智能与自动驾驶的基本认知任务一调研分析人工智能技术TaskImport任务导入

某高校计划举办“面向未来：数字革命与人工智能”的讲座。

你是一名人工智能科技公司的研发工程师，现高校计划邀请你向参加讲座的学生科普介绍人工智能这门新兴技术，你应该如何准备你的讲座内容。素养目标引导问题的过程中，培养学生形成勤于思考的能力获得分析解决问题以及多元化思考解决问题的方法，形成创新意识。TaskObject任务目标知识目标了解人工智能技术的定义与应用。掌握人工智能技术的三要素。了解人工智能的分类。技能目标能够简单介绍人工智能技术的发展历程。能够简单介绍人工智能的发展现状及面临挑战。立足专业技能，明确未来职业方向。新

授人工智能的定义与应用01CONTENTS目录人工智能的三要素02人工智能的分类03人工智能技术的发展历程04人工智能技术的发展现状05人工智能的定义与应用01人工智能定义人工智能技术本质人工智能（ArtificialIntelligence，以下简称AI）是指研究、模拟人类智能的理论、方法、技术及应用系统的一门技术科学。人工智能技术本质是对人的意识和思想过程的模拟，赋予机器模拟、延伸、扩展类人智能，实现会听、会看、会说、会思考、会学习、会行动等功能。人工智能的定义与应用创造力智能感知能力认知能力01人工智能四大能力人工智能的定义与应用（一）感知能力01语音识别听电脑视觉、图像识别、人脸识别、对象侦测看语音生成、文本转换语音说自然语言处理、语音转换文本读机器翻译写指的是人类通过感官所受到环境的刺激、察觉消息的能力，简单地说就是人类五官的感知能力人工智能的定义与应用（二）认知能力01如AI下围棋、自动驾驶车、健保诈欺判断、癌症判断等判断如机器学习、深度学习、增强式学习学习如医学图像分析、产品推荐、垃圾邮件辨识、法律案件分析、犯罪侦测、信用风险分析、消费行为分析等。分析辨识如AI执行的预防性维修（PredictiveMaintenance）、智慧天然灾害预测与防治。预测人工智能的定义与应用（二）认知能力01指的是人类透过学习、判断、分析等等心理活动来了解讯息、获取知识的过程与能力，对人类认知的模仿与学习也是目前AI第二个焦点领域。利用人工智能提高医疗质量消费者行为分析人工智能的定义与应用（三）创造力01

AI作曲

AI作诗

AI设计

AI小说AI绘画知识智力能力个性潜意识指的是人类产生新思想，新发现，新方法，新理论，新设计，创造新事物的能力。人工智能的定义与应用（四）智能01价值观人类自我意识自我认知指的是人类深刻了解人、事、物的真相，能探求真实真理、明辨是非，指导人类可以过有意义生活的一种能力。人工智能的三要素02数据、算法和算力是人工智能的三要素，是人工智能发展的基础。定义人工智能的三要素例如：大量的历史数据，用户行为数据，网络数据，视频数据等。在计算机内部，所有数据都以二进制形式存储，每一位数据都由0和1组成。机器世界的数据“0”和“1数据是提供给机器学习算法的原材料02（一）数据人工智能的三要素其可以使计算机根据输入的数据，自动执行一系列步骤，以达到指定的目标。生活中的算法一烹饪红烧肉02（二）算法算法是一种特定的解决问题的规则集人工智能的三要素02（三）算力算力是运行算法的计算能力，指的是人工智能系统可以处理的任务的数量和复杂程度。算力的单位为TOPS，1TOPS代表处理器每秒钟可进行一万亿次。我们熟知的8155芯片算力是8TOPS，英伟达orin芯片算力为254TOPS。人工智能的分类03超人工智能弱人工智能强人工智能人工智能按照与人类智能程度的匹配程度可以分人工智能的分类智能语音助手Siri苹果公司语音助手Siri为语音识别领域的人工智能，用户可以通过语音调用Siri查找信息、拨打电话、发送信息、获取路线、播放音乐、查找苹果设备等。例如指的是专注于且只能解决特定领域问题的人工智能。（一）弱人工智能03人工智能的分类强人工智能思考、计划、解决问题、抽象思维、理解复杂理念、快速学习和从经验中学习等操作，并且和人类一样得心应手，目前仍未发展出此技术。包含属于人类级别的人工智能，在各方面都能与人类胜任。（二）强人工智能03人工智能的分类超人工智能“科学创新、通识和社交技能”，这是人工智能的终极目标，目前仍未实现。包含牛津哲学家、知名人工智能思想家尼克·博斯特伦(NickBostrom)把超人工智能定义为“在几乎所有领域都比最聪明的人类大脑都聪明很多。（三）超人工智能03人工智能技术的发展历程04人工智能产业化第二阶段人工智能诞生第一阶段人工智能爆发第三阶段人工智能的发展历程卷积神经网络的基本原理《罗素姆万能机器人》1921年在布拉格演出时的舞台剧照（一）神话，幻想和预言中的AI03如:赫淮斯托斯的黄金机器人和皮格马利翁的伽拉忒亚。19世纪的幻想小说中出现了人造人和会思考的机器之类题材，例如玛丽·雪莱的《弗兰肯斯坦》和卡雷尔·恰佩克的《罗素姆的万能机器人》。希腊神话中已经出现了机械人和人造人人工智能技术的发展历程(二）人工智能的起源04英国数学家艾伦·图灵（AlanTuring）于1950年提出著名的图灵测试：如果一台机器能够与人类展开对话（通过电传设备）而不能被辨别出其机器身份，那么称这台机器具有智能。这一简化使得图灵能够令人信服地说明“思考的机器”是可能的。1956年，在达特茅斯的人工智能研讨会上，人工智能的创始人之一、美国计算机科学家约翰·麦卡锡（JohnMcCarthy）正式提出“人工智能”这个概念，人工智能被确立为一门学科，该年被公认是现代人工智能学科的起始元年。1950年提出图灵测试1956年提出“人工智能”概念人工智能技术的发展历程（三）人工智能的第一次浪潮与困境0470年代，即使最优秀的AI程序也只能解决简单问题，无法再往上突破。研究者们遭遇了无法克服的基础性障碍，包括计算机的运算能力有限、计算复杂性和指数爆炸、常识与推理等问题。随后，各国政府和机构也停止或减少了资金投入。心理治疗机器人在回答用户的问题达特茅斯会议之后的数年是大发现的时代计算机可以解决代数应用题、证明几何定理、学习和使用英语人工智能技术的发展历程（四）人工智能的第二次浪潮与困境0420世纪80年代初开始卡内基梅隆大学为DEC（数字设备公司）设计了名为XCON的专家系统。1980年1981年1985年全世界的公司都开始研发和应用专家系统，到1985年它们已在AI上投入十亿美元以上，大部分用于公司内设的AI部门。AI技术发展缓慢，政府停止对AI的资助。加上电脑市场的冲击，AI进入第二次发展困境期。XCON等最初大获成功的专家系统维护费用居高不下。它们难以升级，难以使用，脆弱（当输入异常时会出现莫名其妙的错误），暴露各类问题。80年代后期日本经济产业省拨款八亿五千万美元支持第五代计算机项目。其目标是造出能够与人对话，翻译语言，解释图像，并且像人一样推理的机器。引领力量是知识工程和专家系统，专家系统实际上是一套程序软件，能够从专门的知识库系统中，通过推理找到一定规律，像人类专家那样解决某一特定领域的问题。人工智能技术的发展历程（五）人工智能的第三次浪潮与困境0420世纪90年代，计算机算力性能不断突破，英特尔的处理器每18—24个月晶体管体积可以缩小二分之一，同样体积上的集成电路密集度增长一倍、同样计算机的处理运算能力可以翻一倍。20世纪90年代4G时代的到来和智能手机的普及与移动互联网的发展为神经网络训练迭代提供了海量的数据，而IoT物联网的兴起和边缘计算的支持也使传感器时序数据指数级生成。4G时代2006年亚马逊发布AWS云计算平台，大幅提升了人工智能网络模型计算所需要的算力。2007年华裔女科学家李飞飞教授开源了世界上最大的图像识别数据集（超过1400万、2万多标注类别的图像数据集），为人工智能计算机视觉项目提供了强大的数据支持。2007-至今基于大数据的深度升级网络让人工智能重新活跃起来，人工智能思维方式发生巨大改变。人工智能技术发展现状和面临挑战AI已经被广泛应用于交通、金融、农业、军事等领域，尤其是疫情期间，AI在医疗保健和生物医学领域发挥了重要作用，例如加速了新冠病毒相关药物的发现，以及解决了长期以来的蛋白质折叠生物学难题。AI初创公司PostEra的机器学习技术能够在48小时内完成此前需要3~4周时间进行的化学合成路线设计，加速了新冠病毒相关药物的发现。AI逐步走向产业化AI系统现在可以合成文本、音频和图像，而且水平足够高，如得益于机器学习和自然语言处理技术的进步，机器能在视觉问答中提供更加准确的自然语言答案。AI技术进一步完善（一）发展现状05人工智能技术发展现状和面临挑战（二）面临挑战05三要素仍需不断突破人工智能存在安全隐患带来新的就业问题人工智能技术发展现状和面临挑战（二）面临挑战05缺乏高质量的数据资源：Keras是一个高层次的深度学习框架，它可以用于搭建和训练各种神经网络模型。模型泛化能力较弱：人工智能的模型泛化能力是指，在训练集中学习到的模型能够成功地应用到未知的数据集上，从而达到准确的预测结果。算力瓶颈仍然有待突破：人工智能系统的算力瓶颈主要源于计算机硬件的性能和能力的局限性。三要素仍需不断突破人工智能技术发展现状和面临挑战（二）面临挑战05人工智能存在安全隐患黑客对自动驾驶中的人工智能系统造成威胁由于人工智能系统的复杂性，攻击者可能会利用漏洞攻击系统，从而导致安全隐患。漏洞带来的安全隐患由于人工智能系统可以自主学习，因此它们可能会做出意想不到的决策，导致安全风险。自主学习带来的安全隐患人工智能技术发展现状和面临挑战（二）面临挑战05终身学习的要求：人工智能的快速发展已经开始或逐步取代一些传统劳动力，创造出新的就业岗位需求，且其快速学习和更新的能力对就业市场上的求职者提出了终身学习的要求。职业被大量的智能机器替代：据2013年英国牛津大学的研究报告称，未来有700多种职业都有被智能机器替代的可能性，医疗、教育等需要高技能积累的行业也将受到人工智能的影响。带来的新就业问题《Python人工智能技术与应用》任务二调研分析人工智能关键技术NEXT：《Python人工智能技术与应用》能力模块一对人工智能与自动驾驶的基本认知任务二调研分析人工智能关键技术TaskImport任务导入

某公司研发和销售人工智能产品，客户想了解你们公司人工智能产品用到了哪些人工智能技术。

你作为该公司的产品售后人员，需要向客户介绍产品背后的人工智能关键技术。素养目标引导问题的过程中，培养学生形成勤于思考的能力获得分析解决问题以及多元化思考解决问题的方法，形成创新意识。TaskObject任务目标知识目标了解人类神经元和人工神经元。了解常见的深度学习算法。了解深度学习技术的优势与应用。了解神经网络技术和机器学习技术原理。技能目标掌握机器学习的流程。掌握机器学习的分类方法。掌握人工智能项目的生命周期，感受项目性思维，培养统筹思考的能力。新

授机器学习技术原理与流程01CONTENTS目录机器学习的分类方法02深度学习技术原理与常用方法03深度学习技术的优势与应用04人工智能项目实现周期05机器学习技术原理与流程01机器学习的基本原理是，计算机通过不断从输入数据中提取信息（数据特征）和结果（数据标签），学习数据标签和数据特征之间的相关、依存或隐藏结构等关系或内在规律，以优化自身的性能，并生成最优模型以输出最优结果。机器学习从数据中“学习”，“成为”最优模型原理机器学习技术原理与流程模型构建模型评估数据准备特征工程01机器学习技术的流程机器学习的分类方法02强化学习半监督学习监督学习无监督学习机器学习的分类方法机器学习的分类方法02（一）监督学习是指我们给算法一个数据集，并且给定正确答案。机器通过数据来学习正确答案的计算方法。通过大量人工打标签来帮助机器学习的方式就是监督学习。机器学会如何识别猫和狗？操作一：给照片打上标签用于训练

操作二：计算机给出答案机器学习的分类方法02（二）非监督学习非监督学习中，给定的数据集没有“正确答案”，所有的数据都是一样的。计算机需要从给定的数据集中，通过不同的非监督学习的算法，挖掘出潜在的结构和关联规则。计算机非监督学习分类猫和狗机器学习的分类方法02（三）强化学习强化学习更接近生物学习的本质，它关注的是智能体如何在环境中采取一系列行为，从而获得最大的累积回报。通过强化学习，一个智能体应该知道在什么状态下应该采取什么行为。谷歌公司开发的Alpha人工智能程序2016年3月9日以4比1的比分击败欧洲围棋冠军李世石，它使用深度强化学习来训练自己，以改进自身的棋艺。机器学习的分类方法02（三）监督学习、无监督学习、强化学习的联系和区别三类学习共同点三类学习的联系和区别机器学习的分支1通过数据和算法来解决问题2通过训练数据来完成模型的构建3模型的构建也是基于数学模型的4学习方式数据有无标签学习目标应用场景监督学习有标签预测准确性分类或回归无监督学习无标签挖掘数据结构聚类或降维强化学习无标签解决特定问题行为策略深度学习技术原理与常用算法03深度学习是一种以人脑为模型的机器学习技术，深度学习算法使用与人类类似的逻辑结构来分析数据。深度学习使用被称为人工神经网络的智能系统分层处理信息。数据从输入层经过多个“深度”隐藏的神经网络层，然后进入输出层。额外的隐藏层支持比标准机器学习模型更强大的学习能力。深度学习最早可以追溯到1957年，当时由美国计算机科学家FrankRosenblatt提出了“感知器”模型，这是深度学习的第一个模型，它允许机器从输入信号中学习，并从中提取模式。随后，Hinton等人提出了反向传播算法，使深度学习得以发展。此后，深度学习继续发展，经过几十年的发展，已经成为当今最流行的机器学习技术。深度学习技术原理与常用算法（一）人类神经元和人工神经元03人类神经元是由细胞体、树突和轴突组成的，树突接收神经冲动信号，将其传递给细胞体，细胞体根据接收到的信号决定是否将其传递到轴突，最终通过轴突将信号传递给下一个神经元或目标组织。人类神经元深度学习技术原理与常用算法（一）人类神经元和人工神经元03人工神经网络在人工神经网络中，每个神经元都有一些输入，它们被加权并加上偏置，然后通过激活函数进行非线性转换。这个非线性转换类似于人类神经元中的信号处理过程。人工神经网络深度学习技术原理与常用算法（一）人类神经元和人工神经元03加权：在这个过程中，每个输入信号都与一个权重相关联。权重表示每个输入信号对神经元的影响程度。全连接层类似于传统的神经网络，第一层为输入层，中间若干个隐藏层，最后一个输出层。偏置：是一个常数，它可以控制神经元的激活阈值，用公式表示，一个神经元的输出可以表示为：Output=ActivationFunction(WeightedSumofInputs+Bias)其中，ActivationFunction是激活函数，WeightedSumofInputs是输入信号的加权和，Bias是偏置。即输出结果y=激活函数f(k(x)+b。03深度学习技术原理与常用算法（二）神经网络技术原理

信息流程：输入层—〉隐藏层—〉输出层输入层输入层接收外部输入；01输入层输出层产生神经网络的输出；02隐藏层隐藏层则在输入层和输出层之间进行信息处理。层与层之间的神经元可以相互连接，形成神经网络的拓扑结构；0303深度学习技术原理与常用算法（三）常见的深度学习算法卷积神经网络提取数字“7”流程架构卷积神经网络是一种深度学习技术，它使用卷积运算来提取图像中的特征，以实现图像分类和识别。它的结构类似于人类视觉系统，可以模拟人类的视觉感知过程，因此可以在图像分类和识别任务上取得更好的效果。卷积神经网络03深度学习技术原理与常用算法（三）常见的深度学习算法深度循环神经网络的架构循环神经网络（RecurrentNeuralNetwork，RNN）是一种特殊的神经网络，它具有循环结构，能够处理具有时间和序列特征的数据。RNN具有记忆功能，能够记住之前某个时刻的信息，并在之后的时刻使用这些信息。RNN在自然语言处理，语音识别，机器翻译，机器学习，时间序列分析等领域有着广泛的应用。循环神经网络03深度学习技术原理与常用算法（三）常见的深度学习算法生成对抗网络——“生成器”和“判别器”生成对抗网络（GANs）是一种神经网络架构，用于生成新的有趣的图像或文本。它通过分别训练两个模型（生成器和判别器）来实现，其中生成器用于生成新的图像，判别器用于判断图像的真实性。这两个模型互相抵消，使得生成器可以生成更加真实的图像。生成对抗网络在近年来在众多领域中取得了广泛的应用和热门，例如在自然语言应用领域，可以用于对话系统中的回复生成、文本摘要、语音转文本等任务。生成对抗网络深度学习技术的优势与应用（一）深度学习技术的优势04深度学习是一种基于神经网络的机器学习方法，它使用多层次的神经网络来解决复杂的问题。高效的特征提取能力更高的计算效率更强的泛化能力诸多优势传统机器学习VS深度学习04深度学习技术的优势与应用（一）深度学习技术的优势深度学习具有更强大的特征提取能力深度神经网络可以通过多个层次的变换，从原始输入数据中自动学习和提取出具有高度表征能力的表征信息。更好地捕捉数据的本质特征，从而更准确地预测结果完成后续任务。01深度学习模型具有更高的计算效率深度学习模型可以利用大量的计算资源，从而更快地训练模型，提高计算效率。02深度学习模型具有更强的泛化能力深度学习模型可以从训练数据中学习到更多的特征，从而提高模型的泛化能力，更好地应用到新数据中。03特征提取04深度学习技术的优势与应用（二）深度学习技术的应用帮助呼叫中心座席并对呼叫进行自动分类；将临床对话实时转换为文档；为视频和会议记录添加准确的字幕以实现更广泛的内容覆盖范围。深度学习模型可以分析人类语音，尽管说话模式、音调、语气、语言和口音不尽相同。虚拟助手（如AmazonAlexa）和自动转录软件使用语音识别执行以下任务：深度学习与语音识别04深度学习技术的优势与应用（二）深度学习技术的应用汽车研发人员正在使用深度学习来自动检测物体，如停车标志和红绿灯。此外，深度学习还用于探查行人，这有助于减少交通事故。计算机视觉是指计算机从图像和视频中提取信息及见解的能力，计算机视觉具有多种应用，如上所示。内容审核图像分类面部识别深度学习与自动驾驶汽车深度学习与计算机视觉04（一）数据自动虚拟座席和聊天机器人自动总结文件或新闻文章长格式文档(如电子邮件和表格)的业务情报分析用于表示情绪(如社交媒体上的正面和负面评论)的关键短语索引功能计算机使用深度学习算法从文本数据和文档中收集见解和意义。这种处理自然的、人工创建的文本的能力有几个使用场景。深度学习技术的优势与应用人工智能项目实现周期05人工智能项目是指利用人工智能技术来解决实际问题的研究项目,其中包括机器学习、自然语言处理、机器视觉等技术。它们可以应用于自动驾驶、语音识别、智能家居等领域，实现智能化的解决方案。需求分析：需要确定项目的目标，评估需求，设计概念，并确定可行性。数据收集：需要收集用于训练人工智能模型的数据。模型训练：尽可能减小模型预测值与实际值之间的差异。模型评估：需要评估模型的性能，并对其进行优化。模型部署：将训练好的模型应用于实际场景的过程，是人工智能项目的最终目标。常见的部署方式有云端部署、边缘部署、本地部署、移动端部署。一般会分为以下几个阶段《Python人工智能技术与应用》任务三调研分析人工智能技术在智能驾驶汽车中的应用NEXT：《Python人工智能技术与应用》能力模块一

对人工智能与自动驾驶的基本认知任务三调研分析人工智能技术在智能驾驶汽车中的应用TaskImport任务导入

某互联网科技公司的打算寻找传统汽车制造厂商合作开发无人驾驶汽车。你作为该公司的市场方案人员，需要向传统汽车制造厂商介绍人工智能技术如何为传统汽车赋能。素养目标引导问题的过程中，培养学生形成勤于思考的能力获得分析解决问题以及多元化思考解决问题的方法，形成创新意识。TaskObject任务目标知识目标了解人工智能技术在自动驾驶技术中的应用。了解人工智能技术在智能座舱应用场景中的作用。了解人工智能技术在智能汽车维护和管理中的应用。技能目标能够列举3条以上人工智能在自动驾驶的应用场景。能够区分人工智能在自动驾驶中的不同层面的应用，培养逻辑分析思维能力。新

授人工智能技术在自动驾驶技术中的应用01CONTENTS目录人工智能技术在智能座舱应用场景中的应用02人工智能技术在智能汽车维护与管理中的应用03人工智能技术在自动驾驶技术中的应用01自动车道控制ALC实现技术20世纪90年代，当时美国国家公路交通安全管理局（NHTSA）的研究人员开始使用机器视觉技术来研究自动驾驶。他们开发了一种名为“自动车道控制”（ALC）的系统。该系统可以检测车辆前方的路况，并自动控制车辆的转向、加速和减速。此外，研究人员还利用机器学习技术来研究自动驾驶，以实现自动化的驾驶行为。配置“自动车道控制”（ALC）系统功能显示01技术融合：人工智能应用于汽车自动驾驶，主要是将计算机视觉和机器学习与GPS定位技术、传感器技术、大数据技术等进行有机融合。深度学习：获取大量的地图数据、行车轨迹数据、驾驶行为数据、场景数据等，并进行深度学习。决策控制：制定精确的汽车路径规划和驾驶行为决策，实现汽车的自感知、自学习、自适应和自控制，实现对汽车的自动化、智能化控制。人工智能应用于汽车自动驾驶人工智能技术在自动驾驶技术中的应用人工智能技术在自动驾驶技术中的应用01（一）感知技术汽车自动驾驶通过人工智能的环境感知功能，实现对汽车驾驶环境的全面、高效、无死角、无时差的感知，提供更加正确、精确、安全的驾驶轨迹预测和建议，从而提升驾驶安全性。利用传感器、激光雷达、摄像头、定位技术等对交通灯、交通标志、车道线、动态物体、车道轨迹、汽车定位等进行即时的检测、识别和跟踪。即时地检测、识别和跟踪01（一）感知技术汽车自动驾驶通过人工智能的环境感知功能，实现对汽车驾驶环境的全面、高效、无死角、无时差的感知，提供更加正确、精确、安全的驾驶轨迹预测和建议，从而提升驾驶安全性。并利用深度学习和线性回归算法等进行算法支持数据分析。数据分析人工智能技术在自动驾驶技术中的应用01人工智能技术在自动驾驶技术中的应用通过大量的环境交互数据，利用深度学习和增强学习算法，实现对行车路径规划和驾驶行为决策的最优设计和即时提供，以提升汽车自动驾驶的安全性和精确性。利用神经网络决定是否“超车”（二）规划决策01（三）车辆控制汽车自动驾驶中的车辆控制是车辆在智能系统的控制指令下达后进行车辆设备进行精确、即时操作，实现对汽车的自动控制。人工智能在车辆控制领域主要通过模糊控制技术模型预测控制技术模糊控制技术是智能系统对传感器传来的信息进行综合分析、计算和处理，通过模糊算法对控制指令的优先级进行判断，然后发布操作指令，对汽车控制模块进行电气控制；模型预测控制技术是将大量的模型控制数据和情况推理过程等形成的数据信息，由智能系统进行深度学习，然后对汽车的实际情况进行分析，和模型控制数据进行比对、模拟和预测。人工智能技术在自动驾驶技术中的应用02可以用来实现智能座舱应用场景中的智能交互：如语音控制、视觉检测。智能交互中的人工智能：如多媒体音乐，AR增强现实技术的HUD等人工智能人工智能在智能座舱应用场景中的应用人工智能在智能座舱应用场景中的应用（一）语音控制02提供有关车辆当前状态自动驾驶控制功能控制车辆的安全功能气候控制

导航和音频系统

车道偏离警告

自动紧急制动

燃油量

速度和位置（二）视觉检测02指纹识别智能座舱中的视觉交互技术增强现实人脸识别虚拟娱乐乘客的身份验证虚拟现实虹膜识别人工智能在智能座舱应用场景中的应用03人工智能技术在智能汽车维护与管理中的应用预测性维护通过采用监控和预测建模来确定机器的状况并预测可能发生故障的内容以及何时会发生。它试图预测未来的问题，而不是已经存在的问题。在这方面，预测性维护可以为自动驾驶汽车提供。（一）监控车辆状况03来自车辆的数据日志包含有关驾驶员行为的信息，这些信息可用于交通事故分析。在自动驾驶汽车的使用中，这些数据可用于处理索赔。（二）保险数据收集人工智能技术在智能汽车维护与管理中的应用《Python人工智能技术与应用》任务一认知Python基础命令NEXT：《Python人工智能技术与应用》能力模块二

掌握Python人工智能的基础应用任务一认知Python基础命令TaskImport任务导入某专注于汽车行业的传统商业咨询公司计划开发属于自己公司内部的可视化商业智能BI（BusinessIntelligence）产品，可以帮助汽车公司、经销商、零部件供应商等各种汽车行业相关企业进行数据分析和决策支持。你作为团队中的Python助理工程师，你的岗位职责是协助开发团队进行调试、测试等事宜。现你需要为团队搭建好Python的开发环境并运行一些Python的基础命令测试开发环境，方便团队后续对项目的开发。素养目标引导问题的过程中，培养学生形成勤于思考的能力获得分析解决问题以及多元化思考解决问题的方法，形成创新意识。TaskObject任务目标知识目标了解人工智能项目开发方式。了解Python的变量以及变量赋值。了解Python标准数据类型以及数据类型之间的转换。了解Python变量运算及运算符优先级。了解Python的选择和循环语句以及函数。技能目标掌握Python的虚拟环境和环境变量。掌握Python的安装及其环境的搭建。掌握Python编译器JupyterNotebook的安装和启动。培养勤于实践的职业习惯。新

授Python函数06CONTENTS目录Python文件操作07Python安装环境搭建08Python在人工智能中的应用01Python标准数据类型及数据类型转化02Python变量与赋值03Python变量运算及与运算优先级04Python选择和循环语句05机器学习技术原理与流程01（一）人工智能项目开发方式无代码开发人工智能项目是指使用可视化工具来构建和部署人工智能应用，而无需编写代码。常用的平台有GoogleAutoML、BigML、H20.ai、AzureMLStudio。无代码开发

AzureMLStudio的编辑界面机器学习技术原理与流程01（一）人工智能项目开发方式常用的开发人工智能项目的编程语言有Python、Java、C++等编程语言开发人工智能项目无代码开发可以快速构建出一个原型，快速验证设计的想法。但无法实现复杂的功能、可扩展性差，无法满足项目的长期发展需求。学习使用编程语言实现人工智能项目的开发可掌握项目的实现过程，从而更好地改进和调整项目的功能。04Python结构简单比如定义变量时不需要指明数据类型，允许给同一个变量赋值不同类型的数据。深度学习技术的优势与应用（二）Python是最受欢迎的人工智能语言和传统的c/C++、Java、C#等语言相比04Python拥有丰富的数据结构，支持列表、字典、元组等多种数据结构，可以方便地操作和处理数据。Python支持类似NumPy和Pandas的数据处理模块，可以快速处理大量数据。Python还拥有多种数据可视化工具，可以将处理后的数据可视化，更容易理解和分析数据。强大的数据处理能力Python拥有强大的数据处理能力，可以帮助开发者快速处理大量数据，提高工作效率满足各种复杂的数据处理需求。深度学习技术的优势与应用（二）Python是最受欢迎的人工智能语言04跨平台性:支持Linux、Windows、MacosX等操作系统。兼容性:支持x86、ARM和Powerpc等处理器架构。优秀的跨平台性和兼容性Python具有良好的跨平台性和兼容性，使得人工智能项目的开发和部署可以在多种操作系统上运行，并且可以在不同的处理器架构上运行。深度学习技术的优势与应用（二）Python是最受欢迎的人工智能语言机器学习的分类方法02随着人工智能技术的飞速发展，Python编程语言成了实现人工智能的最佳选择。表中罗列了学习人工智能技术需要掌握的Python相关知识。Python基础知识语法、变量、数据类型、控制结构、函数、类、模块等Python数据科学库NumPy、Pandas、Matplotlib、SciPy等机器学习和深度学习库Scikit-Learn、TensorFlow、Keras等计算机视觉库OpenCV、Pillow、scikit-image等自然语言处理库NLTK、StanfordNLP、Gensim等语音识别库SpeechRecognition、PyAudio等

人工智能相关的Python知识（三）人工智能相关的Python知识机器学习的分类方法02在Python中，一系列类、函数会封装在模块中，构成一个个优秀的库（Library），方便使用者在各种场合使用。简而言之就是指封装特定的功能，完成特定任务的文件。（三）人工智能相关的Python知识标准库（StandardLibrary）第三方库（ThirdLibrary）Python标准数据类型及数据类型转换02Python数据类型转换函数描述int(x[,base])将x转换为一个整数float(x)将x转换到一个浮点数complex(real[,imag])创建一个复数str(x)将对象x转换为字符串repr(x)将对象x转换为表达式字符串eval(str)用来计算在字符串中的有效Python表达式，并返回一个对象tuple(s)将序列s转换为一个元组list(s)将序列s转换为一个列表set(s)转换为可变集合dict(d)创建一个字典。d必须是一个(key,value)元组序列。frozenset(s)转换为不可变集合chr(x)将一个整数转换为一个字符ord(x)将一个字符转换为它的整数值hex(x)将一个整数转换为一个十六进制字符串oct(x)将一个整数转换为一个八进制字符串（一）标准数据类型标准数据类型是指编程语言中定义的一组有限的数据类型，它们用于定义一个程序中的变量、常量、表达式等。它们的作用是提供给程序员一种方便的方式来表示和操作数据，从而提高程序的可读性和可维护性。Python标准数据类型及数据类型转换02（二）Python标准数据类型整型（int）

浮点型（float）字符串（str）布尔型（bool）

列表（list）

元组（tuple）字典（dict）等存储在内存中的数据可以有多种类型。例如，一个人的年龄存储为一个数值，他或她的地址存储为字母数字字符。

在Python中每一个变量都有指定的变量类型，即Python标准数据类型，用于定义数据可能进行的操作以及每种数据的存储方法。Python标准数据类型Python标准数据类型及数据类型转换02（二）Python标准数据类型用于存储数值

类似于List（列表）

集合类的数据结构

最灵活的内置数据结构由数字、字母、下划线组成数字字符串列表元组字典例：var1=1，var2=10例：s

=

'ilovepython'例：list

=

['apple',

'jack',

798,

2.22,

36]例：Tuple=("a","b","c","d")Tuple=([1,2,3],"a",3,)例：dict={'name':'yqq','school':'bj','age':25}Python标准数据类型及数据类型转换02（二）Python标准数据类型对数据内置的类型进行转换，数据类型的转换，一般情况下只需要将数据类型作为函数名即可。Python数据类型转换可以分为两种隐式类型转换和显示类型转换：数据类型转换隐式数据类型转换显式数据类型转换Python标准数据类型及数据类型转换02（二）Python标准数据类型通过使用int()、float)、strl)等预定义函数，限制已定义类型变量的类型，来执行显式类型转换。显式数据类型转换例如对两种不同类型的数据进行运算，较低数据类型(整数)就会自动转换为较高数据类型(浮点数)以避免数据丢失。隐式数据类型转换Python隐式类型转换示例Python变量与赋值03在编程语言中，将数据放入变量的过程叫做赋值（Assignment）。Python使用等号=作为赋值运算符，例如这里的a=3。赋值可以看成一个小箱子，专门用来“盛装”程序中的数据。每个变量都拥有独一无二的名字，通过变量的名字就能找到变量中的数据，这里a是变量的名字，3是存放在这个变量中的数据。变量Python变量赋值——将“3”赋值到“a”中Python变量运算及与运算优先级04运算符说明Python运算符优先级算术运算符+、-、*、/、%、//从左至右比较运算符==、!=、<、>、<=、>=从左至右赋值运算符=、+=、-=、*=、/=从右至左逻辑运算符and、or、not从左至右成员运算符in、notin从左至右是指使用变量来完成数学计算的过程。Python变量运算包括加减乘除、取余、比较运算等。Python运算符也称Python操作符，主要包含有算术运算符、比较运算符、赋值运算符、逻辑运算符、成员运算符。变量运算又称变量操作Python主要运算符优先级说明Python变量运算及与运算优先级04优先级排序括号比较运算符逻辑运算符成员运算符算术运算符赋值运算符Python选择和循环语句05Python中的选择和循环语句是用来控制程序的执行流程，它们可以让程序在特定条件下执行不同的操作，提供了一种通过条件来控制代码执行顺序的方法，从而实现更复杂的功能。Python选择和循环语句05（一）选择语句if语句elif语句else语句if语句检查一个条件，如果条件为真，则执行相应的代码块，如果条件为假，则跳过代码块。lif语句用于检查其他条件，如果条件为真，则执行相应的代码块，如果条件为假，则跳过代码块。else语句用于在所有条件都不满足的情况下执行代码块。Python选择和循环语句05（二）循环语句while语句for语句while循环检查一个条件，如果条件为真，则重复执行代码块，直到条件为假。for循环用于遍历一个集合中的每个元素，每次循环都会执行一次代码块，直到遍历完所有元素。Python函数06函数是一个可以接收输入，并返回一个输出的可重复使用的代码块。函数可以组织代码，减少重复，并使程序更容易维护和调试。函数参数函数体返回值Python函数关键概念内建函数，比如print()提供创建函数的功能，即用户自定义函数Python函数有两类函数机器学习的分类方法02函数体是函数定义中的一部分，用于定义函数执行的功能，函数体可以包含多条语句，也可以是空语句。倒数第二层是函数定义时声明的变量，用于接收外部传入的实参值，以便在函数体内使用。最上层函数返回值是函数执行的结果，可以是任何类型的值，也可以是空值，用于指示函数的执行结果，以便调用者可以根据返回值作出相应的处理。最底层Python用户自定义函数的结构Python文件操作07文件的输入（Input）和输出（Output）功能，即编程语言中的文件I/O功能。比如把用键盘来敲代码看作输入，那对应的输出便是显示器显示图案，磁盘中的I/O指的是硬盘和内存之间的输入输出。计算机程序Python程序程序计算机中文件

文件可以长久保存数据将程序中的数据输出到文件中Output从文件中读取数据输入到程序中：InputPython文件的输入与输出（文件I/O流程）深度学习技术原理与常用算法07

Python提供了I/O函数，实现文件的基本操作，比如打开文件、读取和追加数据、插入和删除数据、关闭文件、删除文件等。Python常用文件操作及其解释说明Python文件操作解释说明打开/关闭文件使用open()函数打开文件，使用close()函数关闭文件读写文件使用read()函数读取文件，使用write()函数写入文件查找文件使用os.walk()函数查找文件文件复制使用shutil.copy()函数复制文件文件移动使用shutil.move()函数移动文件删除文件使用os.remove()函数删除文件Python安装环境搭建（一）Python环境变量和虚拟环境08Windows和DOS操作系统中的PATH环境变量，当要求系统运行一个程序而没有告诉它程序所在的完整路径时，系统除了在当前目录下面寻找此程序外，还应到PATH中指定的路径去找。用户通过设置环境变量，当在系统中从命令行运行任何非默认程序时，机器会在当前文件夹或WindowsPATH中查找可执行文件，使得用户无需在每一次运行程序的时候输入程序的完整路径。运行Pvthon的时候同样如此，需要在Windows操作系统上将Pvthon添加到PATH，才可以运行Pvthon解释器、启动虚拟编程环境。Python环境变量环境变量是描述环境的变量，是指在操作系统中用来指定操作系统运行环境的变量。它包含了一个或者多个应用程序所将使用到的信息。Python安装环境搭建（一）Python环境变量和虚拟环境08Python虚拟环境虚拟环境是一个包含了特定Python解析器以及所依赖的特定版本的第三方库，不同的应用程序可以使用不同的虚拟环境，从而解决了依赖冲突问题，而且虚拟环境中只需要安装应用相关的包或者模块，可以给部署提供便利。虚拟环境解释说明virtualenvvirtualenv是一个创建独立Python环境的工具，它可以在不同的项目之间分隔和隔离Python环境。condaconda是一个开源的包管理系统，可以安装，运行和管理多个Python版本的软件包及其依赖关系。pyenvpyenv是一个Python版本管理工具，可用于在不同的Python版本之间切换，并且可以轻松地将应用程序部署到不同的环境中。Python函数06集成开发环境（IntegratedDevelopmentEnvironment，IDE）是一种软件工具，用于支持软件开发人员编写、组织、测试和调试代码。IDE通常提供一个集成的用户界面，以帮助开发人员更容易地编写、调试和测试代码。AnacondaPyCharmSpyderPython的集成开发环境（IDE）为开发者提供了一系列灵活的工具（二）Python集成开发环境Python安装环境搭建08Anaconda兼容性强，在Windows、MacOSX和Linux上都可以运行，支持Python2.7和Python3.5及更高版本。Anaconda提供了一个可以使用简单pip命令和conda命令安装第三方包的环境，可以用来编写和调试Python程序。Anaconda还提供了一个JupyterNotebook，可以用来创建和共享文档，其中包含代码、数学方程、可视化和更多内容。AnacondaAnaconda是一个由ContinuumAnalytics开发的Python发行版，它包含了conda、Python等180多个第三方库。Anaconda的目标是简化包管理和部署。（二）Python集成开发环境Python安装环境搭建08JupyterNotebook提供了一个环境，可以在其中记录代码，运行代码，查看结果，可视化数据并在查看输出结果。JupyterNotebook成为一款执行端到端数据科学工作流程的便捷工具，可以用于数据清理，统计建模，构建和训练机器学习模型，可视化数据以及许多其他用途。

JupyterNotebook是当前应用最广泛的人工智能项目程序运行工具。JupyterNotebookJupyterNotebook是一个交互式编程环境，可以用来创建和共享文档，其中包含代码，数学方程，可视化和文本。同时可创建并共享代码和文档。（二）Python集成开发环境JupyterNotebook工具特点《Python人工智能技术与应用》任务二完成Python网络爬虫实训NEXT：《Python人工智能技术与应用》能力模块二

掌握Python人工智能的基础应用任务二完成Python网络爬虫实训TaskImport任务导入

BI产品需要大量的高质量的数据，该商业咨询公司已拥有的数据量无法形成较大的数据规模，现需要解决数据的来源问题。你作为该公司商业智能团队中的Python爬虫工程师，你的主要职责是开发和维护一个自动化的爬虫系统，从互联网上获取大量的数据。素养目标引导问题的过程中，培养学生形成勤于思考的能力获得分析解决问题以及多元化思考解决问题的方法，形成创新意识。TaskObject任务目标知识目标认识网络爬虫的基本流程。了解Python爬虫工具库及其使用方法。了解Python实现网络爬虫的流程及其Python实现。掌握使用Selenium库实现对汽车之家网站的连接和访问。技能目标掌握使用Lxml库实现对汽车之家网站的解析。掌握使用xlswriter实现对爬取后的汽车之家口碑数据进行保存。能够思考确定Python爬取汽车之家口碑数据的整体思路，培养开拓进取的职业态度。新

授CONTENTS目录网络爬虫基本流程01常见Python爬虫工具库02爬取汽车之家口碑数据项目实训0301难以满足不同用户的检索目的和需求有限的搜索引擎服务器资源与无限的网络数据资源之间的矛盾图片、数据库、音频、视频多媒体等不同数据的发现和获取基于关键字的检索难以支持基于语义信息的查询。网络爬虫基本流程搜索引擎可以帮助人们检索信息，如百度、搜狗、谷歌等，但也存在一定的局限性。01网络爬虫基本流程网络爬虫（又称网页蜘蛛，网络机器人，在FOAF社区中间，更经常地被称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。网络爬虫是一种程序，可以自动化地从互联网上收集信息。确定要爬取的网站和页面发送HTTP请求解析HTML内容提取数据存储数据循环迭代网络爬虫概念网络爬虫基本流程01网络爬虫基本流程当目标网站响应请求时，它会返回一个HTML文档。你需要解析HTML文档，以提取你感兴趣的信息。Python中常用的解析库有BeautifulSoup和Ixml等。解析HTML内容一旦你解析了HTML内容，你需要提取你需要的数据。你可以使用Pvthon中的正则表达式或解析库提供的工具来查找和提取信息。提取数据首先，你需要确定要爬取的网站和页面。你可以选择从一个或多个网站开始，然后选择要爬取的页面。确定要爬取的网站和页面在开始爬取之前,需要向目标网站发送HTTP请求。这可以通过使用Python中的请求库(例如Requests库)来完成。你需要向目标网站发送请求，并等待它们响应。发送HTTP请求01网络爬虫基本流程首先，你需要确定要爬取的网站和页面。你可以选择从一个或多个网站开始，然后选择要爬取的页面。确定要爬取的网站和页面在开始爬取之前,需要向目标网站发送HTTP请求。这可以通过使用Python中的请求库(例如Requests库)来完成。你需要向目标网站发送请求，并等待它们响应。发送HTTP请求网络爬虫的基本流程示意图常见Python爬虫工具库02（一）Selenium库序号描述命令1创建一个Chrome浏览器对象driver=webdriver.Chrome()2打开指定的网页driver.get(url)3查找一个网页元素，通过XPath定位element=driver.find_element_by_xpath(xpath)4查找一个网页元素，通过CSS选择器定位element=driver.find_element_by_css_selector(css_selector)5在网页元素中输入文本element.send_keys(keys)6单击网页元素element.click()7在浏览器中执行JavaScript代码driver.execute_script(script)8获取当前网页源代码driver.page_source9返回上一个网页driver.back()Python的Selenium库是一个用于自动化测试和网页爬取的工具，它可以模拟用户在浏览器中的操作，如打开网页、填写表单、点击按钮等，可以对JavaScript生成的内容进行操作，并获取网页中的数据。右表为Selenium库操作流程。常见Python爬虫工具库02（二）Lxml库Python的Lxml库是一个用于处理XML和HTML文档的Python库，它是基于C实现的，具有高性能和高效率的特点。Lxml库提供了ElementTreeAPI的增强版，支持XPath和CSS选择器等高级功能，能够对XML和HTML文档进行解析、修改和生成等操作。右表为Lxml库操作流程。序号描述命令1导入lxml库中的etree模块fromlxmlimportetree2将HTML字符串转换为lxml.etree._Element对象etree.HTML(html_string)3将HTML文件解析为lxml.etree._ElementTree对象etree.parse(file_path)4在元素中使用XPath表达式搜索子元素并返回结果列表etree.xpath(xpath_expression)5获取元素的指定属性值etree.get('attribute_name')6获取元素的文本内容etree.text7获取元素的标签名称etree.tag8获取元素的父元素etree.getparent()9查找所有具有指定标签名称的子元素etree.findall('tag_name')10查找第一个具有指定标签名称的子元素etree.find('tag_name')11返回元素的迭代器，可以使用for循环遍历子元素etree.iter()12返回元素的子元素列表etree.getchildren()13将元素及其子元素序列化为字符串etree.tostring(element)14将元素及其子元素序列化为Unicode字符串etree.tostring(element,encoding='unicode')常见Python爬虫工具库02（三）xlsxwriter库xlsxwriter是Python的第三方库，用于在Excel文件中创建和编辑电子表格。它提供了许多功能，如自动调整列宽、格式化单元格、插入图表和公式等。右表为xlsxwriter库操作流程。序号描述指令1安装xlswriterpipinstallXlsxWriter2创建Excel文件#创建一个新的Excel文件workbook=xlsxwriter.Workbook('example.xlsx')3创建工作表#创建一个名为“Sheet1”的工作表worksheet=workbook.add_worksheet('Sheet1')4编写数据#写入数据到单元格(A1)worksheet.write('A1','Hello')5指定单元格格式#创建文本格式对象text_format=workbook.add_format({'num_format':'@'})#在单元格(A2)写入文本，并应用文本格式worksheet.write('A2','World',text_format)#创建数字格式对象num_format=workbook.add_format({'num_format':'0.00'})#在单元格(B1)写入数字，并应用数字格式worksheet.write('B1',123.456,num_format)6保存Excel文件#关闭Excel文件workbook.close()03汽车之家是一个汽车行业门户网站，它提供了广泛的汽车信息，包括汽车口碑数据。汽车之家的口碑数据是基于用户提交的评论、评分和其他数据编制的。可采用如下方式实现案例：爬取汽车之家口碑数据项目实训（一）实现思路使用Selenium打开汽车之家网站

使用Lxml库解析网页

将数据保存到excel文件03爬取汽车之家口碑数据项目实训（二）实现流程使用Selenium打开汽车之家网站，获取页面的HTML源码创建一个ChromeOptions对象，并添加了一些参数来配置浏览器选项；通过指定ChromeDriver的路径和选项来创建一个WebDriver对象，用它来控制浏览器进行打开指定网页和获取网页HTML代码的操作；通过XPath解析器lxml.html.fromstring()将HTML代码转换成可操作的树形结构，返回给调用者。03爬取汽车之家口碑数据项目实训（二）实现流程使用Lxml库解析网页使用Lxml库中的tree.xpath方法解析汽车之家网页数据的车系名称、购买车型、用户名称、综合口碑得分等。将数据保存到excel文件使用xlswriter的Workbook、add_worksheet、activate的方法将数据保存到excel。《Python人工智能技术与应用》任务三

Python数据探索性分析NEXT：《Python人工智能技术与应用》能力模块二

掌握Python人工智能的基础应用任务三

Python数据探索性分析TaskImport任务导入解决了产品开发和数据来源的问题，BI产品的最后一步是进行数据探索性分析，通过对数据进行探索，更好地理解客户、发现业务机会、帮助决策制定等。

作为该商业咨询公司商业智能团队中的Python数据分析师，你的主要职责是使用Python编程语言和数据分析工具来处理和分析大量数据，具体包括数据清洗和预处理、数据分析和建模、可视化和报告等，现在需要你通过使用Python脚本在该BI产品中对数据进行探索性分析,确定影响汽车销售量价格、保险费用等关键因素，了解汽车市场的潜在需求和趋势，为汽车市场研究和市场策略制定提供支持。素养目标引导问题的过程中，培养学生形成勤于思考的能力获得分析解决问题以及多元化思考解决问题的方法，形成创新意识。TaskObject任务目标知识目标了解数据探索性分析的定义。了解数据探索性分析的流程。了解Python实现数据探索性分析的常用库。能够判断数据集特征的类别。技能目标掌握使用matplotlib实现对不同类别数据的可视化。掌握使用numpy库、Pandas库实现对数据的缺失值、异常值、变量相关关系的洞察.能够思考并确定对汽车产品数据探索性分析的思路。在实践中培养决策分析的职业能力。新

授Python实现数据探索性分析的常用库05CONTENTS目录汽车产品数据探索性分析项目实现06数据探索性分析技术认知01数据分类02数据可视化03洞察数据0401数据探索性分析技术认知数据探索性分析主要用于查看哪些数据可以揭示超出常规建模或假设检验任务的洞察，帮助更好地理解数据集变量以及它们之间的关系；数据探索性分析是成功实现人工智能与机器学习的第一步；数据是用来描述特定事物或概念的信息，可以是文本、数字、图像或其他形式的信息；探索性数据分析被数据科学家用于分析和调查数据集并总结其主要特征，通常采用数据可视化方法；01数据探索性分析技术认知探索报表数据的趋势数据分类02数据探索性分析步骤探索性数据分析的过程大致分为3步:数据分类、数据可视化、洞察数据。数据分类02在数据科学领域，一般将数据分为结构化数据和非结构化数据。而对应地，非表格形式组织的都是非结构化数据。例如：文本、图片、视频等。世界上20%数据是结构化数据，80%的数据是非结构化数据。非结构化数据结构化数据指的是能够用表格来组织的数据。例如：Excel里的数据、数据库MySQL里的数据等。结构化数据

结构化数据VS非结构化数据数据分类02结构化数据结构化数据定类等级定比等级定序等级定距等级定性数据定量数据数据分类02结构化数据在定类等级的基础上加了自然排序，这样我们就可以对不同数据进行比较。例如：餐厅的评星，公司的考核等级。定序等级是数据的第一个等级，其结构最弱。只需要按照名称来分类。例如：血型（A,B,AB,O）、姓名、颜色。定类等级数据的4个等级示意数据分类02结构化数据是在定距等级的基础上，加入了绝对零点，不但可以做加减的运算，还可以做乘除的运算。例如：金钱、重量。定比等级一定是数值类型的，并且这些数值不仅可以用来排序，还可以用来加减。例如：华氏度、摄氏度（温度有负数，不可以进行乘除运算）。定距等级数据的4个等级示意数据可视化03

数据可视化是一种将数据抽象成图表或图形的过程，它可以帮助人们更容易理解数据，从而更快捷地分析出数据中的趋势和模式。用于表示一组数据的分布情况，可以很直观地看出每个分组所占的比例。饼图数据可视化03

数据可视化是一种将数据抽象成图表或图形的过程，它可以帮助人们更容易理解数据，从而更快捷地分析出数据中的趋势和模式。用于表示一组数据的分布情况，可以很直观地看出每个分组的大小。条形图数据可视化03

数据可视化是一种将数据抽象成图表或图形的过程，它可以帮助人们更容易理解数据，从而更快捷地分析出数据中的趋势和模式。用于表示两个变量之间的关系，比如时间与价格之间的关系或者不同产品之间的销量关系。拆线图数据可视化03

数据可视化是一种将数据抽象成图表或图形的过程，它可以帮助人们更容易理解数据，从而更快捷地分析出数据中的趋势和模式。箱线图是一种用于表示数据分布情况的图表，它由一个箱子和两条线组成箱线图03不同数据等级对应的可视化方法数据可视化数据等级属性描述性统计图表定类离散、无序频率占比、众数条形图、饼图定序有序类别、比较频率、众数、中位数、百分位数条形图、饼图定距数字差别有意义频率、众数、中位数、均值、标准差条形图、饼图、箱线图定比连续均值、标准差条形图、曲线图、饼图、箱线图04缺失值：如果数据中存在缺失值，可能会导致模型的结果不准确，或者无法获得正确的结论。例如，在分析一个用户的消费行为时，如果某个用户的收入数据缺失，则无法准确判断该用户的消费能力。异常值：如果数据中存在异常值，可能会导致模型的结果不准确，或者无法获得正确的结论。例如，在分析一个用户的消费行为时，如果某个用户的收入数据存在异常值，则无法准确判断该用户的消费能力。重复值：如果数据中存在重复值，可能会导致模型的结果不准确，或者无法获得正确的结论。例如，在分析一个用户的消费行为时，如果某个用户的收入数据存在重复值，则无法准确判断该用户的消费能力。洞察数据（一）检查数据中是否存在缺失值、异常值或重复值04例如，一家公司想要探究为什么他们的产品销量不佳，那么他们应该先区分出对于销量最重要的数据，比如产品价格、宣传渠道、产品质量等，而不重要的数据就可以忽略，比如产品的颜色、外观等。洞察数据（二）区分重要数据

区分出重要与不重要的数据对于探究问题至关重要，因为这样可以更好地把握关键信息，更加准确地分析出问题的根源，从而给出更有效的解决方案。04（三）探究数据之间的关联洞察数据探究数据之间的关联可以帮助我们更好地了解数据之间的联系，从而更好地理解数据的分布特点，并有针对性地对数据进行分析和处理。例如，假设我们正在研究一个城市的人口变化，我们可以通过探究不同年龄段人口数量的变化，以及不同性别人口数量的变化，来探究城市人口的变化趋势，并从中分析出相关的结论。Python实现数据探索性分析的常用库05（一）Matplotlib库实现数据的可视化Matplotlib库Matplotlib是一个强大的数据可视化的Python库，在数据探索性分析中可以帮助用户快速可视化数据，从而更好地理解数据的特征和分布。Matplotlib提供了一系列用于绘制图形的函数和工具。它可以用于创建各种各样的2D图表，包括线型图，条形图，散点图，折线图，饼图，直方图，箱形图，热图等。它还可以用于创建3D图形。Python实现数据探索性分析的常用库05（一）Matplotlib库实现数据的可视化功能命令导入matplotlib库importmatplotlib.pyplotasplt画图plt.plot()设置图形大小plt.figure(figsize=(x,y))设置标题plt.title()设置坐标轴标签plt.xlabel()、plt.ylabel()设置坐标轴刻度plt.xticks()、plt.yticks()设置图例plt.legend()设置网格线plt.grid()显示图形plt.show()Matplotlib基础功能及其命令Python实现数据探索性分析的常用库05（一）Matplotlib库实现数据的可视化Matplotlib绘制不同类型的图形图形类型绘制函数直方图matplotlib.pyplot.hist()折线图matplotlib.pyplot.plot()散点图matplotlib.pyplot.scatter()饼图matplotlib.pyplot.pie()条形图matplotlib.pyplot.bar()箱线图matplotlib.pyplot.boxplot()Python实现数据探索性分析的常用库05（二）Numpy库和Pandas库实现数据的洞察Numpy可以用来执行快速的数据分析和探索性分析。例如快速计算统计量，计算矩阵运算，以及处理复杂的数据结构。它还可以用来进行数据可视化，以及创建更复杂的数据可视化，以及利用其他类库进行更复杂的数据分析。NumPy基础Numpy支持二维数组（2DArray）三维数组（3DArray）一维数组（1DArray）Python实现数据探索性分析的常用库05（二）Numpy库和Pandas库实现数据的洞察NumPy基础Numpy数组结构图Numpy数组定义图Python实现数据探索性分析的常用库05（二）Numpy库和Pandas库实现数据的洞察ndarrary是NumPy中专门用于操作数组的模块，通过ndarrary可实现数组之间的基本算术运算与索引、切片等高级运算。ndarrary基础操作数组的创建：numpy.empty，numpy.zeros，numpy.ones数组的算术运算：numpy.arrary.sum()、numpy.arrary.max()、numpy.arrary.min()等。数组的索引和切片：arrary[2:7:2]、arrary[1:]、arrary[2:5]数组的属性查询：numpy.arrary.dtype、numpy.arrary.ndim、numpy.arrary.size等。Python实现数据探索性分析的常用库05（二）Numpy库和Pandas库实现数据的洞察Pandas是一个强大的数据分析库，它可以帮助用户从原始数据中提取有用的信息，并将其转换为更容易理解的形式。Pandas可以用来清洗和准备数据，以及对数据进行汇总、聚合、排序和绘图等操作。Pandas还允许用户从数据中提取模式和趋势，从而帮助他们做出更好的决策。Pandas基础

Pandas中DataFrame数据框和Series数据序列处理结构图Python实现数据探索性分析的常用库05（二）Numpy库和Pandas库实现数据的洞察Pandas的基础数据结构是Series和DataFrame。Series是一种一维的数据结构，由一组数据和一组与之相关的数据标签（索引）组成。DataFrame是一种二维的数据结构，由一组有序的列和一组带标签的行组成。Pandas基础

Series代码形式示例例子代码形式时间为索引的温度序列pd.Series([20,22,24,26,28],index=['2020/1/1','2020/1/2','2020/1/3','2020/1/4','2020/1/5'])城市人口序列pd.Series([20000,30000,40000,50000,60000],index=['北京','上海','广州','深圳','杭州'])电影评分序列pd.Series([9.2,8.5,8.9,7.8,6.5],index=['肖申克的救赎','教父','阿甘正传','泰坦尼克号','美国往事'])汽车品牌序列pd.Series(['宝马','奔驰','特斯拉','路虎','奥迪'],index=[1,2,3,4,5])国家GDP序列