深度学习及自动驾驶应用 课件 第1、2章 汽车自动驾驶技术概述、深度学习基础

Chapter1汽车自动驾驶技术概述第一章DeepLearningAndAutonomousDriving深度学习与自动驾驶应用DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第2页1.1汽车自动驾驶技术概述1.2汽车自动驾驶技术架构目录Content1.3汽车自动驾驶领域深度学习应用概述DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第3页1.1汽车自动驾驶技术概述1.2汽车自动驾驶技术架构目录Content1.3汽车自动驾驶领域深度学习应用概述汽车自动驾驶技术原理及愿自动驾驶汽车是指搭载先进车载传感器、控制器、执行器等装置，具备复杂环境感知、自主决策、运动控制等功能，可实现“安全、高效、舒适、节能”行驶，最终替代人类驾驶员并实现自主驾驶的新一代汽车。自动驾驶技术因为具有提升交通安全、增强道路通畅、减少燃油消耗的巨大潜力，受到学界和业界的广泛关注。麦肯锡报告显示自动驾驶的全面普及可将交通事故发生率降低至原来的十分之一。兰德公司预测自动驾驶汽车可提升30%的交通效率，减少67%的碳排放量，潜在的经济与社会效益显著。4第4页汽车自动驾驶的分级第5页汽车自动驾驶的分级中国汽车工程学会分级第6页汽车自动驾驶技术发展现状国外自动驾驶汽车的发展现状第7页汽车自动驾驶技术发展现状国外自动驾驶汽车的发展现状1956年推出的FirebirdII，是世界上第一辆安装自动导航系统的概念车，神似火箭头的造型很容易让人联想到已经实现自动驾驶的飞机。第8页汽车自动驾驶技术发展现状国外自动驾驶汽车的发展现状2004年~2007年间，DARPA在连续组织了三届无人驾驶汽车竞赛，在推动自动驾驶技术方面发挥了重要作用，激发了全球范围内的研究和开发，图为DARPA2005竞赛冠军斯坦福大学的Stanley赛车。第9页汽车自动驾驶技术发展现状国外自动驾驶汽车的发展现状20世纪80年代开始，美国卡内基·梅隆大学、斯坦福大学、麻省理工学院等著名大学都先后加入无人驾驶汽车的研究工作中。其中，美国卡内基·梅隆大学研制的NavLab系列智能车辆最具有代表性。进行了多次自动驾驶测试，其中包括在高速公路上的自动驾驶行驶，开发的NavLab-11，如图，最高车速达到了102km/h。第10页汽车自动驾驶技术发展现状国外自动驾驶汽车的发展现状1987年至1995年期间，德国慕尼黑联邦国防大学研发的VAMT和VITA智能车，该车辆最大时速为158km/h，可以实现车辆自动超车、跟随等功能。2001年，欧盟开展了CyberCars/CyberMove智能车项目，该系列智能车采用激光扫描技术，可以完成障碍检测、车辆跟踪和自主导航。1998年，意大利帕尔马大学研发出ARGO智能车，2010年，ARGO试验车沿着马可·波罗的旅行路线，全程自动驾驶来到中国上海参加世博会，行程达15900km。2013年，ARGO试验车在无人驾驶的情况下成功识别了交通信号灯、避开行人、驶过十字路口和环岛等。除了科研院校在无人驾驶领域的积极研究外，奥迪、福特、沃尔沃、日产、宝马等众多汽车制造厂商也于2013年开始相继在无人驾驶汽车领域进行了布局。第11页汽车自动驾驶技术发展现状国外自动驾驶汽车的发展现状2018新款奥迪A8是全球首款量产搭载Level3级别的自动驾驶系统的车型，其安装有24个车载传感器，可以在60km/h以下车速时实现Level3级自动驾驶。第12页汽车自动驾驶技术发展现状国外自动驾驶汽车的发展现状2015年10月，特斯拉推出的半自动驾驶系统Autopilot，Autopilot是第一个投入商用的自动驾驶技术。2010年，通用公司在上海世博会上首次展示了EN-V系列电动车辆的概念原型。2016年，通用汽车收购了自动驾驶技术创业公司CruiseAutomation，正式进入无人驾驶领域。2018年1月，作为通用汽车旗下自动驾驶部门的CruiseAutomation发布了新一代（第四代）无人驾驶汽车——CruiseAV，如图1.11所示。CruiseAV没有方向盘、油门踏板和刹车踏板，安装了21个普通雷达、16个摄像机和5个激光雷达来感知车辆周围的环境和障碍物。第13页汽车自动驾驶技术发展现状国外自动驾驶汽车的发展现状2010年，Google启动了"谷歌自动驾驶项目"，旨在研发一种能够自主驾驶的汽车，并能够在现实道路上行驶，图为谷歌公司的自动驾驶原型车。谷歌的自动驾驶团队开始将自动驾驶技术应用于一些修改过的汽车，并进了测试。他们在不同地区进行大规模的测试，积累了大量的自动驾驶行驶数据，并不断改进和验证自动驾驶系统的性能。2016年，谷歌将自动驾驶项目整合到AlphabetInc.旗下的一个子公司——Waymo。Waymo在自动驾驶车的研究和开发方面取得了显著的成就，并不断推进自动驾驶技术的商业化和实际应用。第14页汽车自动驾驶技术发展现状国外自动驾驶汽车的发展现状2016年5月，Uber无人驾驶汽车在位于美国宾夕法尼亚州匹兹堡市的Uber先进技术中心正式上路测试。Uber首次路测使用的无人驾驶汽车是一款福特Fusion混合动力汽车，如图所示，它同时进行采集测绘数据并试验自动驾驶功能。第15页汽车自动驾驶技术发展现状国外自动驾驶汽车的发展现状创业公司nuTonomy是一家于2013年从麻省理工学院分离出来的创业公司，2016年8月，它成为了新加坡第一家在试点项目下推出自动驾驶出租车的公司。在新加坡的测试中，nuTonomy在自动驾驶汽车上配备了6套激光雷达检测系统，前面安装有2个摄像机，用于识别障碍物，检测交通信号灯变化。第16页汽车自动驾驶技术发展现状国内自动驾驶汽车的发展现状第17页汽车自动驾驶技术发展现状国内自动驾驶汽车的发展现状相对于欧美国家，我国智能车的研究起步较晚，国防科技大学从20世纪80年代末开始先后研制出基于视觉的CITAVT系列智能车辆。1992年，由国防科技大学、北京理工大学等五家单位联合研制成功了ATB－1（AutonomousTestBed－1）无人车，这是我国第一辆能够自主行驶的测试样车，其行驶速度可以达到21km／h。清华大学在国防科工委和国家863计划的资助下，从1988年开始研究开发THMR系列智能车。THMR-Ⅴ智能车能够实现结构化环境下的车道线自动跟踪、准结构化环境下的道路跟踪，复杂环境下的道路避障、道路停障以及视觉临场感遥控驾驶等功能，最高车速达150km/h。1992年以后，吉林大学先后研发出了JUIV系列智能车，其中JLUIV-4使用交流电提供动力，提升了视觉采集技术，使得视野范围更大，图像采集的速度加快。第18页汽车自动驾驶技术发展现状国内自动驾驶汽车的发展现状为推动创新研发无人驾驶汽车，国家自然科学基金委员会启动了“视听觉信息的认知计算”重大研究计划，从2009年起，每年举办一届“中国智能车未来挑战赛”推动中国的无人驾驶车辆“驶出实验室，驶向实际环境”。2012年，军事交通学院研制出“猛狮3号”智能车，如图1.14所示，获得“中国智能车未来挑战赛”冠军，在高速公路进行试验，完成了车辆跟随、换道、超车等功能。第19页汽车自动驾驶技术发展现状国内自动驾驶汽车的发展现状不同于国外车企以自主研发为主，我国汽车制造厂商多采取与国内科研院所、高校合作研发无人驾驶技术。一汽集团于2007年与国防科技大学合作，2011年7月，由一汽集团与国防科技大学共同研制的红旗HQ3无人驾驶汽车，如图所示，完成了286km的面向高速公路的全程无人驾驶试验，人工干预的距离仅占总里程的0.78％。2015年4月，一汽集团正式发布了其“挚途”技术战略，标志着一汽集团的互联智能汽车技术战略规划正式形成。第20页汽车自动驾驶技术发展现状国内自动驾驶汽车的发展现状2015年8月，宇通大型客车从郑开大道城铁贾鲁河站出发，在完全开放的道路环境下完成自动驾驶试验，共行驶32.6km，最高速度为68km/h，全程无人工干预，这是国内首次大型客车高速公路自动驾驶试验。2018年5月，宇通客车在其2018年新能源全系产品发布会上宣布，已具备面向高速结构化道路和园区开放通勤道路的Level4级别自动驾驶能力。2013年，百度公司开始了百度无人驾驶汽车项目，其技术核心是“百度汽车大脑”，包括高精度地图、定位、感知、智能决策与控制四大模块。2015年12月初，百度无人驾驶汽车在北京进行自动驾驶测跑，实现多次跟车减速、变道、超车、上下匝道、调头等复杂驾驶动作，完成了进入高速到驶出高速不同道路场景的切换，最高车速达到100km/h。第21页汽车自动驾驶技术发展现状国内自动驾驶汽车的发展现状2015年12月14日，百度宣布正式成立自动驾驶事业部。2016年，百度智能车获得美国加州车辆管理局的批准，可以进行无人车辆道路测试。2021年下半年，百度正式组建智能汽车事业部，将多年积累的能力和经验全面应用在量产乘用车领域，助力车企共同拥抱汽车智能化浪潮。自此，百度先后推出了自主泊车ApolloParking、行泊一体领航辅助驾驶ApolloHighwayDrivingPro、城市域领航辅助驾驶ApolloCityDrivingMax等覆盖低、中、高组合的全系列智驾产品，目前已在多款明星车型上实现量产。第22页汽车自动驾驶技术发展现状国内自动驾驶汽车的发展现状百度自动驾驶出租车2020年10月11日起在北京开放，约车平台为“萝卜快跑”。“萝卜快跑”是百度Apollo带来的全新升级的自动驾驶出行服务平台，主要使用自动驾驶汽车Robotaxi，如图所示，开展自动驾驶甚至完全无人驾驶运营。截止2023年，萝卜快跑已在北京、上海、广州、深圳、重庆、武汉、长沙、阳泉、乌镇等城市开通。第23页汽车自动驾驶技术发展现状国内自动驾驶汽车的发展现状我国还有不少科技公司在自动驾驶领域取得了不错的成绩“经纬恒润”的产品覆盖智能泊车、智能行车、安全预警三大领域。

“地平线”是国内率先实现大规模前装量产的车载智能芯片公司，领跑ADAS一体机、智能座舱、智能驾驶（行泊一体）域控制器等细分市场。“蘑菇车联”采取“单车智能+车路协同”技术路线，以系统性思维打造了“车路云一体化”自动驾驶方案，实现技术与数据闭环，在自动驾驶行业竞争中形成优势。“轻舟智航”采取“技术应用深度和广度”双擎发展战略。一方面，以公开道路L4级别自动驾驶能力为“动力引擎”，不断探索更多落地场景，驱动城市交通出行效率提升；另一方面，以自动驾驶量产规模化落地为“创新引擎”，借助更多装机量实现产品和技术的打磨。专注于矿区自动驾驶技术的“踏歌智行”，入选为国家级专精特新“小巨人”企业，自研感知、规控、协同、云控、运维五大核心技术，有效应对极端自然环境、特殊路面、庞大车辆、复杂路况与生产工艺流程等矿区独有的应用场景。第24页DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第25页1.1汽车自动驾驶技术概述1.2汽车自动驾驶技术架构目录Content1.3自动驾驶领域深度学习应用概述汽车自动驾驶技术架构第26页汽车自动驾驶技术架构环境感知环境感知技术是自动驾驶系统中至关重要的组成部分，它负责通过传感器获取车辆周围环境的信息，以实时感知和理解道路条件、障碍物、交通标志、行人和其他车辆等各种元素。这些感知信息是自动驾驶决策和规划的基础，帮助车辆做出正确和安全的驾驶决策。第27页汽车自动驾驶技术架构环境感知摄像头：摄像头是被动式传感器，它的基本工作原理是通过光学透镜和图像传感器，将周围环境的光线转化为数字图像信号。相比于其他传感器，摄像头通常成本较低，适用于广泛应用和大规模生产。但摄像头产生的图像数据庞大，对计算机视觉算法和硬件的要求较高，需要高效的图像处理和分析能力，在强光、弱光和恶劣天气条件下可能性能下降。激光雷达：激光雷达是一种主动式传感器，它通过发射一束激光脉冲，并通过接收返回的激光反射信号来计算目标物体的距离和位置。激光雷达的传感器通常旋转或使用多束激光来扫描周围环境来获取周围环境的三维点云数据，这些点云数据可以用于构建高精度的地图、检测障碍物和进行目标识别，从而实现全方位的感知。但激光雷达成本高、价格昂贵、对不透明物体的感知能力有限。第28页汽车自动驾驶技术架构环境感知毫米波雷达：毫米波雷达也是一种主动式传感器，它使用毫米波频段（通常是24GHz或77GHz）的电磁波来探测周围环境，从而提供高精度、长距离的障碍物检测和距离测量。相比于激光雷达，其空间分辨率较低、通常无法穿透非金属、不透明的物体、角度分辨率相对较低，无法提供精细的目标识别和轮廓信息。超声波传感器：是一种常用于测量距离和检测障碍物的被动式传感器。它利用超声波在空气中传播的特性，测量从传感器发射到目标物体反射回来的超声波的时间差，从而计算出目标物体与传感器的距离。相比于其他传感器，超声波传感器通常成本较低，适用于经济实惠的自动驾驶解决方案。然而，超声波传感器的探测范围相对有限，通常在几米到十几米之间，因而它不适用于高速驾驶和大范围感知。第29页汽车自动驾驶技术架构环境感知全球卫星导航系统：常用的有美国的全球定位系统（GlobalPositioningSystem，GPS）、俄罗斯的GLONASS、欧盟的Galileo和中国的北斗系统。这些卫星导航系统共同为全球用户提供了更加准确和可靠的导航和定位服务，可用于获取车辆的精确位置信息，并与高精度地图相匹配，从而提供更准确的定位和导航。但卫星导航系统可能会受到信号干扰或遮挡，导致定位误差增大。惯性导航系统（InertialNavigationSystem，INS）：是一种能够独立地、持续地、实时地提供车辆的位置、速度和方向信息的导航系统，它利用加速度计和陀螺仪等惯性传感器来测量车辆的加速度和角速度，估计车辆的位置和姿态。惯性导航系统不依赖于外部信号源，如卫星定位系统或地面基站，因此在遭遇信号中断或干扰时仍然可以提供导航信息，而且惯性导航系统能够实时地提供导航信息，不需要预先建立地图或进行数据处理。但惯性导航系统的测量误差会随着时间累积，导致位置和方向信息的误差逐渐增大。第30页汽车自动驾驶技术架构环境感知车联网：通过无线通信技术将车辆与互联网连接起来，比如借助5G通信技术在高速、大容量、低延迟等方面优势，为车联网提供更快速、可靠的数据传输，实现车辆与车辆（V2V）、车辆与基础设施（V2I）、车辆与云端（V2C）之间的实时数据交换。第31页汽车自动驾驶技术架构决策规划技术在自动驾驶汽车中，决策规划是一个关键的环节，它根据车辆的感知信息和环境状况做出决策，规划出车辆的行驶路径和行为，以实现预定的目标和任务。决策规划的主要任务包括路径规划、速度规划、交通行为决策和冲突处理等。

第32页汽车自动驾驶技术架构决策规划技术路径规划：路径规划是决策规划的核心部分，它决定车辆的行驶路径。路径规划算法根据车辆的当前位置、目标位置和环境信息，计算出一条安全且符合规则的路径。考虑到不同的场景和交通条件，路径规划可以是全局路径规划（从起点到目标点的整体路径规划）或局部路径规划（针对避障和动态障碍物的路径调整）。速度规划：速度规划决定车辆的行驶速度。根据当前交通情况、道路条件、障碍物等信息，速度规划算法可以调整车辆的速度，以保持安全距离、避免碰撞，并尽可能地提高行驶效率。车道规划：车道规划决定车辆在道路上的行驶车道。车道规划算法可以根据交通标志、道路标线和导航目标，将车辆引导至合适的车道。交通行为决策涉及到车辆在复杂交通环境中的行为。第33页汽车自动驾驶技术架构控制执行技术自动驾驶汽车的控制执行是指将经过决策规划阶段得出的行驶路径和行为决策转化为实际的车辆操作，使汽车能够按照规划的路径和速度进行行驶。控制执行是自动驾驶系统中的最终环节，负责将决策转换成车辆的物理动作。自动驾驶汽车的控制执行主要任务包括纵向（驱动、制动）、横向（转向）和横纵向综合控制。第34页汽车自动驾驶技术架构控制执行技术纵向控制：纵向控制是指通过对驱动和制动的协同控制，实现利用加速度或减速度对目标车速或目标扭矩的精确响应。横向控制：横向控制主要是指通过对电动助力转向系统（EPS）进行转角或转矩控制，实现汽车的自动转向功能。控制执行：控制执行要根据车辆当前的状态和位置，确保车辆按照规划的路径准确行驶，避免偏离或碰撞障碍物。第35页DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第36页1.1汽车自动驾驶技术概述1.2汽车自动驾驶技术架构目录Content1.3汽车自动驾驶领域深度学习应用概述深度学习与传统机器学习的区别传统机器学习方法下，一般需要独立的特征提取阶段；而在深度学习下，只需要输入原始的图像、语音和文本信息，即可直接训练。第37页深度学习的研究及应用进展第38页自动驾驶领域深度学习应用概述第39页自动驾驶领域深度学习应用概述深度学习在自动驾驶环境感知中的应用自动驾驶汽车环境感知包括：可行驶路面检测、车道线检测、路缘检测、护栏检测、行人检测、机动车检测、非机动车检测、路标检测、交通标志检测、交通信号灯检测等。对于如此复杂的路况检测，环境感知技术是利用摄像机、激光雷达、毫米波雷达、超声波等车载传感器，以及V2X和5G网络等获取汽车所处的交通环境信息和车辆状态信息等多源信息。这些多源信息需要通过深度学习方法进行处理。第40页自动驾驶领域深度学习应用概述深度学习在自动驾驶环境感知中的应用深度学习按照模型的不同可以分为CNN、RNN、LSTM、DBN和Autoencoder等类型。CNN（卷积神经网络）在处理图像和视频上拥有很好的效果，帮助车辆准确地感知和理解周围环境，从而为安全、高效的驾驶决策提供支撑。CNN可以用于实时检测和识别道路上的各种目标，如车辆、行人、自行车、交通标志等。CNN通过训练，它可以从传感器（如摄像头）捕获的图像中提取特征，并准确地标记和分类目标。CNN可以用于图像的语义分割，即将图像中的每个像素点标记为属于不同的类别，例如车道线、道路、行人、建筑物等。这有助于自动驾驶车辆更好地理解和解释环境。CNN可以进行实例分割，实例分割能够将同一类别的目标分别标记出来，有助于更精确地识别和跟踪目标。CNN可以用于检测和提取道路边缘的特征，帮助车辆在复杂道路环境中准确地定位和行驶。第41页自动驾驶领域深度学习应用的概述深度学习在自动驾驶决策规划中的应用自动驾驶汽车的规划分为全局规划和局部规划两种。全局规划是根据获取到的地图信息，规划出一条无碰撞最优路径，以满足特定的行驶条件。局部规划则是根据全局规划，在一些局部环境信息的基础之上，避免碰撞一些未知的障碍物，最终达到目的地的过程。在自动驾驶汽车决策规划中，车辆需要根据环境感知数据和当前状态来做出决策，如选择合适的行驶速度、路径规划、超车、变道、避障等，以确保安全、高效和舒适的驾驶。第42页自动驾驶领域深度学习应用的概述深度学习在自动驾驶决策规划中的应用深度学习在自动驾驶汽车决策规划中发挥着关键的作用。深度学习模型可以用于预测其他交通参与者（如其他车辆、行人）的行为，包括变道、加速、减速等。这些预测能够帮助自动驾驶车辆更好地理解周围车辆和行人的动态，从而做出合理的决策。深度学习模型可以用于路径规划，根据车辆的当前位置、目的地和环境条件，选择最优的行驶路径。这有助于车辆避开拥堵路段、选择安全路线，并使驾驶更高效。深度学习模型可以用于制定合适的跟车策略，包括与前车的距离维持、速度调节等，以确保安全且平滑的跟车行驶。自动驾驶车辆需要能够识别并规避障碍物，如其他车辆、行人、障碍物等。深度学习可以帮助车辆做出及时的避障决策，避免潜在的碰撞。深度学习还可以用于交通信号灯的识别和状态预测，从而帮助车辆做出合适的行驶策略，避免违规或浪费时间。第43页自动驾驶领域深度学习应用的概述深度学习在自动驾驶控制执行中的应用自动驾驶汽车的控制核心技术涵盖汽车的纵向、横向、驱动和制动控制。纵向控制负责汽车前后运动的控制，而横向控制则负责方向盘角度和轮胎力的调整。只有同时实现纵向和横向自动控制，才能使汽车按照预设目标和约束自主行驶。在自动驾驶控制执行中，深度学习通常与传统的控制方法和规则引擎相结合，形成一个全面有效的控制系统，以确保自动驾驶汽车的安全和可靠性。第44页自动驾驶领域深度学习应用的概述深度学习在自动驾驶控制执行中的应用在汽车自动驾驶控制执行中，深度学习应用广泛，发挥着重要的作用。深度学习模型可以用于设计自动驾驶控制器，将环境感知数据和规划决策结果作为输入，输出具体的汽车控制指令。深度学习可以通过行为克隆的方法，从人类驾驶员的行驶数据中学习驾驶行为，并在自动驾驶中模仿这些行为。深度强化学习在自动驾驶控制执行中也得到广泛应用。通过强化学习，车辆可以在不断的尝试和学习中优化控制策略，以最大化预设的奖励函数，实现更智能和适应性强的驾驶控制。第45页自动驾驶领域深度学习应用的概述深度学习在自动驾驶控制执行中的应用深度学习应用于汽车自动驾驶还有一种被称为“端到端”自动驾驶的方法，它直接从原始传感器数据中学习驾驶策略，不需要显式地提取特征或规划路径。这种方法尚在研究和探索阶段，但有望实现更高级别的自动驾驶。第46页自动驾驶领域深度学习应用的概述深度学习在自动驾驶控制执行中的应用总的来说，自动驾驶与深度学习技术都处于快速发展阶段，在汽车自动驾驶领域，深度学习广泛用于解决感知、决策、控制算法中面临的难题，以提高自动驾驶系统的智能化水平，深度学习在自动驾驶领域的应用为自动驾驶技术的发展提供了强大的支持，使得自动驾驶汽车能够更准确、更智能地感知和理解交通环境，从而实现更安全和高效的驾驶体验。随着深度学习技术的不断进步，预计自动驾驶技术在未来将继续取得更大的进展。第47页Thanks!DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第48页第一章汽车自动驾驶技术概述谢谢！本章总结与答疑Chapter2深度学习基础第二章DeepLearningAndAutonomousDriving深度学习与自动驾驶应用DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第50页2.4Drop—out2.1神经网络的定义2.3神经网络步骤2.2神经网络的框架目录Content车的识别一个经典的定义：神经网络是由具有适应性的简单单元组成的广泛并行互连网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。神经网络的定义生物神经元结构人脑视觉机理视觉影像反射光线神经脉冲双极细胞i.视感觉阶段-信息采集纹状皮层初级视觉信息输入人体神经网络人脑视觉机理ii.视知觉阶段-信息认知纹状皮层纹外视觉皮层初级视觉信息中级视觉信息海马体长短时记忆信息神经脉冲输入人体神经网络从原始信号摄入（瞳孔摄入像素Pixels）

初步处理（大脑皮层某些细胞发现边缘和方向）

抽象（大脑判定，眼前的物体的形状，是圆形的）

进一步抽象（大脑进一步判定该物体是人脸）从原始信号，做低级抽象，逐渐向高级抽象迭代人脑视觉机理：神经-中枢-大脑测量空间（表象）特征空间（概念）人体神经网络图像在计算机中的存储方式神经网络最初是在图像识别中取得了很好的效果。

一张图片被表示成三维数组的形式，每个像素的值从0到255例如：300*100*3表示图像的长宽和颜色通道数列矩阵人工神经网络模仿人类的视觉系统底层特征中层特征高层特征像素矩阵可训练的分类器图像识别基本框架（场景识别、目标识别、人脸识别…）测量空间特征空间类别空间人工神经网络目的使用深度学习的目的：寻找一个合适的函数数字图片识别机器翻译自动问答“3”“倾盆大雨”“上海”“Rain

cats

and

dogs”“姚明是哪里人？”人工神经网络目的图像识别“烫烫烫烫”“8”“2”学习任务:寻找手写识别函数，候选函数集合为：人工神经网络目的学习过程确定函数集合如何评价好坏挑出最好函数=“2”=“3”….=“0”=“5”答案人人机器怎么做：对答案人工神经网络框架学习过程建立模型损失函数参数学习=“2”=“3”….=“0”=“5”训练数据人人机器监督学习（SupervisedLearning）人工神经网络框架学习过程建立模型损失函数参数学习答案人人机器

XY0

人工神经网络框架建立模型损失函数“0”“2”“5”参数学习Using“罗红霉素”TrainingTesting监督学习任务:手写识别训练数据图像识别测试数据Step1Step2Step3人工神经网络框架建立模型选择什么样的网络结构选择多少层数，每层选择多少神经元损失函数选择常用损失函数，平方误差，交叉熵….参数学习梯度下降反向传播算法人工神经网络步骤建立模型选择什么样的网络结构选择多少层数，每层选择多少神经元损失函数选择常用损失函数，平方误差，交叉熵….参数学习梯度下降反向传播算法人工神经网络步骤单层感知器输入节点：x1,x2,x3输出节点：y权向量：w1,w2,w3偏置因子：b激活函数：sign(x)=1 x>=0-1 x<0单层感知器（SingleLayerPerceptron）是最简单的神经网络。它包含输入层和输出层，而输入层和输出层是直接相连的。y

=1 (0.5x1+0.5x2+0.5x3-0.6>=0)-1 (0.5x1+0.5x2+0.5x3-0.6<0)单层感知器举例权值w都设成0.5，偏置b设为-0.6单层感知器单层感知器学习过程i

=

0,1,2…y是网络输出f是sign函数η表示学习率t是标签值t和y的取值为±1权值调整公式假设：t=1，η=1，x1=1，w1=-5，b=0:单层感知器学习过程简化演示，假设只有一个样本，一个特征𝜂取值一般取0-1之间;学习率太大容易造成权值调整不稳定;学习率太小，权值调整太慢，迭代次数太多。单层感知器学习过程1.误差小于某个预先设定的较小的值2.两次迭代之间的权值变化已经很小3.设定最大迭代次数，当迭代超过最大次数就停止模型收敛条件单层感知器学习过程题目：假设平面坐标系上有四个点，(3,3),(4,3)这两个点的标签为1，(1,1),(0,2)这两个点的标签为-1。构建单层感知器来分类。单层感知器实例思路：我们要分类的数据是2维数据，所以只需要2个输入节点，我们可以把神经元的偏置值也设置成一个节点，偏置也是一个输入，恒等于1，这样我们需要3个输入节点。输入数据有4个(1,3,3),(1,4,3),(1,1,1),(1,0,2)数据对应的标签为(1,1,-1,-1)初始化权值w0,w1,w2取-1到1的随机数，学习率(learning

rate)设置为0.11，激活函数为sign函数。单层感知器程序实现单层感知器分类.ipynb建立模型选择什么样的网络结构选择多少层数，每层选择多少神经元损失函数选择常用损失函数，平方误差，交叉熵….参数学习梯度下降反向传播算法人工神经网络步骤单个神经元y神经元…偏置bias权重weights………激活函数理解：简单线性函数f(x)=kx+b(x是向量，表示多维，k是斜率，b是截距)建立模型

网络结构神经元不同的连接方式构成不同的网络结构每个神经元都有自己的权重和偏置参数建立模型

建立模型—浅层神经网络建立模型—浅层神经网络建立模型—深度神经网络为什么引入激活函数为了增强网络的表达能力，我们需要激活函数来将线性函数->非线性函数深层神经网络中最常用的是ReLU，Sigmoid使用较少。建立模型神经元CNN在卷积层尽量不要使用Sigmoid和Tanh，将导致梯度消失。首先选用ReLU，使用较小的学习率，以免造成神经元死亡的情况。  如果ReLU失效，考虑使用LeakyReLU、PReLU、ELU或者Maxout，此时一般情况都可以解决。激活函数表达式以及对应的微分函数建立模型Google神经网络演示平台http://playground.tensorflow.org/前馈神经网络建立模型1-11-21-10激活函数1

0.980.124-2

自左向右依次计算建立模型1-11-21-101

0.980.124-2

2-1-1-20.860.113-14-10.620.8300-22

前馈神经网络输出层隐藏层输入层隐藏层数很多意味着网络越深神经元建立模型……………………………………y1y2ymx1x2xn…………前馈神经网络神经网络其实就是按照一定规则连接起来的多个神经元。输出层常用softmax函数作为输出层激活函数：容易理解、便于计算

32.7200.05建立模型1-30.880.12≈0应用示例：手写识别输入每一个输出值代表其对应标签的概率值输出神经网络is1is2is8……0.10.10.716x16=256……黑色像素点→1白色像素点→0建立模型“8”……神经网络图片被识别成数字“8”应用示例：手写体识别设置合适的网络结构：层数和结点个数、激活函数问题：应该设置多少层，多少结点？是否需要选择其他网络结构如CNN/RNN？建立模型is1is2is0…………………………………………y1y2ymx1x2xn…………X建立模型选择什么样的网络结构选择多少层数，每层选择多少神经元损失函数选择常用损失函数，平方误差，交叉熵….参数学习梯度下降反向传播算法使用步骤损失函数分类损失回归损失损失函数的设计依赖于具体的任务16x16=256y1

值最大；对于数字识别任务，设计用于分类的损失函数，使得学习目标变为：输入:y8

值最大······输入:损失函数………………………………y1y2y10x1x2x256…………is1is2……is0Softmax

“1”……100常用损失函数：平方损失函数、交叉熵损失函数目标尽可能接近好的参数使得所有训练数据的损失越小越好损失函数………………………………y1y2y10x1x2x256…………Softmax

学习一组参数损失函数对所有训练数据：

即确定参数使得总损失L最小总损失:尽可能小找到一个函数使得总损失L最小神经网络样本x1y1

样本x2y2

神经网络样本x3y3

神经网络样本xRyR

……神经网络建立模型选择什么样的网络结构选择多少层数，每层选择多少神经元损失函数选择常用损失函数，平方误差，交叉熵….参数学习梯度下降反向传播算法使用步骤参数学习

枚举所有可能的取值例如：语音识别模型有8层，每层1000神经元参数个数巨大L+1层……L层……106权重参数1000神经元1000神经元

参数学习梯度下降法总损失神经网络参数w初始值下的总损失总损失值最小总损失变小通过调节参数w，逐步逼近总损失最小值参数学习初始值w选择一个初始值w，Random,RBMpre-train

梯度为正梯度为负减小w增加w

梯度下降法选择一个初始值w，Random,RBMpre-train

η

是“学习率”迭代参数学习

梯度下降法总损失神经网络参数w在平坦区变化非常缓慢

停在鞍点

参数学习全局最优值停在局部最优值梯度下降法初始值影响选取不同的初始值，可能到达不同的局部最小值参数学习ABCDACBD例如：使用步骤建立模型选择什么样的网络结构选择多少层数，每层选择多少神经元损失函数选择常用损失函数，平方误差，交叉熵….参数学习梯度下降反向传播算法BP(Back

Propagation)神经网络1986年，由McClelland和Rumelhart为首的科学家小组提出，解决了多层神经网络的学习问题，极大促进了神经网络的发展。BP神经网络也是整个人工神经网络体系中的精华，广泛应用于分类识别、逼近、回归、压缩等领域。在实际应用中，大约80%的神经网络模型都采取了BP网络或BP网络的变化形式。……………………………………y1y2ymx1x2xn…………反向传播算法输入：x

总误差L

隐藏层参数学习InputLayer1Layer2Output反向传播的基本思想就是通过计算输出层与期望值之间的误差来调整网络参数，从而使得误差变小。信号正向传播

…

参数学习

…

参数学习

信号正向传播

…

参数学习

信号正向传播

…

参数学习

信号正向传播

…

参数学习

信号正向传播

…

参数学习

信号正向传播

…

参数学习