信息技术课件人工智能冰雪聪明看懂视频

人工智能基础（高中版）汇报人：第五章冰雪聪明：看懂视频日期：05月09日01化静为动：从图像到视频P8802明察秋毫：视频行为识别P9003基于深度学习的视频行为识别P9804本章小结P103目录CONTENTS理解视频和图片的区别和联系学习目标视频本质上就是连续播放的图片；人眼的视觉暂留机制；认识对视频的时间结构进行建模的重要性视频行为识别的重要特征是运动；运动的刻画：光流；光流直方图。掌握如何对视频的时空特征进行有效的特征提取与表示基于单帧的识别方法；双流卷积神经网络；长视频的处理：时序分段网络。单元学习目标计算机中视频是按照时间顺序排列起来的图像。在播放时，只需要按照一定的速度依次将图像显示出来，就能呈现出运动的视频画面。视频视觉暂留是人眼的一种机制；光照射到视网膜后，可以保留一段时间，让人产生画面延续的印象。视觉暂留小实验：紧紧盯着图片中的竖排四点，10s之后再将自己的眼睛转移到边缘白色的部分，并不断眨眼睛。经历了一整个“图像从清晰到消散”的过程！这就是视觉图像在暂留记忆之后逐渐模糊的过程，0.4s之后就忘记上一张，但是你这时候已经对白色部分的成像进行了摄取，然后再过0.4s忘记，如此反复，直到全部消散。视频的表示函数I（x,y,t）相比于图片的维度，视频多了一个维度-时间维。可以用一个函数I（x,y,t）来表示一个视频的信息，t表示某一个视频帧对应的时刻，x，y表示是该视频中某个像素对应的位置（二维坐标）。这样的表示方法视频和图片紧密的联系起来。。视频行为识别的挑战1.行为的类内差异大类内差异，是指同一类别的行为之间存在着较大的差异。比如，不同人做出的“刮胡子”行为不尽相同。2.行为定义的不明确行为定义的不明确导致视频缺乏代表性。比如，集中吃饭的视频，其中也会混杂着喂饭的行为，这导致计算机的理解存在偏差。3.环境背景等差异大比如，同样的看电视行为，有着巨大差异。运动是判断行为类别的重要特征，特征的选择会对分类的准确率产生很大的影响。行为识别的重要特征：运动运动是判断行为类别的重要特征,计算机是通过光流来描述运动的情况。因为在计算机的“眼中”，任何三维的物体都被转化为二维，而光流描述的就是三维中的运动点投影到二维图像之后相应的投影点的运动，就好比我们在太阳下奔跑，而光流就是我们影子的运动轨迹。运动的刻画：光流以量化形式来表示，光流就是同一个点在相邻两帧之间的位移，所以只要我们找到相邻两帧间对应的点，就能够计算出相应的光流。这里关于相邻的两帧图像，我们有两个假设：（1）相邻两帧间物体的运动幅度比较小；（2）相邻两帧图像的颜色基本不变。所以，我们只需要在相邻两帧间对应的位置周围寻找颜色一致的像素点，计算两点间的位移即是光流。光流在每个像素有两个分量，分别代表水平和垂直方向的位移。运动的刻画：光流光流在每个像素有两个分量，分别代表水平和垂直方向的位移。运动的刻画：光流基于光流，提出“光流直方图”的概念，光流直方图就是对整个视频中的光流信息进行统计，以表示视频中物体的运动信息，但这种特征在描述物体的运动细节上有较大局限性。光流直方图

光流直方图

基于深度学习的视频行为识别基于单帧的识别方法视频各个帧之间差异不显著，一张图就可以代表图片的大部分信息。获取的是视频的静态信息。在运动性比较强的情形下，识别行为需要结合一连串的动作。只用单帧的图像就很难做出区分，这会导致分类的准确率下降很多。双流卷积神经网络视频信息分为静态和动态两种，静态信息指图像中物体的外观，这可以通过静态帧获得。动态信息是指视频序列中物体的运动信息，包含观察者和物体的运动，可以通过光流灰度图来获得。双流卷积神经网络就是利用这两个不同的网络来实现同时处理静态和动态信息。时序分段网络（长视频的处理）稀疏时间采样策略，就是对于长度不同的数据，根据时间的先后分成固定数量的段落。时序分段网络解决长视频的关键在于把视频沿时间轴分段，使得采样样本能够较为均匀的分布于整个时间段。双流卷积神经网络就是利用这两个不同的网络来实现同时处理静态和动态信息。我们把随机抽取的单个彩色图像帧作为输入的网络称为空间流卷积神经网络；把多帧的光流图像作为输入的网络称为时间流卷积神经网络。把视频中水平位移取出来，再把它们的值缩放到0-255之间，就得到一张灰度图像，叫做水平方向上的光流灰度图，同理可以得到垂直方向的光流灰度图。水平和垂直光流的灰度图，可以作为卷积神经网络的输入，提取视频中的运动特征。双流卷积神经网络