《AI硬件与Pyhthon编程实践》02视频捕捉与处理Python编程写字字帖

视频捕捉与处理

Python编程2023/1/30人工智能开源硬件与python编程实践情境导入火车站“刷脸”进站模式采用了人脸识别技术。检票闸机上都安装了摄像头，旅客走近机器时，摄像头实时采集含有人脸的视频流，并自动在图像帧中检测和跟踪人脸，进而对检测到的人脸进行特征识别，与身份证芯片里的照片进行比对。票证信息相符以及人脸与证件照比对通过，闸机就会自动放行。任务与目标了解视频与图像的基本原理、相关技术和应用框架；掌握运用人工智能开源硬件进行摄像头工作控制的方法，掌握Python语言的编程方法；应用人工智能开源硬件和Python相关算法模块设计视频采集与捕捉功能；针对生活应用场景，进一步开展创意设计，设计具有实用价值的视频采集与捕捉应用系统。2023/1/30知识拓展：数字图像基础知识分辨率图像存储格式灰度图像色温白平衡2023/1/30知识拓展：视频图像的采集视频由一组连续变化的图像组成，其中的每幅图像就是视频帧。当连续的图像帧以每秒超过20帧以上速率变化时，根据视觉暂留原理，形成平滑连续的视觉效果；数字摄像头可以直接捕捉图像，通过串口或者USB接口传到计算机里。。2023/1/30知识拓展：分辨率摄像头的分辨率是指摄像头解析图象的能力，也即摄像头的影像传感器的像素数。最高分辨率就是指摄像头能最高分辨图像的能力，即摄像头的最高像素数。30万像素CMOS摄像头的最高分辨率一般是分辨率为640×480。分辨率的两个参数表示的是图片在长和宽上所占的像素的数目。2023/1/30set_framesize(sensor.QVGA) #设置图像的分辨率；知识拓展：图像存储格式彩色图像由RGB三个分量组成。Bitmap图像格式由三个颜色通道组成，每个通道用8位数据来表示，各有256个可能的值。所以，Bitmap图像又称为24位真彩色图像，也被称为RGB888格式。RGB565彩色模式，一个像素占两个字节，即16位。第一个字节的前5位用来表示R(Red)，第一个字节的后三位连同第二个字节的前三位用来表示G(Green)，第二个字节的后5位用来表示B(Blue)。一个像素的16位颜色信息中，高5位为R分量，中间6位为G分量，低5位为B分量。2023/1/30set_pixformat(sensor.RGB565)#设置为565彩色；知识拓展：灰度图像灰度图像是每个像素只有一个采样颜色的图像，通常显示为从最暗黑色到最亮的白色的灰度。黑白图像只有黑白两种颜色，灰度图像在黑色与白色之间还有许多级的颜色深度。图像灰度级指图像中的色度分量亮度的最大值与最小值之差的级别。一般使用8位数据来表示灰度，这样灰度共有256级。RGB图像转灰度图像，使用不同的经验公式，会得到不同的灰度图像。2023/1/30gray=0.2989*r+0.5870*g+0.1140*b彩色转灰度图像编程实现def

rgb2gray(rgb):

r,

g,

b

=

rgb[:,

:,

0],

rgb[:,

:,

1],

rgb[:,

:,

2]

gray

=

0.2989

*

r

+

0.5870

*

g

+

0.1140

*

b

return

gray2023/1/30知识拓展：色温色温是表示光线中包含颜色成分的一个计量单位。色温是指绝对黑体从绝对零度(-273℃)开始加温后所呈现的颜色。黑体在受热后，逐渐南黑变红，转黄，发白，最后发出蓝色光。当加热到一定的温度，黑体发出的光所含的光谱成分，就称为这一温度下的色温。色温越高，光色越偏蓝，色温越低则偏红。某一种色光比其它色光的色温高时，说明该色光比其它色光偏蓝，反之则偏红。同样，当一种色光比其它色光偏蓝时说明该色光的色温偏高，反之偏低。2023/1/30知识拓展：白平衡白平衡的概念是“不管在任何光源下，都能将白色物体还原为白色”，对在特定光源下拍摄时出现的偏色现象，通过加强对应的补色来进行补偿。摄像机的白平衡设定用来校准色温的偏差。白平衡调节是通过对白色被摄物的颜色还原，进而达到其他物体色彩准确还原。2023/1/30sensor.set_auto_whitebal()#自动白平衡开启或者关闭设计与实践Python程序基本结构OV7725摄像头编程基础摄像头参数设置及控制视频捕捉Python编程调试、验证及完善2023/1/30Python程序基本结构顺序条件循环2023/1/30以While循环结构为例，体会Python的缩进规则；以if、for等条件结构为例，体会Python的缩进规则；如果不遵守缩进规则，会是什么结果？OV7725摄像头编程基础分辨率（VGA、QVGA、QQVGA）；图像存储格式（RGB565等）；帧率；增益；白平衡；畸变矫正2023/1/30摄像头参数设置及控制importsensor #引入摄像头控制模块#设置摄像头工作参数sensor.reset() #初始化摄像头；sensor.set_pixformat(sensor.RGB565) #设置为彩色，每个像素16bit；sensor.set_framesize(sensor.QVGA) #设置图像分辨率大小；sensor.skip_frames()#更改设置后，跳过若干帧，等待感光元件稳定；#sensor.set_pixformat() #设置像素模式；#sensor.GRAYSCALE #灰度，每个像素8bit。#自动增益／白平衡sensor.set_auto_gain() #自动增益开启或者关闭。sensor.set_auto_whitebal() #自动白平衡开启或者关闭。2023/1/30视频捕捉Python编程案例sensor.reset() #初始化摄像头；#持续拍照while(True):img=sensor.snapshot() #拍摄一张照片，其中img为一个image对象实例；#跳过一些帧sensor.skip_frames(n=10) #在更改设置后，跳过若干帧，等待感光元件的稳定；#获取一张图像sensor.snapshot()#拍摄一张照片，返回一个image对象。2023/1/30功能拓展通过摄像头捕捉到视频图像；按下板上按键，保存图像帧到板上Flash存储中；模拟实现相机功能。2023/1/30完整案例：importsensor,image,timefromopenaieimport*sensor.reset()sensor.set_pixformat(sensor.RGB565)sensor.set_framesize(sensor.QVGA)sensor.skip_frames(time=2000)clock=time.clock()while(True):clock.tick()img=sensor.snapshot()ifbutton.is_pressed():#检测到按键按下time.sleep(10)#延时消抖ifbutton.is_pressed():img.save(“example.jpg”)#保存图片，重置AIE控制板进行查看2023/1/30保存成外部文件的图像帧分析与思考为什么在嵌入式视觉应用中，常用QQVGA、QVGA等低分辨率以及RGB565等图像格式，而不使用高分辨率及Bitmap等图像格式？在视频采集过程中，为什么要使用sen