研发中心任职资格评审申报-vr视频播放之gstreamer实现

1、VR视频播放之gstreamer实现 段刚 2017.1.17YUV YUV是被欧洲电视系统所采用的一种颜色编码方法（属于PAL），是PAL和SECAM模拟彩色电视制式采用的颜色空间。在现代彩色电视系统中，通常采用三管彩色摄影机或彩色CCD摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号BY（即U）、RY（即V），最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。 YUV主要用于优化彩色视频信号

2、的传输，使其向后相容老式黑白电视。与RGB视频信号传输相比，它最大的优点在于只需占用极少的频宽（RGB要求三个独立的视频信号同时传输）。其中“Y”表示明亮度（Luminance或Luma），也就是灰阶值；而“U”和“V” 表示的则是色度（Chrominance或Chroma），作用是描述影像色彩及饱和度，用于指定像素的颜色。“亮度”是透过RGB输入信号来建立的，方法是将RGB信号的特定部分叠加到一起。“色度”则定义了颜色的两个方面色调与饱和度，分别用Cr和Cb来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的

3、差异。RGB RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。目前的显示器大都是采用了RGB颜色标准， 在显示器上，是通过电子枪打在屏幕的红、绿、蓝三色发光极上来产生色彩的，目前的电脑一般都能显示32位颜色，有一千万种以上的颜色。 电脑屏幕上的所有颜色，都由这红色绿色蓝色三种色光按照不同的比例混合而成的。一组红色绿色蓝色就是一个最小的显示单位。屏幕上的任何一个颜色都可以由一组RGB值来记录和

4、表达。 因此这红色绿色蓝色又称为三原色光，用英文表示就是R(red)、G(green)、B(blue)。 在电脑中，RGB的所谓“多少”就是指亮度，并使用整数来表示。通常情况下，RGB各有256级亮度，用数字表示为从0、1、2.直到255。注意虽然数字最高是255，但0也是数值之一，因此共256级。如同2000年到2010年共是11年一样。 按照计算，256级的RGB色彩总共能组合出约1678万种色彩，即256256256=16777216。通常也被简称为1600万色或千万色。也称为24位色(2的24次方)。YUV和RGB转换Y= 0.299*R + 0.587*G + 0.114*BU= -

5、0.147*R - 0.289*G + 0.436*B = 0.492*(B- Y)V= 0.615*R - 0.515*G - 0.100*B = 0.877*(R- Y)R = Y + 1.13983*VG = Y - 0.39465*U - 0.58060*VB = Y + 2.03211* U 1, 1, 1, R,G,B = 0, -0.39465, 2.03211, * Y, U, V 1.13983, -0.58060, 0 OpenGL ES变换 在OpenGL ES如果想对模型进行操作，就要对这个模型的状态(当前的矩阵)乘上这个操作对应的一个矩阵。 如果乘以变换矩阵(平移,

6、缩放, 旋转), 那相乘之后, 模型的位置被变换; 如果乘以投影矩阵(将3D物体投影到2D平面), 相乘后, 模型的投影方式被设置; 如果乘以纹理矩阵(), 模型的纹理方式被设置。 mat4 u_mvpMatrix; /4x4矩阵 u_mvpMatrix * a_position； u_mvpMartix初始化为单位矩阵。 1、透视 绘画理论术语。“透视”（perspective）一词原于拉丁文“perspclre”（看透），指在平面或曲面上描绘物体的空间关系的方法或技术。 最初研究透视是采取通过一块透明的平面去看景物的方法。将所见景物准确描画在这块平面上，即成该景物的透视图。后遂将在平面上根

7、据一定原理，用线条来显示物体的空间位置、轮廓和投影的科学称为透视学。 在画者和被画物体之间假想一面玻璃，固定住眼睛的位置（用一只眼睛看），连接物体的关键点与眼睛形成视线，再相交于假想的玻璃，在玻璃上呈现的各个点的位置就是要画的三维物体在二维平面上的点的位置。这是西方古典绘画透视学的应用方法。 狭义透视学特指14世纪逐步确立的描绘物体，再现空间的线性透视和其他科学透视的方法。现代则由于对人的视知觉的研究，拓展了透视学的范畴、内容。广义透视学可指各种空间表现的方法。1、透视 创建一个透视型的视景体。其操作是创建一个透视投影的矩阵，并且用这个矩阵乘以当前矩阵。这个函数的参数只定义近裁剪平面的左下角点

8、和右上角点的三维空间坐标，即（left，bottom，-near）和（right，top，-near）;最后一个参数far是远裁剪平面的离视点的距离值，其左下角点和右上角点空间坐标由函数根据透视投影原理自动生成。near和far表示离视点的远近，它们总为正值(near/far 必须0)。void _glv_Frustum ( ESMatrix *result, float left, float right, float bottom, float top, float nearZ, float farZ ); 创建一个对称的透视型视景体，但它的参数定义于前面的不同，如图。其操作是创建一个对称

9、的透视投影矩阵，并且用这个矩阵乘以当前矩阵。参数fovy定义视野在Y-Z平面的角度，范围是0.0, 180.0；参数aspect是投影平面宽度与高度的比率；参数Near和Far分别是近远裁剪面到视点(沿Z负轴)的距离，它们总为正值。以上两个函数缺省时，视点都在原点，视线沿Z轴指向负方向。void _glv_Perspective ( ESMatrix *result, float fovy, float aspect, float nearZ, float farZ );2、移动 当移动的时候，并不是相对屏幕中心移动，而是相对与当前所在的屏幕位置。其作用就是将你绘点坐标的原点在当前原点的基础上平移一个(x,y,z)向量。 比如球体向（0，0,-5）负Z轴移动，就如图。void _glv_Translate ( ESMatrix *result, GLfloat tx, GLfloat ty, GLfloat tz );3、旋转void _glv_Rotate ( ESMatrix *result, GLfloat angle, GLfloat x, GLfloat y, GLfloat z )绕着（x, y, z