360度全景视频采集机器人设计报告解析

1、序号：_编码：_第八届挑战杯全区大学生课外学术科技作品竞赛作品申报书作品名称： 360360 度全景视频采集机器人学校全称：_内蒙古科技大学_申报者姓名（集体名称）：_类别：自然科学类学术论文哲学社会科学类社会调查报告和学术论文 科技发明制作 A A 类科技发明制作 B B 类A1 申报者情况（个人项目）姓名性别男出生年月申报者情况学校全称内蒙古科技大学专业自动化现学历本科年三级10 级学制 4 4 年入学时间2010.08作品全称360 度全景视频采集机器人毕业论文题目通讯地址内蒙古自治区包头市阿尔 丁大街 7 号邮政编码（)14010手机号码合作者情况姓名性别年龄学历手机号码资格认疋学校学

2、籍管理部门意见是否为2012011 1年7 7月1 1日前正式注册在校的全日制非成人 教育、非在职的各类高等院校学生（含专科生、本科生和研 究生）。是 否若是，其学号为：10671063021067106302（签章）年 月日院系负责人或导师意见本作品是否为课外学术科技或社会实践活动成果 是 否 负责人签名：年 月日B3 申报作品情况（科技发明制作）作品全称360 度全景视频采集机器人作品分类（B B） A A .机械与控制（包括机械、仪器仪表、自动化控 制、工程、交通、建筑等）B B .信息技术（包括计算机、电信、通讯、电子等） C C .数理（包括数学、物理、地球与空间科学等）D D .生

3、命科学（包括生物、农学、药学、医学、健 康、卫生、食品等）E E .能源化工（包括能源、材料、石油、化学、化 工、生态、环保等）作品设计、 发明 的目的和基本思 路、创新点、 技 术关键和主要技 术指标作品设计及发明的目的：现在是一个智能化的时代，各种智能化设备正在逐步替代 人为的操作。随着汽车工业的迅速发展，关于智能汽车的研究 也就越来越受人关注。对于智能汽车的研究，国内外都有很大 的成就，谷歌的无人驾驶汽车，已经能够在高速公路上安全行 驶数千公里，在咼速行驶下都能有这么好的操控能力，无非是 智能汽车领域的一座里程碑。本机器人基于智能小车，主要实现机器人的行走，无线数 据传输、遥控，现场环境

4、参数监测，及 360360 度全景图的生成， 以便后期相关工作的进行，如救援、360360 度全景观光及全景行车、 全景监控等。基本思路：本系统的硬件主要有无线路由器、无线网卡、无线透传模块、TQ2440TQ2440 嵌入式开发板、STC15F2K61SSTC15F2K61S 开发板、中星微 ZC30ZC30 系列 USBUSB 摄像头、舵机、直流电机、L293L293 电机驱动模块、煤气传感器、火焰传感器、稳压模块、7.4V7.4V 锂电池、PCPC 机。本设计通过无线路由器组建了一个无线局域网，用于连接 移动视频搜救机器人与 PCPC 机服务器，而 PCPC 机客户端则通过无 线局域网与

5、PCPC 机服务器进行连接。PCPC 机服务器通过无线透传模 块与 STC15F2K61SSTC15F2K61S 开发板进行通信，与 TQ2440TQ2440 嵌入式开发板 无线网络进行视频流传输。移动视频机器人的外设则通过 STC15F2K61SSTC15F2K61S 芯片的相应 1010 口进行连接与控制。系统整体结构图如下:1 1 1 11PC 机客户端An droid 手机客户端11 11 1t1以太网|1 11 11PC 机服务器11 1i*1r1r 11F1 11 1无线透传模块11以太网STC15F2K61S2煤气传感器火焰传感器摄像头舵机摄像头 -TQ2440 嵌入式开发板US

6、B嵌入式流媒体服务器创新点:PCPC 机服务器能够将采集到的移动视频机器人周围十二个方向的图片，经过拼接、曝光补偿，做到 360360 度全景扫描，合并 成一幅柱面全景图。技术关键：本设计的亮点、难点及关键点就是解决柱面全景图生成程 序。它是一个后端处理程序，用于将 PCPC 机服务器能够器采集到 的移动视频机器人周围十二个方向的图片，做到360360 度全景扫描，最后合并成一幅柱面全景图。另外本设计通过无线路由器 组建了一个无线局域网，用于连接移动视频机器人与PCPC 机服务器，而 PCPC 机客户端则通过无线局域网与 PCPC 机服务器进行连接。 PCPC 机服务器通过无线透传模块与 ST

7、C15F2K61S2STC15F2K61S2 开发板进行通 信，与 TQ2440TQ2440 嵌入式开发板通过无线进行视频流传输。主要技术指标：技术指标评价视频采集实时性摄像头每秒捕获视频的帧数。柱面全景图生成算法实时性柱面全景图生成算法的生成速 度。柱面全景图生成算法准确性柱面全景图生成算法是否能准确 的生成柱面全景图像。传感器灵敏度包括煤气传感器和火焰传感器的 灵敏度。上位机稳定性包括 PCPC 机服务器、PCPC 机客户端和AnAn droiddroid 手机客户端之间相互通信的稳定性和与移动视频搜救机器人交互的稳定性。上位机获取现场环境参数的速 环境参数反馈实时性度。摄像头云台舵机旋转

8、角度与用户 摄像头旋转的准确性期望值之间的误差。用户操作 PCPC 机客户端和 AnAn droiddroid手机客户端是否灵活、方便、高效。与现有技术相比所具有的突出性技术特点及技术分析:就现有视频米集处理技术来讲，只有极少一部分做到将360360 度不同方位的图像集于一身的能力。本设计采用的是基于平面图像的柱面正投影算法，即在同一视点0 0 处，采用可旋转 360360 度的云台摄像头，将移动视频机器人的 360360 度视野 平均分为1212 份，并依次进行图像采集工作，将采集到的十二 幅平面图像，利用正投影算法做柱面正投影，尔后经过曝光 补偿处理，生成最终的柱面全景图，供 PCPC 机

9、服务器响应客户 端的“生成全景图”指令。在本设计中，摄像头的运动均发生在 x-zx-z 平面内，柱面 图像与平面图像的投影关系如图 1 1 所示。其中，原始图像用 I I 表示，柱面投影图像用 J J 表示，柱面用 K K 表示，摄像头用 0 0 表示。选定图像的左上角坐标，作为图像的原点。先设图像 投影角为 B,B,原始图像宽度为 W W 高度为 H,H,柱面半径为 r r交互体验作品的科学性先进 性（必须说明与现有 技术相比，该作品是 否具有突出的实质 性技术特点和显著 进步。请提供技术性 分析说明和参考文 献资料）e e 2r2r sinsin 则柱面投影图像的高度为 H,H,宽度为 2

10、 2图 1 1 柱面图像与平面图像的投影关系图平面图像与柱面投影之间的水平面坐标几何关系如图所示。图 2 2 平面图像与柱面投影之间的水平面坐标几何关系图平面图像与柱面投影之间的垂直面坐标几何关系如图3 3所示。图 3 3 平面图像与柱面投影之间的垂直面坐标几何关系图设 P(x,y)P(x,y)是图像 I I 上的任意一点，要求出 P P 点在柱面投影图像 J J 上的对应点 Q Q 的坐标(x(x : :y y ，在本设计中，0的值为 3030,则根据图 3 3 可得:W6Xpx = r sin r sin:tan()2r(5-1(5-1 )根据图 3 3 可得:/ H、.H心*y22 k(

11、5-2(5-2)其中:Wr二 -t tan()2r2( x)2(5-3(5-3)柱面全景图生成程序流程:柱面全景图生成程序首先会检测程序所在目录下是否包 含十二幅用于处理的平面图片，若不存在，则直接返回非 C C 值，报告程序执行失败；否则调用图像拼接模块和曝光处理 模块，将这十二幅平面图像拼接成最终的柱面全景图，尔后 保存到程序目录下，若保存程序返回 0 0值，报告程序执行成 功；否则，返回非 0 0 值，报告程序执行失败。其流程图如图 4 4 所示。B B(3)(3)判断 k k 与 k1k1 和 k2k2 的关系，当 kk1kk1 时，对左侧图 像的每个像素点 V V 通道减去 k-k1

12、k-k1 的值；否则，对其 每个像素点 V V 通道加上 k-k1k-k1 的值。右侧图像处理与 左侧类似，只需将需要加/ /减的数值替换为 k-k2k-k2 即可;(4)(4)将处理后的曝光区域从 HSVHSV 色彩模型变换到 RGBRGB 色彩模型，并写入到原始的处理图像中，即完成快速 曝光补偿算法。PCPC 机客户端程序设计PCPC 机客户端负责为用户提供与移动视频机器人交互的 接口，其提供了控制移动视频机器人行动、摄像头旋转、现 场环境参数监测、现场实时视频和生成柱面全景图等功能。PCPC 机客户端模型设计PCPC 机客户端通过 TCPTCP 协议与 PCPC 机服务器建立连接，并 在

13、程序退出前始终保持连接。其工作模式为事件驱动，即只 有当主动用户发出请求时，PCPC 机客户端才向 PCPC 机服务器发 送相应请求，并等待处理结果，尔后将结果展现给用户(注: 现场环境参数信息的获取和实时视频的获取是通过定时器主 动获取，其不依赖于事件驱动)。参考文献：11朱飞，杨平.AVR.AVR 单片机 C C 语言入门与典型实例M.M.北京: 人民邮电出版社，2009.2009.22 郑灵翔等. .嵌入式系统设计与应用开发M.M.北京：北京航 空航大大学出版社，2006.2006.33 王晓明.电动机的单片机控制M.M.北京： 北京航空航天大 学出版社，2002.2002.44刘海成.

14、AVR.AVR 单片机原理及测控工程应用M.M.北京：北京 航空航天大学出版社，2008.2008.55刘乐善. .微型计算机接口技术及应用M.M.武汉：华中科技 大学出版社，20042004, 146-151.146-151. 胡汉才. .高档 AVRAVR 单片机原理及应用M.M.北京：清华大学出版社，2008.2008.77康华光. .电子技术基础（数字部分）M.M.北京：高等教育出版社，2003.2003.88李晓峰.AVR.AVR 单片机原理与应用M.M.北京：北京理工大学出版社，2010.2010.99彭同明. .单片机原理及应用M.M.北京：中国电力出版社 2005.2005.1

15、010马潮等.AVR.AVR 高速嵌入式单片机原理与应用（修订 版）M.M.北京：北京航空航天大学出版社，2003.9.2003.9.作品在何时、 何地、何种机构举行的评 审、鉴定、评比、展 示等活动中获奖及 鉴定结果作品所处 阶段（A A） A A 实验室阶段 B B 中试阶段 C C 生产阶段 D D（自填）技术转让方式作品可展示的形式实物、产品模型 图纸 磁盘现场演示 图片 录像 样品使用说明及该作品 的技术特点和优势， 提供该作品适用范 围及推广前景的技 术性说明及市场分 析和经济效益预测技术特点和优势：采用可旋转 360360 度的云台摄像头，将移动视频机器人的 360360 度视野

16、平均分为 1212 份，并依次进行图像采集工作，将采 集到的十一幅平面图像，通过软件处理合成一幅柱面全景图。 另外结合了无线透传，不需要工作人员在操作现场既可以完 成相应工作任务。既是一种高水准的巡检又是一种极其方便 有效的新工作途径。适应范围及推广前景的技术性说明：本设计能够利用机器人米集实验室、仓库、军事场地、 旅游景区等的 360360 度全景图。到目前为止，人类已经有能力 探索那些人迹罕至的地域，也开始对外太空的未知星体进行了一系列的探索。而在军事领域，越来越多的高端科技开始 应用在现代战争中，其可以取代作战人员在复杂恶劣的环境 中完成各种侦查和作战任务，减少人员伤亡。在民用、工业、

17、社会公共设施等诸多领域中，例如在危险地段进行施工作业 时，在恶劣的环境下进行科学研究、排除危险品时等众多场 合都需要人们冒着极大的风险采集相关信息以便下 步的进 行；而在智能化家居、家庭服务、电影拍摄等诸多场合中，对工作人员安全性和舒适性的要求也越来越高，这就需要有 一种能够代替人类完成各种类型任务的智能化机器人。360360度全景视频米集机器人是智能行走机器人的中一种，为人类 突破各种局限创造了条件。视频采集机器人冃匕够适应各种恶 劣的环境，不受温湿度、重力、磁场辐射和空间等条件的影 响，完成人类无法完成的探测任务，无论是在人类无法进入 还是无法生存的环境中。从机器人诞生至今，原先仅应用在

18、航空军事项目中的智能机器人也开始逐渐进入到人们的日常 生活之中。随着国内外对机器人的研究不断的深入，各式各样的具 有感知、决策、行动和交互能力等的各种机器人都已经被开 发出来，如移动机器人、水下机器人、微型机器人、服务娱 乐机器人、军用机器人等。在工农业生产、宇宙探测、海洋 开发、军事、社会服务、娱乐等各个领域，智能机器人都有 着广阔的发展空间与应用前景。提出专利申报申报号申报日期年月日专利申报情况已获专利权批准批准号 批准日期年月日未提出专利申请科研管理部门签章（签章）年月日C 当前国内外同类课题研究水平概述360360 度全景（VirtualVirtual RealityReality ,

19、VR ,就是通过技术或设备模拟出一个可交互 的、虚幻的三维空间场景。自从 360360 度全景之父 Sutherland1965Sutherland1965 年在一篇名为终极的显示的论文中首次提出虚拟现实系统的基本思想以来，已经过去了将 近 4040 年了，而直至四、五年以前，虚拟现实的应用还仅限于一些高端行业，随着 数字图像技术的发展，以 36360 0度全景逐步普及为突破口， “基于图像”的虚拟现实 技术逐渐脱颖而出。360360 度全景以其真实感强、深沉 360360 度全景方便快捷的特点受 到日益广泛的关注。全景技术是 20132013 全球范围内迅速发展并逐步流行的一种视觉新技术。它

20、给人们带来全新的真实现场感和交互式的感受。它可广泛应用于三维电子商务，如在 线的房地产楼盘展示、虚拟旅游、虚拟教育等领域。我们采用鱼眼镜头拍摄的照 片视角可达到 180180 度，在 1 1 米的距离以上，景深可达无限远；可使被摄体在画面 中显示出非常鲜明的纵深效果，再利用软件专业合成处理，发布为3D3D 全景文件，所显示场景即为真实场景，与传统的虚拟现实相比更具真实感，更为经济；控制面 板工具条, ,使普通用户操作更为简便。三维全景图像源自对真实场景的摄影捕捉， 真实感强烈。我们运用专业的拍摄器材和专业的摄影技术，可以把现场给人的整 体印象和每个环境的细节全面的记录下来。所以，制作出的三维全

21、景才会非常的 生动和真实。当前，以网络/ /互联网为基础的虚拟现实技术，可划分为这两个个范畴，一个 是以图像为基础的 360360 度全景技术，一个是以三维多边形技术为基础的 VRMLVRML 三维 技术。随着计算机技术的飞速发展，多媒体所包含的种类也越来越多，所能表现的效果也越来越多，而一些比较传统的表现方式也越来越无法满足大部分客户对于 展示方式的要求。在传统的表现方式中，展示的手段无非是静态的平面图片和动态的视频，也有进行三维全景进行展示的。静态图片只能提供场景的某一角度图 像，即使是广角镜头，也不能有效全面的对场景进行表现；而动态视频虽然可以 让用户对场景有全面的了解，可图像视角依然有

22、限，观看方式取决于拍摄者的拍 摄方式，并不自由。三维建模的方式可以解决静态图片和动态视频都存在的问题， 但是代价很高，真实性也并不总是令人满意。所以，在我们需要真实、全面、直观的表现某一场景时，360360 全景无疑是最好的选择。360360 度全景是通过对专业相机捕捉整个场景的图像信息，使用软件进行图片拼合，并用专门的播放器进行播放，即将平面照及计算机图变为360360 度全景景观(papa naramicnaramic)。把二维的平面图模拟成真实的三维空间，呈现给观赏者。并给 观赏者提供各种操纵图像的功能，可以放大缩小，各个方向移动观看场景，以达 到模拟和再现场景的真实环境的效果。3603

23、60 度全景和以往的建模、图片等表现形式 相比，其优势主要体以下几方面：(1)(1)真实感强，基于对真实图片的制作生成，相比其他建模生成对象更真实 可信。(2)(2)比平面图片能比能表达更多的图像信息，并可以任意控制，交互性能好。(3)(3)经过对图像的透视处理模拟真实三维实景，沉浸感强烈，给观赏者带来 身临其境的感觉。(4)(4)生成方便，制作周期短，制作成本低。(5)(5)文件小，传输方便，适合网络使用，发布格式多样，适合各种形式的应用。360360 度全景是一种基于静态图像在微机平台上能够实现虚拟现实技术。让人们能在电脑上进行 360360 度全景观察，而且通过交互操作，可以实现自由浏览

24、，从而 体验三维的 V VR R视觉世界。360360 度全景是由两大组成：全景摄影与虚拟全景全景摄影是指把相机环 360360 度的一组照片通过无缝处理，所拼接成的一张全景图像， 而全景图像是指大于双眼正常有效视角（大约水平9090 度，垂直 7070 度）或双眼余光视角（大约水平 180180 度，垂直 9090 度），乃至 360360 度完整场景范围的照片。再运 用一定的网络技术将真实的场景还原全在互联网上显示， 并具有较强的互动性，使您能用鼠标控制环视的方向，可左可右，可上可下，可近可远，可大可小，使 您有身临其境的感觉，称之为虚拟全景。随着 360360 度全景市场的快速成长，36

25、0360 度全景技术提供商不断涌现。凭借 360360 度全景日益扩大的市场需求和应用，通过深入研究虚拟现实可视化等技术，帮助 人们在计算机和网络这个虚拟世界中更好地重建现实，体验现实和改造现实，全 景对场景的再现更加全面，使人产生身临其境的感觉，因此常常用作展示之用途。比如，您可以用全景来展示房产、观光景点、汽车、酒店、校园、文化和体育场 馆、公司办公环境等。360360 全景就是视角超过人的正常视角的图像，而我们这里说的全景特指水平视角 360360 度，垂直视角 180180 度的图像。全景实际上只是一种对周围景象以某种几何关系 进行映射生成的平面图片，只有通过全景播放器的矫正处理才能成为三维全景。360360 全景顾名思义就是给人以三维立体感觉的实景360360 度全方位图像，此图像最大的三个特点是：1 1、全：全方位，全面的展示了 360360 度球型范围内的所有景致；可在例子中用 鼠标左键按住拖动，观看场景的各个方向;2 2、景：实景，真实的场景，三维全景大多是在照片基础之上拼合得到的图像， 最大限度的保留了场景的真实性；3 3、360360: 360360 度环视的效果，虽然照片都是平面的，但是通过软件处理之后得 到的 360360 全景，却能给人以三维立体的空间感觉，使观者犹如身在其中。