计算机科学与技术-基于嵌入式开发技术的人机互动系统的设计与实现

基于嵌入式开发技术的人机互动系统的设计与实现摘要：随着时代的进步和科学的发展，人们对电子产品的使用，日渐增多。电子产品逐渐成为人们生活中不可或缺的一部分，对人们的生活产生了深远的影响。电子产品从晶体管到半导体，从小规模集成电路到大规模集成电路再到超大规模集成电路。电子产品的功能愈来愈强大，人们能利用其做许多事情。人们在使用电子产品的过程中，人机交互的方式发展至今也发生了许许多多的变化。从简单的按键，显示器显示信息，鼠标。到现在的脸部识别，指纹识别等。如手机的发展，从简单按键手机，再到智能机触摸屏的广泛应用。新的既方便又快速的交互方式正取代旧的交互方式。如今，发展最成熟，最常用的交互方式是手机上的触摸屏使用，电脑上的鼠标，键盘的使用。这些交互方式控制这设备上的大大小小的应用。然而，有些应用可以使用更好的人机交互方式来操控。本人结合这个实际情况，开发了一个基于c语音，嵌入式开发技术的人机交互系统。该系统实现多方面的人机交互方式，一个常用的触摸屏使用交互方式，一个语音控制的交互方法，一个手势识别的交互方法。利用这些交互方法来操控一些应用。该系统可以提高人们对某些应用的使用效率，也能在人们不方便使用单一触摸屏时提供多一个使用交互方式。方便人们操作其电子产品，且操作起来变得有趣。在实现上，人机交互系统是开发在arm芯片的开发板上，开发板装有linux系统，人机交互系统在liunx系统上运行。因为liunx源代码是开源，所以极其方便开发者去开发。关键词：交互方式，多方面，方便，效率

DesignandImplementationofHuman-ComputerInteractionSystemBasedonEmbeddedDevelopmentTechnologyAbstract：Withwiththeprogressofthetimesandthedevelopmentofscience,people'suseofelectronicproductsisincreasingdaybyday.Electronicproductshavegraduallybecomeanindispensablepartofpeople'slives,andhaveaprofoundimpactonpeople'slives.Electronicsrangefromtransistorstosemiconductors,fromsmall-scaleintegratedcircuitstolarge-scaleintegratedcircuitstolarge-scaleintegratedcircuits.Electronicproductsarebecomingmoreandmorepowerfulandpeoplecanusethemtodomanythings.Intheprocessofusingelectronicproducts,manychangeshavetakenplaceinthewayofhuman-computerinteraction.Fromsimplekeystrokes,displayinformation,mouse.Tothepresentfacerecognition,fingerprintidentification,etc.suchasthedevelopmentofmobilephones,fromsimplekeystrokemobilephonestothewideapplicationofsmartmachinetouchscreen.Thenewconvenientandfastinteractionmodeisreplacingtheoldone.Nowadays,themostmaturedevelopment,themostcommonlyusedwayofinteractionistheuseoftouchscreenonmobilephone,theuseofmouseoncomputer,keyboard.Theseinteractionscontrolapplicationslargeandsmallonthisdevice.However,someapplicationscanbemanipulatedusingbetterhuman-computerinteraction.Combinedwiththisactualsituation,ahuman-computerinteractionsystembasedoncvoiceandembeddeddevelopmenttechnologyisdeveloped.Thesystemrealizesmanyaspectsofhuman-computerinteraction,acommonlyusedtouchscreenusinginteractivemode,avoice-controlledinteractivemethod,agesturerecognitioninteractivemethod.Usetheseinteractivemethodstomanipulateapplications.Thesystemcanimprovetheefficiencyofsomeapplications,andcanalsoprovideonemoreinteractivemodewhenpeoplearenotconvenienttouseasingletouchscreen.Itisconvenientforpeopletooperatetheirelectronicproductsanditbecomesinterestingtooperate.Ontheimplementation,thehuman-computerinteractionsystemisdevelopedonthedevelopmentboardofthearmchip,andthedevelopmentboardisequippedwithalinuxsystem,andthehuman-computerinteractionsystemrunsontheliunxsystem.BecauseliunxsourcecodeisKaiyuan,itisextremelyconvenientfordeveloperstodevelop.Keywords:interactive,multi-faceted,convenient,efficient 目录TOC\o"1-3"\h\u7528第1章绪论 第1章绪论1.1系统开发的背景及意义随着我国科学技术的逐渐发展，以及人们生活质量的逐渐提高，单一功能的产品已经不能满足人们的需求了。多功能的智能化的产品已经变成了人们追求的重点，而且人们对于人机交互在产品创意中的应用也越来越重视[]。用手机作为例子，从以前的按键手机，再到后来的依赖触摸屏的智能机。人们与机器交互方式一直在发生变化。多媒体和信息统一化步伐的不断加快，移动终端的人际交互界面已更加体现用户体验度和用户情感因素[]。随着人们生活质量的提高，国家技术的发展。机器已经深入人们的生活中。生活中的机器已经围绕人们的身边。如电饭煲，洗衣机电风扇等普通机器，又如智能手机，电脑，游戏机等智能机器。机器的能帮人类完成的工作是越来越多，越来越好。此时，人机交互的发展就显得尤其重要。人机交互系统是伴着计算机的诞生就发展起来的。在现代和未来的社会里，只要有人利用通信、计算机等信息处理技术，为社会、经济、环境和资源进行活动时，人机交互都是永恒的主题。鉴于它对科技发展的重要性，研究如何实现自然、便利和无所不在的人机交互，成是现代信息技术，人工智能技术研究的至高目标，也是数学、信息科学、智能科学、神经科学，以及生理、心理科学多科学交叉的新结合点，并将引导着二十一世纪前期信息和计算机研究的热门方向。现发现有些手机应用出了能用传统的人机交互方式操作外，如按键操作，触摸屏使用操作，还可以增加其他的人机交互方式，可以大大方便人们的操作，提高操作效率及趣味性。如手势操作，语音操作。本系统设计一些日常应用软件，并提供过个人机交互方式。目的是提高人们使用应用更加方便，更有效率地使用应用以及应用使用起来更加有趣。1.2国内外人机交互发展现状1.2.1国外人机交互发展状况人机交互（Human–ComputerInteraction，简称HCI）是研究机器和用户间交互关系的技术，机器既指计算机的软件和操作系统，也包含日常生活中各种各样的机器[3]。1959年，美国学者B.Shackel基于对机器减轻人类生产疲劳的研究，发表了历史上第一篇关于人机界面的文献。到1960年，LikliderJCR首次提出人机界面学的启蒙观点，即人机紧密共栖（Human-ComputerCloseSymbiosis）概念[4]。1969年，具有里程碑式意义的第一届关于人机界面的国际性大会召开[5]。1961年，研究人机界面的英国的拉夫堡（Loughbocough）大学的HUSAT研究中心和美国施乐（Xerox）公司的PaloAlto研究中心相继成立，为人机交互的发展指明了方向。20世纪80年代，人机界面方面的专著陆续出版，为人机交互的发展提供了理论基础。20世纪90年代，计算机多媒体技术的兴起与发展为人机交互的研究提供了新的方向，人机交互研究的重点开始更多地放在了以人为中心的方面。到了自然用户界面时代，人们倾向更自然的交互方式，如触摸控制，动作控制，自然语言控制等。2010年后，以苹果Siri、谷歌Now、微软Xiaoice等为代表的人工智能语音交互，凭借其省时省力、学习成本更低的优势特征，成为了人机交互领域新的需求方向和研究热点[7]。强大的图像识别技术GoogleLen，在M9召开的谷歌I/O开发者大会上，公司首席执行官SundarPichai宣布了一项名为“谷歌”的新技术，该技术利用计算机视觉和人工智能技术，使sone能够理解并帮助基于这些信息采取行动。谷歌镜头将首先在谷歌助手和照片中发布，并在将来发布到其他网站[8]。如Camboard公司的手势识别技术。随着科技的飞速发展，开始了利用手势识别对物体的操纵。触觉反馈所提供的信息的自然、惬意、沉浸感，是让研究人员坚持不懈地研究其的重要原因[9]。在现代高科技的推动下，手势界面设计显得更为突出。通过系统的手势操作来达到目的，让手势操作成为自然反馈的典型代表。手势操作让人们更便捷地实现所要实现的目的，让生活显得更舒适，可见种反馈可以带给用户几倍的体验[10]。又如Google公司研制的智能机器人。智能机器人除具有视觉、听觉、触觉等低层次仿人智能外，还具备一定的逻辑思维能力，能够感知环境、识别对象、理解命令、进行推理、判断等，满足众多场合的需要，其应用前景非常广阔[11-12]。1.2.2国内人机交互发展状况现国内人机交互也开始有较好的发展。第一是国内发展很好的智能音箱。如天猫精灵、360小贝、百度小度、华为小艺、京东叮咚、荣耀YOYO、腾讯听听9420、喜马拉雅小雅以及小米小爱同学[13]。第二是科大讯飞的语音识别技术。科大讯飞作为国家智能语音高新技术产业化基地,国家规划布局内重点软件企业和国家创新型企业,处于国内语音识别技术前沿[14]。1.3目前人机交互的状况科技产品运用人机交互设计技术的同时，应当不断进行产品创新和技术革新，实现科技产品信息分析、处理的时效性，更好地符合人们的行为习惯[15]。目前，在许许多多的机器中。较为简单的机器如电饭煲，洗衣机，电风扇。它们的基本的人机交互方式是按键操作，高级一点的产品会能使用触摸屏。功能较强的智能设备如手机，平板，智能手表等，则十分依赖触使用摸屏。显然，使用触摸屏已经是十分重要的人机交互方式。对于现在的电子产品来说，只要是触摸屏就会是智能高端的电子产品。可是这样就带来一些问题：（1）交互单一化：过多地依赖触摸屏，使得人们会产生厌倦感。人们可能不再对新产品有新鲜感。（2）有时不方便操作：因为过多功能集中在触摸屏上，导致人们不方便使用触摸屏时，就用不了机器。（3）有时效率不够高：使用触摸屏时有时反而降低了操作软件的效率。有时其他的人机交互方式能更好地提高效率。 为能解决上述问题，改变这种单一的人机交互方式，结合一些学者的丰富经验，结合一些学者的丰富经验，有以下几点值得思考：（1）增加人机交互方式。（2）了解如何最好选择最优的不同的人机交互的方式来操作不同应用的。（3）学习如何优化界面。（4）让一个应用以不同的人机交互方式操作。1.4论文的主要研究内容本论文主要使用了在Linux系统上运行的通过c语音编写的可执行程序，再编写好调用模块的测试程序，然后整合代码，最后通过预设的一些应用来测试人机交互的方式。实现一个操作多样化，操作方便化，操作有趣化的系统。论文的主要研究内容如下：（1）利用Ubuntu的交叉编译器来编写应用程序及模块调用程序。（2）实现语音控制时通过有线网络实现客户端和服务器的传输。达到开发板录制语音，服务器识别语音。（3）实现不同的应用程序可调用最优的人机交互方式来操作。（4）实现简约，好看的人机交互界面。

第2章系统需求分析需求分析就是调查清楚用户在操作不同的应用下，如何能方便快速简单地操作该应用，需求分析包括了以下几个步骤：（1）调查用户常用的应用。包括常用的不同类型的应用，常用的且觉得还能改善的人机交互方法的应用。（2）调查用户在使用应用是经常出现不能用的情况。例如使用触摸屏时手湿，或者目前双手在干其他事不能使用触摸屏。然后做一个记录，思考如何通过其他交互方式解决。（3）调查用户在使用常用的应用时，希望增加的人机交互的方式。包括如何更方便地操作，如何更快速地操作，如何更有趣地操作。2.1系统的需求分析人机交互系统的需求如下：建立一个简约的人机交互界面。可通过界面选择想要测试的应用。预设几个测试的应用。（3）每个界面里至少要有两种人机交互方式。2.2系统的功能需求根据人机交互的系统需求分析，系统主要包括预设应用，人机交互模块，模块调用，网络通讯，以及操作界面。预设应用2048小游戏2048小游戏是一个简单和益智的小游戏。游戏规则：2048游戏棋盘是4*4共有16个格子，初始时初始数字由2或者4构成。手指向一个方向滑动，包括有上滑，下滑，左滑，右滑。所有格子会向那个方向运动。相同数字的两个格子，相撞时数字会相加。每次滑动时，空白处会随机刷新出一个数字的格子。当界面不可运动时，游戏结束；当检测到方块里面有2048数字时，游戏胜利。可调用的人机交互方式有滑屏控制，手势识别控制。音乐播放器这个应用是可以实现播放音乐，暂停音乐，结束音乐，播放上一首音乐，播放下一首音乐的操作。可调用的人机交互方式有滑屏控制，手势识别控制。相册这个应用是可以实现显示图片，显示上一张图片，显示下一张图片的操作。可调用的人机交互方式有滑屏控制，手势识别控制。人机交互模块触摸屏这个模块是最重要的人机交互设备。利用它来显示人机交互界面。用户可以通过触摸屏实现系统的所有功能。手势识别模块手势识别模块是一个可以通过挥动手部来实现操作应用的模块。语音接收模块语音接受模块是可以记录用户说出的语音，从而实现语音控制应用。模块调用模块在调用时需要做以下的准备：触摸屏的调用在触摸屏在被函数调用前，需要在函数打开fb0设备。应为该设备已经系统自带驱动所以可直接调用。手势识别模块调用该模块需要先与引脚焊接好，然后在开发板上的Linux系统安装驱动。安装成功后需要安装打开驱动，然后就可以调用。语音识别模块调用在开发板上安装ALSA库，可实现录音录制解析。再通过网络传输数据到服务器，服务器再返回数据。从而实现语音控制操作。网络通讯网络通讯是为了实现服务器与开发板之间的数据交互。从而实现语音控制功能。服务器与开发板需要在同一个网段中工作。操作界面系用户可通过操作界面来进入应该进行测试。操作界面上会显示2048小游戏，音乐播放，相册和小雪。用户可通过触摸屏或者语音控制来进入各个应用。触摸小雪，即可开始语音操作。2.3数据流图人机交互界面的数据流图人机交互的数据流程是用户通过人机交互操作然后应用的程序，最后显示出应用信息。人机交互界面DFD如图2-1所示：图2-1人机交互界面DFD2048小游戏据流图2048小游戏数据流的过程：第一步是用户通过人机交互操作开始游戏，然后调用小游戏图片，最后通过来显示。2048小游戏DFD如图2-2所示：图2-2人机交互界面DFD音乐播放数据流图音乐播放数据流的过程：第一步是用户通过人机交互操作开始播放音乐，然后调用音乐文件，生产音乐信息，最后播放音乐。音乐播放DFD如图2-3所示：图2-3音乐播放DFD相册数据流图相册数据流的过程：第一步是用户通过人机交互操作开始显示图片，然后调用图片文件，最后显示图片。相册DFD如图2-3所示：图2-4相册DFD2.4数据字典以下给出数据流图的部分数据的定义。《主要页面表》表2-1主要页面表页面ID页面名字1主页面22048小游戏页面3相册页面4音乐页面《主页面功能》表2-2主页面功能表功能ID功能名字注解12048小游戏进入2048小游戏2相册显示图片3音乐播放音乐4小雪进行语言控制《2048小游戏功能》表2-32048小游戏功能表功能ID功能名字注解1开始开始玩游戏2返回返回主页面《听音乐功能》表2-4听音乐功能表功能ID功能名字注解1播放开始播放音乐2上一首播放上一首音乐3下一首播放下一首音乐4暂停暂停音乐5继续继续播放音乐6结束结束音乐7退出返回主页面2.5实体关系图（E-R图） 图2-5人机交互系统E-R图2.6本章小结本章对人机交互系统进行了需求分析，并对这个人机交互系统进行了系统的功能设计。根据人机交互系统的要求对人机交互系统进行了划分，包括预设应用，人机交互模块，模块调用，网络通讯，以及操作界面。另外，本章对2048小游戏，音乐播放，相册应用进行了UML建模，并给出了各种功能的关系用例图。最后，文中给出2048小游戏，音乐播放，相册的数据流图，并作了详细的说明。

第3章系统设计3.1系统设计3.1.1系统总体架构设计随着嵌入式处理器的发展和Internet技术的兴起，当今物联网的技术日趋成熟。现如今已不再是单一的个人电脑为上网主体，而是能有许多嵌入式产品上网互联的时代。本系统分为了两个部分，一个是嵌入式的技术框架，另一个为了实现语音控制功能采用了C/S结构。目前，Linux系统成成为最受关注的系统之一，主要原因是Linux系统是免费，所有的系统代码是开源的。Linux可跨平台，还有丰富的软件支持。如gcc，cc等。所以我选择用Linux系统执行应用，并用Ubuntu来编写代码。系统是由搭载Cortex-A53x芯片开发板来运行Linux系统。在Linux系统上执行应用程序。其系统架构如下图3-1所示：1．应用层层应用层主要是运行测试应用，这些应用是用C语言在Ubuntu编写的。然后经过交叉编译器编译得到可执行程序。有三个应用，分别是2048小游戏，音乐播放和相册。应用实现基本思路说明如下:（1）.2048小游戏：根据网上2048游戏的规则编写代码，再通过数组的实时变化实时调出对于数字的图片。图片用的bmp格式24位的图片。显示图片需要调用触摸屏驱动。（2）.播放音乐：播放音乐前，先创建一个文件存放音乐。在播放音乐时调用音乐播放驱动mplayer。（3）.相册：在显示图片前，需要在一个文件夹里准备一些图片。本应用可显示两种格式的图片。一种是bmp格式24位的图片，一种是jpg格式的图片。对于bmp格式来说，因该格式没有加密，所以先通过换算就可直接调用屏幕驱动来显示。对于jpg格式图片，需要预先安装jpg的库，编译时需要调用库文件。图3-1系统嵌入式架构2.驱动层驱动层需要安装两个驱动，包括音乐播放驱动mplayer和安装手势识别驱动。3.系统层根文件系统是arm-linux-gnueabi-5.4.0的Linux系统。本系统需要在根文件系统上安装必要的库，需要改写配置文件如etc目录下的profile等。需要配置网络设置。内核映像层开发板运行的是arm-linux-gnueabi-5.4.0版本的Linux。硬件层开发板用的是S5P6818开发板搭载的是三星Cortex-A53芯片，1GDDR3内存。本系统还采用C/S结构，用来实现语音控制功能。当执行语音操作时，开发板负责录制语音，通过网络传输到服务器进行解析，再返回数据给开发板。开发板和服务器保持在同一网段。服务器-客户机，即Client-Server(C/S)结构。C/S结构通常采取两层结构。服务器负责处理客户端给的数据，客户机负责完成与用户的交互任务。客户机通过局域网与服务器相连，接受用户的请求，并通过网络向服务器提出请求，对数据库进行操作。服务器接受客户机的请求，将数据提交给客户机，客户机将数据进行计算并将结果呈现给用户。系统架构如下图3-2所示。用户层用户可以录制语音操作的声音。然后再将数据传去服务器。图3-2Client-Server(C/S)结构网络层数据利用OSI七层网络协议传输。包括应用层，表示层，会话层，传输层，网络层，数据链路层，物理层。分析层数据到达服务器后，服务器会分析声音，并把结构返回到开发板。该服务器是科大讯飞的测试版，服务器安装在Ubuntu上。3.1.2系统模块的设计根据需求分析，人机交互系统的实现主要围绕三个应用的人机交互为主，包括2048小游戏，音乐播放，相册。以及如何调用的人机交互方式。2048小游戏用户首先在主界面点击2048小游戏进入游戏，游戏里面有两个提示文字。一个写着“开始”，一个写着“返回”。点击“开始”按钮后，就可以看到游戏开始了，这时候用可通过滑屏玩游戏或者手势操作玩游戏。点击“返回”后，游戏界面会返回主界面。其具体的流程图如下图3-3所示：图3-32048小游戏流程图2.音乐播放用户现在主界面点击“音乐播放”进入音乐界面。音乐播放界面有五个文字提示，分别是“音乐播放”，“播放上一首”，“播放下一首”，“音乐暂停”，“音乐继续”，“音乐结束”，“返回主界面”。按键说明如下：1、进入音乐界面后，把耳机插到开发板，按下“播放”按钮，即可播放音乐2、按下“下一首”，音乐切换到下一首，同理按下“上一首”，音乐切换到上一首3、按下暂停按钮，音乐停止，保留播放进度，按下继续，音乐从上次的播放进度开始播放4、按下结束按钮，音乐结束，不保留上次播放进度5、按下退出按钮，音乐结束，返回主界面除了触点操作外，还支持挥动手部操作切歌。向左挥手实现播放上一首歌的功能，向右挥手实现播放下一首歌的功能。其具体的流程图如下图3-1所示：图3-4音乐播放流程图3.相册用户首先在主页面点击相册进入相册页面，相册会主动播放第一张图片，且没有提示。用户可直接进行滑屏操作。向左滑，显示上一张图片。向右滑，显示下一张图片。向下滑，退出相册并返回主页面。相册还提供手势操作功能。向左挥手，显示上一张图片。向右挥手，显示下一张图片。向下滑，退出相册并返回主页面。其具体的流程图如下图3-1所示：图3-5相册的流程图3.2本章小结本章节主要介绍了实现人机交互系统所需要的嵌入式技术，应用的实现思路，语音操作所需要的C/S结构。并展示了三个应用的基本流程与其流程图。

第4章系统实现根据上一章的系统模块的设计，本章给出了它们的实现。下面分别是它们实现的界面效果。4.1用户使用主页面下图4-1是人机交互界面的主页面。一共有4个文字提示。2048小游戏，相册，听音乐，小雪。点击“2048小游戏”可进入游戏。点击“相册”可显示图片，点击听音乐，可进入音乐播放界面。点击小雪可听过语音操作功能。然可以对着开发板讲“打开游戏”，“打开形成”，“播放音乐”其中一个。既可进入相应的界面。图4-1主界面 4.2用户玩2048游戏的实现如图4-1所示，当点击2048小游戏或者利用小雪进入游戏后即可开始游戏。如下图4-2所示：图4-22048小游戏进入游戏后，点“开始”后，就会游戏开始。如下图4-3所示：图4-32048小游戏开始开始游戏后可在棋盘内滑屏玩游戏，也可以通过挥手移动数字。点击“返回”退出游戏，返回主页面。4.3音乐播放的实现如图4-1所示，当点击听音乐或者利用小雪进入音乐播放后就会进入音乐播放界面。如下图4-4所示：图4-4音乐播放进入音乐播放界面后，可看到8个文字提示。把耳机插到开发板。按下“播放”按钮，即可播放音乐。按下“下一首”，音乐切换到下一首，同理按下“上一首”，音乐切换到上一首。按下暂停按钮，音乐停止，保留播放进度，按下继续，音乐从上次的播放进度开始播放。按下结束按钮，音乐结束，不保留上次播放进度。按下退出按钮，音乐结束，返回主界面。与此同时，也可以通过挥手来切歌。向左挥手实现播放上一首歌的功能，向右挥手实现播放下一首歌的功能。4.4相册的实现如图4-1所示，当点击相册或者利用小雪进入相册后即显示图片。如下图4-2所示：图4-5相册当用户进入相册时,就会显示出第一张图片。用户可直接进行滑屏操作。向左滑，显示上一张图片。向右滑，显示下一张图片。向下滑，退出相册并返回主页面。相册还提供手势操作功能。向左挥手，显示上一张图片。向右挥手，显示下一张图片。向下滑，退出相册并返回主页面。4.6本章小结本章主要介绍了人机交互系统的页面显示及功能的操作。包含了2048小游戏，音乐播放，相册的功能。

第5章系统测试5.1系统测试5.1.1测试的意义系统测试越来越重要，人们对系统的稳定性重视程度也越来越高。不足的系统测试会没能及时地发现一些系统错误。如果系统直接投入使用，会使用户承担风险。系统测试是研发的一个环节，目的是尽可能地发现未知错误，提高系统的可靠性。因此，本文将进行系统测试。5.1.2测试的目的找出系统中的漏洞是系统测试的目的，系统的漏洞可能存在于系统、功能、过程、数据和编码中，我们需要在这些方面上进行测试以找到系统的漏洞并修复。在系统设计和实现过程中检查出来的错误和缺陷需要在系统试运行当中通过系统测试来实现，所以这个阶段是系统开发中必不可少的部分。5.2测试用例及测试结果 因为系统的测试比较多，所有给出了系统的主要功能部分的测试用例及测试结果来说明系统测试的情况。系统测试的主页面用例如下表5-1所示：表5-1测试主页面用例测试用例编号测试用例简称测试目的测试结果1Z1测试能否显示主页面能显示正确的页面2Z2测试能否进入2048小游戏可以正常进入续上表5-13Z3测试能否进入相册可以正常进入4Z4入测试能否进入听音乐可以正常进入5Z5测试能否打开小雪可以正常录音6Z6测试能否利用小雪进入2048小游戏可以正常进入7Z7测试能否利用小雪进入音乐播放可以正常进入8Z8测试能否利用小雪进入相册可以正常进表5-2测试2048小游戏用例测试用例编号测试用例简称测试目的测试结果1G1能否开始游戏可以正常开始游戏2G2能否正常返回主页面可以正常进入3G2能否正常使用手势识别玩游戏可以正常玩游戏表5-3测试主页面用例测试用例编号测试用例简称测试目的测试结果1M1能否正常播放音乐可以正常播放音乐2M2能否正常暂停音乐可以正常暂停音乐3M3能否正常切上一首歌可以正常切上一首歌4M4能否正常切下一首歌可以正常切下一首歌续上表5-35M5能否正常挥手切歌可以正常切歌6M6能否继续播放歌曲可以暂停后继续播放歌曲 7M7能否正常返回主页面可以正常返回主页面表5-4测试主页面用例测试用例编号测试用例简称测试目的测试结果1P1能否显示图片可以显示图片2P2能否显示上一张图片可以显示上一张图片3P3能否显示下一张图可以显示下一张图片4P4能否挥手换图可以挥手换图5P5能否返回主页面可以返回主页面6P6能否挥手返回主页面可以挥手返回主页面由于本系统的需求分析比较详细，同时对需求分析分析地很透切，因此为系统的设计提供了重要的依据和保障，使设计阶段的工作进行地非常顺利，系统的开发是严格按照系统的设计来进行的，因此，在进行测试工作时，系统的测试工作也很顺利，系统整体运行状态良好。5.3本章小结本章进阐述了系统测试的必要性，并分模块地测试，并把测试结果显示出来。

第6章结束语6.1全文总结本文给出了人机交互系统的开发过程。这个人机交互系统采用的是C语言来开发，然后通过交叉编译的方式进行编译。并在ARM芯片的开发板上运行的Linux上执行。其中语言控制的交互方式是采用C/S的结构。本文先说明了人机交互方式的重要性，并说明了现如今人机交互方式的优点和不足的地方。并针对这个不足提出可改良的地方。本文其次阐述了人机交互系统中开发的关键技术以及开发环境。如在Ubuntu系统开发，Linux系统运行，ARM芯片框架，模块的安装，驱动安装等。之后通过调查并总结了人们对先有单一的人机交互方式的不足，提出了人机交互系统的需求，并开始进行了总体设计，测试应用设计，人机交互模块调用设计等。总体设计包括有人机交互界面设计，整个应用及人机交互模块。测试应用包含有2048小游戏，音乐播放和相册。模块调用有手势识别模块，触摸屏模块和语音识别模块。另外给出了2048小游戏，音乐播放，相册的收据流图，总体E-R图等。并提及一些网络通讯部分。在系统的实现部分，本文重点给出了应用的实现，模块的调用这两个部分。给出了各部分的分析，实现方法等。本文最后通过人机交互的操作，并观察屏幕显示的结构，听音乐播放的情况来测试实验结果。综合所述，本文通过Ubuntu代码的编写，使用交叉编译器编译得出执行文件，并在开发板上的Linux运行。最后给出了一个人家交互系统。6.2课题展望随着嵌入式芯片的不断更新和物流网技术的不断发展，人机交互在其中扮演了越来越重要的角色。从按键操作，再到现在早已成熟的触摸屏，未来手势识别，语音识别，肢体识别，脸部识别等技术将会是愈发需求。未来人机交互不再是平面化的人机交互界面，而是一个立体的人机交互。本系统虽然提高了高校对学校设备的管理效率，实现了设备管理的信息化、网络化和规范化，但是还存在以下不足：本系统优化了应用的人机交互方式，使用应用不再单一，并使其能更好地方便人们操作，提高效率。但还存在以下不足：（1）系统界面的风格、颜色搭配不够协调。（2）系统对于人机交互方式的转化还不够好。（3）系统代码重复率不少。（4）应用和人机交互方式的结合还有待改善。因此，基于系统以上存在的缺点和不足，以后将需要完善地调查人们对人机交互的需求，调查其不足的点。优化代码并深入探究如何更好地结合应用和人机交互方式。

参考文献董士海，王衡.人机交互的研究[J].北京大学学报，2010（2）.50-51鲁群霞，熊兴福，张启亮.论产品界面的人机交互设计[J].包装工程，2005，26（5）.77-78吕群星.人机交互中图标的可读性研究[D].南京：南京艺术学院，2011.111-112李兆堃.基于动作识别技术的人机交互系统[D].江苏：苏州大学，2014.45-46胡林桥.面向人机协同诊断的数控机床故障知识演化技术研究[D].重庆：重庆