智能家居人机交互方案

1、智能家居人机交互方案在智能家居实验室建设方案中，人机交互系统是一个相对比 较独立的系统。但它的运行即需要其它子系统的支持，同时也想 高级服务提供依据。其中的主要交互设备有家居机器人、智能手 机、移动平板、智能视机、健康设备、遥控器、计算机等。1家居机器人1.1人机交互技术在终端机器人中主要提供触摸显示和语音交互方式，并提供摄 像头扩展接口，利于更高层次的开发。触摸显示交互是多媒体技术交互方式的一种，其依托于7寸触 摸显示屏进行操作界面的实现和用户触摸输入。当前，在手机、 平板等电子消费领域得到了非常广泛的应用。其有一个缺陷是， 触摸显示屏安放在机器人的机体结构中，属于机器人的一部分， 具体的使

2、用过程不是特别方便。语音交互是本设计中的重要部分，是终端机器人与其它家电设 备最大的却别。经过自然语言交流，一方面用户能够非常方便的 使用机器人进行家庭中各种设备的控制，另一方面其还能与老人 对话，提供心理慰藉，或者用于幼龄儿童的教学。终端机器人中 语音交互的方案采用科大讯飞语音云平台进行高效开发。语音识 别的过程为：在本地进行语音采集，将采集的信息发送到语音云 端，本地接受来自云端的识别结果在，然后进行智能处理；语音 合成的过程为：将要合成的文本发送到语音云端，云端将语音信 息返回到本地进行播放。科大讯飞云平台只是提供具体的识别和合成，而怎么让语音识别更智能化则需要进一步的研究。1.2系统硬

3、件1.2.1整体架构电子芯片技术的飞越发展，CPU处理核心的处理和运算性能越 来越强。基于最大化利用CPU能力、减少成本和降低系统能耗的 思想，本设计采用单处理核心，由Cortex-A8（S5PV210）统筹系 统的所有外设，进行设备控制和信息采集。对于外部设备，设备 本身复杂程度以及传输方式、传输速率上均有不同，因此在对系 统设备进行选型时尽量减少设备种类的复杂程度。系统框架中定 义了 2种设备总线：USB总线和IO数据总线。A href=手持终 端/AUSB总线用于数据传输量大、传输速率高的复杂设备，IO 数据总线则对应传输速率低的简单设备。USB总线采用Hub的形 式进行多设备扩展。IO

4、数据总线则采用抽象化和模块化思想设 计，建立单独的底层扩展系统，规范相应设备接口。系统从总线 的角度出发，将硬件分为2部分：底层扩展系统和上层Cortex-A8 平台。底层扩展系统主要用于传感器数据采集、机器人动力系统控制 以及情感控制，设备的类型和控制较为简单。而上层Cortex-A8平 台则是在核心控制器的基础上搭载触摸显示屏、用户按键接口、 音频输出以及USB类的摄像头、Wi-Fi适配器、蓝牙适配器。整体的硬件架构如图1图1Wi-Fi!音频接口 底层扩展系统f壁障传感头部传感安防模块触模传感头部转向电机控制运劫电机 控制S5P21Q控制核 心|蓝牙图1Wi-Fi!音频接口 底层扩展系统f

5、壁障传感头部传感安防模块触模传感头部转向电机控制运劫电机 控制S5P21Q控制核 心|蓝牙触揆显示 器LED情感 表达摄像头:1 5V/S.SV5V/S3V输入按键1.2.1 Cortex-A8 与 S5PV210ARM Cortex-A8处理器是基于ARMv7-A体系结构，其设计主 要面向高性能和低功耗。当前，其突出的优势已经得到了市场的 认可，在智能手机、机顶盒、数字电视、打印机等终端设备中具 有广泛的应用。Cortex-A8处理器的主要特点如下：1）128位SIMD引擎支持高性能媒体处理（NEON）；2）优化的1级高速缓存和集成的2级高速缓存；4）Thumb-2技术，提高性能并节省指令存

6、储空间；5）动态分支预测，降低分支错误预测的危害；6）完整的内存管理单元（MMU）；7）Jazelle-RCT技术优化即时生产（JIT）和动态自适应编译（DAC）；8）高功效和高性能的内存系统；Mini210s开发板以Cortex-A8的S5PV210为核心控制器。S5VP210是一款高效率、高性能、低功耗的32为RISC处理器，其适 用于智能手机和平板电脑等智能终端。S5PV210在Cortex-A8的基础上拓展了多媒体方面的性能，其包 含很多强大的硬件编解码功能，内置MFC(Multi FormatCodec)、高性能PowerVR SGX540 3D图形引擎和2D图形引擎、IVA3硬件加

7、速器、HDMIV1.3等多媒体相关的处理模块。S5PV210采用584引脚的FCFBGA封装，具有丰富的外围接口如TFT LCD控制器、摄像头接口、MIPI DSI、ATA接口、UART、24通道 DMA、定时器、A href=手持机/A GPIO、USB Host 2.0、USB 2.0 OTG等。S5PV210同时具有丰富的高质量的外部存储接口，其DRAM支持1 PDDR1、DDR2、LPDDR2，Flash/ROM支持NAND Flash、 NOR-Flash、SRAM等。S5PV210芯片结构图如图2所示。System PeripheralRTCPLLx4Timer with PWM

8、(5ch)Watchdog TimerDMA (24ch)Keypad (14x8)T咨ADC (12bif/1Och)CPU CorefCortexA832KIBG3B l/D cache 800MHe/1GHz512KBSystem PeripheralRTCPLLx4Timer with PWM (5ch)Watchdog TimerDMA (24ch)Keypad (14x8)T咨ADC (12bif/1Och)CPU CorefCortexA832KIBG3B l/D cache 800MHe/1GHz512KBL2 cacheNEON_JConnectivityAudio IF|必

9、，PCMx3&PDIF/AC97Storage IF|HSMMDSDX4ATAConnectivityUSB Host2 0/OTG 2 0UARTx4IICx3HS-SPIx2Modem IF64KB ROMMulti layer AHB/AXI BusCryptoEnginesPowerManagementMultimedia12MP Camera IF/MIPll CSk2108Dp30fpsMFCCodec - H.2634H.264/MIPEG4 Decoder-MPEG2A/O12D VG/3D Graphics engineNTSC/PAL TV out &HDL1IJPEG C

10、odecTFT LCD controller XGA resolutionJMemory InterfaceSRAM/ROM(Fle)OneNANDSLC/MLC NANDwith 16bit ECCLPDDRVOneDRAMlLPDDR2/DDR2图2 S5PV210芯片结构图1.2.2 Mini210s 开发平台Mini210s是一款高性能高性价比的Cortex-A8开发板，搭载三 星S5PV210处理器，运行主频可高达1GHz，同时集成PowerVR SGX540高性能图形引擎。工业PDA Mini210s开发 板配备了512M DDR2内存和4G MLC NAND Flash，其外部应

11、用接口 非常丰富如WM8960音频芯片、miniHDMI高清输出、USB2.0、 CMOS摄像头、SDIO、矩阵键盘等接口（详见图4-15），其电源电 路也支持低功耗待机省电模式。该款开发板提供开源的Android2.3.1系统源码以及Linux kerne l源码，方便用户进行二次开 发。同时其还提供方便易使用的开发板烧写工具Superboot，缩短 了系统开发周期。根据终端系统功能设定要求，Mini210s开发板的板载资源主 要使用电阻触摸显示、USB OTG接口、音频接口三个部分。电阻 触摸显示接口与7寸一线精准电阻触摸显示屏连接，实现Android 系统操作界面的显示和触控操作的检测。WiFi、蓝牙、USB摄像 头等设备经过与USB HOST接口连接的USB Hub完成基于USB设 备的设备扩展。音频部分采用I2S0接口，外接WM8960 CODEC解 码芯片，提供声音输入和speaker输出(内置D类功放，能直接 连接8Q1W扬声器)功能。USB Host Power LED Micro SD CON6 (GPIO)JTAGCMOS CameraRTC