智能家居人机交互方案

1、在智能家居实验室建设方案中， 人机交互系统是一个相对比较独立的系统。但它的运行即需要其他子系统的支持，同时也想高级服务提供依据。其中的主要交互设备有家居机器人、智能手机、移动平板、智能视机、健康设备、遥控器、计算机等。家居机器人人机交互技术在终端机器人中主要提供触摸显示和语音交互方式，并提供摄像头扩展接口，利于更高层次的开发。触摸显示交互是多媒体技术交互方式的一种， 其依托于 7寸触摸显示屏进行操作界面的实现和用户触摸输入。目前，在手机、平板等电子消费领域得到了非常广泛的应用。 其有一个缺陷是， 触摸显示屏安放在机器人的机体结构中， 属于机器人的一部分， 具体的使用过程不是特别方便。语音交互是

2、本设计中的重要部分，是终端机器人与其他家电设备最大的却别。通过自然语言交流， 一方面用户可以非常方便的使用机器人进行家庭中各种设备的控制， 另一方面其还能与老人对话， 提供心理慰藉，或者用于幼龄儿童的教学。 终端机器人中语音交互的方案采用科大讯飞语音云平台进行高效开发。 语音识别的过程为： 在本地进行语音采集， 将采集的信息发送到语音云端， 本地接受来自云端的识别结果在，然后进行智能处理；语音合成的过程为：将要合成的文本发送到语音云端， 云端将语音信息返回到本地进行播放。 科大讯飞云平台只是提供具体的识别和合成， 而怎么让语音识别更智能化则需要进一步的研究。系统硬件整体架构电子芯片技术的飞越发

3、展， CPU处理核心的处理和运算性能越来越强。基于最大化利用 CPU能力、减少成本和降低系统能耗的思想，本设计采用单处理核心，由 Cortex-A8 （S5PV210）统筹系统的所有外设，进行设备控制和信息采集。对于外部设备，设备本身复杂程度以及传输方式、 传输速率上均有不同， 因此在对系统设备进行选型时尽量减少设备种类的复杂程度。 系统框架中定义了 2 种设备总线：USB总线和 IO 数据总线。 手持终端 USB总线用于数据传输量大、传输速率高的复杂设备， IO 数据总线则对应传输速率低的简单设备。 USB总线采用 Hub的形式进行多设备扩展。 IO 数据总线则采用抽象化和模块化思想设计，

4、建立单独的底层扩展系统， 规范相应设备接口。系统从总线的角度出发，将硬件分为 2 部分：底层扩展系统和上层 Cortex-A8 平台。底层扩展系统主要用于传感器数据采集、机器人动力系统控制以及情感控制，设备的类型和控制较为简单。 而上层 Cortex-A8 平台则是在核心控制器的基础上搭载触摸显示屏、 用户按键接口、 音频输出以及 USB类的摄像头、 Wi-Fi 适配器、蓝牙适配器。整体的硬件架构如图1图 1Cortex-A8与 S5PV210ARMCortex-A8处理器是基于 ARMv7-A体系结构，其设计主要面向高性能和低功耗。目前，其突出的优势已经得到了市场的认可，在智能手机、机顶盒、

5、数字电视、打印机等终端设备中具有广泛的应用。Cortex-A8 处理器的主要特点如下：1）128 位SIMD 引擎支持高性能媒体处理（NEON）；2）优化的 1 级高速缓存和集成的 2 级高速缓存；4）Thumb-2 技术，提高性能并节省指令存储空间；5）动态分支预测，降低分支错误预测的危害；6）完整的内存管理单元（MMU）；7）Jazelle-RCT 技术优化即时生产 (JIT)和动态自适应编译 (DAC)；8）高功效和高性能的内存系统；Mini210s 开发板以 Cortex-A8 的S5PV210为核心控制器。 S5VP210 是一款高效率、高性能、低功耗的 32为RISC处理器，其适用

6、于智能手机和平板电脑等智能终端。S5PV210在Cortex-A8 的基础上拓展了多媒体方面的性能， 其包含很多强大的硬件编解码功能，内置 MFC（Multi Format Codec ）、高性能 PowerVR SGX540 3D图形引擎和 2D图形引擎、 IVA3硬件加速器、等多媒体相关的处理模块。S5PV210采用 584引脚的 FCFBGA封装，具有丰富的外围接口如TFTLCD控制器、摄像头接口、 MIPI DSI 、ATA接口、 UART、24通道 DMA、定时器、 手持机 GPIO 、USB Host 、USB OTG等。S5PV210同时具有丰富的高质量的外部存储接口，其DRAM

7、支持 LPDDR1、DDR2、 LPDDR2，Flash/ROM支持 NAND Flash、NOR-Flash、SRAM等。S5PV210芯片结构图如图2 所示。图 2 S5PV210芯片结构图Mini210s 开发平台Mini210s 是一款高性能高性价比的Cortex-A8 开发板，搭载三星S5PV210处理器，运行主频可高达1GHz，同时集成 PowerVR SGX540高性能图形引擎。 工业 PDA Mini210s 开发板配备了512M DDR2内存和 4G MLC NAND Flash，其外部应用接口非常丰富如WM8960音频芯片、 miniHDMI高清输出、 CMOS摄像头、 S

8、DIO、矩阵键盘等接口（详见图 4-15 ），其电源电路也支持低功耗待机省电模式。该款开发板提供开源的系统源码以及Linux kernel 源码，方便用户进行二次开发。同时其还提供方便易使用的开发板烧写工具Superboot ，缩短了系统开发周期。根据终端系统功能设定要求，Mini210s开发板的板载资源主要使用电阻触摸显示、 USB OTG接口、音频接口三个部分。电阻触摸显示接口与 7 寸一线精准电阻触摸显示屏连接， 实现 Android 系统操作界面的显示和触控操作的检测。WiFi 、蓝牙、 USB摄像头等设备通过与 USB HOST接口连接的 USB Hub完成基于 USB设备的设备扩展

9、。音频部分采用 I2S0 接口，外接 WM8960CODEC解码芯片，提供声音输入和 speaker 输出（内置 D类功放，能直接连接 81W扬声器）功能。图 3 Mini210s 接口布局服务内容机器人动作及情感表达图4小优机器人的动作和情感是其与其他家居设备的最重要的区别， 能够实现更好的人机交互模式。机器人的动作主要包括 2类，机器人的正常行走和头部运动。行走控制是在 2轮轮系结构上通过控制直流电机实现，机器人可以灵活地进行前进、后退、左右转等动作。头部运动主要包含了抬头和扭头的动作， 2个自由度均通过直流电机实现。机器人相关动作作为服务发布到智能家居服务网关， 其他终端可以通过网关或者

10、直接网络连接实现机器人的动作控制。机器人的情感表达是机器人智能性的核心体现。 其表现途径主要有三个方面： LED情感输出、机械动作以及语音，通过三者的结合向用户立体地呈现了具体情感。网络接入网络是物联网的核心基础之一，是物联网终端的基本特征。 物联网终端工作的环境为一个家庭，其面积通常在几十到几百个平方米，因此在选择通信介质时需要选择覆盖面积较大、 信号穿透力强的网络通信方式。再则该终端在家庭中大多数情况出于运动状态， 通信介质应选取无线类型的。目前，消费市场流行的短距离无线通信方式主要有蓝牙和 WiFi 。蓝牙和 WiFi技术都是工作在全球通用的 ISM频段，有效解决了移动终端设备之间以及与

11、 Internet 的通信。一般蓝牙技术的有效通信距离为10m，新的蓝牙标准能够达到 100m以上的超长距离。 WiFi 的有效通信距离则在几十米， 发射功率足够大的情况下能达到 100m以上，足够覆盖整个家庭环境。另外，蓝牙的传输速率较低，如果处理视频类的数据时会出现延迟问题。 因此，设计中使用 WiFi 作为机器人的网络通信介质，连接局域网以及互联网。为了方便 WiFi 模块的驱动移植，设计中选择的 USB接口 WiFi 模块 EDUP EP-8508GS。其采用 REALTEK8188cus 芯片，使用无线传输技术， 传输速率高达 150Mbps，内置高精密天线，传输稳定。另外， 蓝牙通

12、信在智能设备如手机、医疗健康类设备等中应用广泛，为了支持此类设备，终端系统使用 USB接口的蓝牙适配器提供蓝牙通信通道。智能家居应用在具体的家居环境中，物联网终端一方面作为设备对外发布自己的服务，如动作相关服务、 视频服务等（可以根据具体的需求对其进行扩展），其他终端设备可以通过网络方式对其进行服务调用，另一方面终端能够通过网关调用其他设备所提供的服务， 例如家电控制的实现。服务调用的实现依托于家庭环境中的网络环境，主要有 2种模式：服务器模式和直接连接模式。具体的网络结构如图3所示。服务器模式依托于现有的家居 PC网关，家居环境中的各种设备与服务器网关进行连接， 网关对设备统一进行管理。 当

13、需要控制其他设备时，设备从网关获取控制方式并将控制请求发送到网关， 网关接受到请求后先判断目标设备正常后将控制请求发送到目标设备， 目标设备接收请求并依情况进行响应。 服务器模式优点是能够对设备进行统一管理，设备可以动态增减，但整体结构比较复杂，给家居环境增加了额外的设备开销。直接连接模式中各设备通过网络直接通过物理通信方式发送控制指令和数据直接到达被控设备。 由于直接连接模式没有网关对设备进行统一管理， 所以在网络环境中必须对设备列表进行固化，不能实现设备的动态添加。但此种模式技术实现简单而且没有额外开销。图3智能家居网络结构图物联网终端机器人对两种网络环境都提供支持。智能家居控制时，终端通

14、过 WebService协议与网关通信，实现具体设备的控制。同时终端也可以通过 Wifi 与家电控制终端直接连接，终端机器人通过socket 通信传递控制指令，家电控制终端通过Wifi 转RS232模块将socket 信息转化为串口数据，处理模块接收控制指令后进行相应操作。终端机器人作为设备时，建立网络监听，接受相应的控制信息即可进行响应智能提醒及应用扩展人到老年后随着年龄的增加记忆力不断退化， 往往会出现遗忘需要完成的事情或者是忘记吃药等现象。针对这一老年人的实际需求，物联网终端机器人具有智能提醒的功能。 用户根据需要通过语音命令或者设置界面进行事件的设定，设置内容主要包括时间和事件内容，当

15、到达预定时间时机器人将进行相关时间的语音提示并在Android 系统窗口推送时间提醒消息。智能提醒服务主要是基于时间、 时间提醒的应用， 针对老人的心理慰藉问题也可以开发语音相关治疗软件。事实上， Android 系统拥有非常庞大的应用 APP商店，涵盖了健康、保健、娱乐、教育等多个方面，用户根据自身的需求对应用程序进行定制， 而且应用商店中的绝大多数软件都是可以免费使用的。 对于一些专有性较强的应用， 开发者根据具体的需求使用过 Android SDK以及相关工具即可开发。而且其上层应用开发几乎完全与底层硬件相独立，大大缩小了开发难度。也正是由于强大的应用商店库和高效开发性， 终端机器人实现

16、选择搭载 Android 操作系统。智能手机智能手机的人机交互方式智能手机作为物联网家居中的一个重要的智能终端， 在人机交互上有多种体现方式。常见的就有感应器、触摸屏、物理按键、加速度感应器、环境光线感应器、距离感应器、陀螺仪、指南针、GPS、摄像头、时钟、录音以及常规的数据输入口（2/3/4G 数据、 WIFI、蓝牙、数据线）。（1）触摸屏触摸屏是大家所熟知的命令输入设备，已经发展出全套的多手指手势，用于自然的命令输入。在智能手机上使用的最多的是点击、长按、横滑、拖动，以单指手势为主。两指以上的手势并不太适合手机，因为常见的持机方式是单手持机。多指手势比较适合平板电脑。（2）传感器现在的移动

17、操作系统都提供了对传感器的支持， 如果硬件设备提供了这些传感器，目前支持的传感器有加速度传感器、光线传感器、压力传感器、方向传感器、磁场传感器、温度传感器等，通过这些传感器，用户可以很方便的获得手机的运行状态、当前的摆放方向、外界的磁场、温度和压力等。3）GPS最直接的用途是在地图应用中调取当前位置，在 LBS服务中获得 POI 点名称。不过 Nike Running 将其用于记录跑步的路径，也是一种比较有趣的拓展。（4）摄像头摄像头其实是一种非常强大的信息获得设备。二维码在 O2O领域的巨大潜力已经被微信搅起来了。之前一种颇为神奇的用途就是被heart rate通过拍摄手指血管来测量心律。其

18、他的用途还有人脸身份识别、计算机视觉的手势识别、物体追踪等等。（5）录音录音是一种长期被忽略的人机交互方式，发现它潜力的人则创造了非常神奇的交互方式。比如Square 用它作为信用卡刷卡信息的输入口；一些游戏用它模拟一些“吹一吹”的效果；Chirp利用声音传递身份识别码，用以在手机间传递文件；此外，随着移动智能终端设备的发展，人机交互的方式也日益多元化。Mirage Table ：真人与虚拟影像的互动由微软推出的 Mirage Table （幻影桌面）是一项颇为神奇的技术，它将两台 3D投影仪、 Kinect 体感监测仪、 3D眼镜以及人的动作结合在一起，打造出一个真人和影像互动的效果。 通过

19、 MirageTable ，人们的所有动作都会被 Kinect 捕捉并转化称 3D影像，然后和已有的 3D 物品进行交互，比如用手移动影像中的多米诺骨牌、皮球等。同时一个实体物品可以通过虚拟影像复制出多个，也可以将移动虚拟物品到任何位置。用户只需要佩戴 3D眼镜就可以看到 MirageTable 上 3D投影的图像。曲面设计可以让操作者通过投影仪来与虚拟画面实现互动交流，就像打保龄球一样。“ MirageTable ”还可以实现人与人之间的双向写作，通过 Miragetable ，两个操作者不仅可以看到对方并谈话，而且一个人可以与视频中另一个人的虚拟对象进行互动交流， 甚至可以“触摸”虚拟对象

20、。还可以一起下象棋、搭积木，甚至研究一些比较复杂的项目方案等。如果说 AR（增强现实）技术可以在现实的基础上模拟出虚拟场景，让人进入虚拟版的现实世界，那么 Mirage Table 则可以将用户带入一个虚拟的世界， 想象一下，如果未来所有的网络游戏都可以将用户融入其中，在虚拟环境下直接操作，使用新奇的装备，实现惊艳的特效，世界将会变得多么神奇！基于 Kinect 的操控创新微软推出的 Xbox 360 体感外设 Kinect 很受用户欢迎，但是它的意义并不仅仅是游戏外设， 而在于对人机交互方式的探索和创新。 正因为如此， Kinect 技术才能被广泛应用到其他创新产品之中，成为智能人机交互的经

21、典产品。国外一家专注于人机交互技术的创业公司3Gear Systems 利用微软 Kinect 技术，推出了 SDK包，能够帮助开发者将手势动作反馈到应用软件之中。这套系统可以帮助 3D 建模人员更方便快捷地对模型进行拼装操作， 操作过程可以在普通显示器之上呈现。 开发者只需要购买 Kinect 传感器和固定装置就可以在这款 SDK包的基础上，设计新的 APP产品。Kinect 的作用还不止于此。 Oblong 实验室近期公布了一项科研成果，它将 Kinect 与 Xbox 上的 IE 浏览器结合起来，脱离鼠标来操作电脑屏幕，能够实现一系列复杂的操作，例如拖动、摆放屏幕上的个体，对三维模型进行

22、旋转、缩放，进行复杂的命令操作，或者用手机、平板或遥控器来控制大屏幕，甚至可以多人玩游戏、通过手势控制飞行器，在多个屏幕之间进行无缝切换等。微软研究院联合华盛顿大学也研发出了一种名为SoundWave的系统，该系统可利用计算机内置的麦克风和扬声器，提供与 Kinect 类似的对象识别及手势识别功能。 SoundWave将计算机的内置扬声器用做超声波（ 18-22KHz）发射源，其频率会随着你的手或身体的位置的变化而变化。然后，计算机的内置麦克风会测量这一频率变化，并把参数告诉一套相当复杂的软件，由该软件计算出手势和动作。语音交互的行业应用苹果于 2010 年花 2 亿美金亲自将Siri收购，并

23、将其深度融入到iPhone 4S中。 Siri和手机紧密结合，可以极大提升设备的操作简易性、环境适应性和真正意义上的智能性。实际上，不仅仅是Apple自己的 iPad、 iTV 和车载设备，所有未来所谓的智能设备都将会使用 Siri 的模式。但是智能人机交互技术在行业的应用中，还存在一些不足。 以语音交互为例，传统语音交互涉及的主要技术包括语音识别和语音合成等都已经比较成熟。 在多年以前， IBM 的语音识别软件在PC 上就有不错的识别率了，而微软名为Tellme 的项目也持续了多年。然而，即使达到100%的准确率，仅限于输入识别功用的语音识别不能代表智能人机交互的真正意义， 它并不是革命性的

24、。 要实现完美的人机交互，语音技术就必须跟人工智能技术结合起来。现在以语音方式为主的人机交互系统目前主要应用在如呼叫中心的 IVR 系统、智能手机等终端中的语音拨号，短信朗读、车载语音导航系统等。但普遍存在交互模式比较机械固定（以声控命令为主）、用户体验一般、交互过程繁琐等问题。智能手机的市场现状当前市场上主流的移动操作系统平台有Andorid 、iOS、WindowsPhone。互联网数据中心（ International Data Corporation，IDC）近日公布了全球最新的智能手机市场份额数据，从数据表格中我们可以看到 Android 开始占据超过大半的江山。 并且根据 IDC

25、对未来 5 年智能手机市场的预测，到2016 年 Android的市场份额仍将占到一半以上，到时候 Microsoft的市场份额（ Windows Phone and WindowsMobile ）将会有一个大幅度的提升，将占到%。智能手机操作系统2012 年2012 20162016 年市场份额（ Smartphone Operating System）复合年增长率市场份额Android%Windows Phone 7/Windows Mobile%iOS%BlackBerry OS%Others%Total%表 1智能手机操作系统2012 年 2016 年市场份额变化情况iOS苹果 iOS

26、 是由苹果公司开发的手持设备操作系统， 2007 年 1 月 10 正式发布，最初是设计给 iPhone 使用的，后来陆续套用到 iPod touch 、iPad、以及 Apple TV等苹果产品上。它是以 Darwin 为基础的，因此同样属于类 Unix 的商业操作系统。 iOS 的系统结构分为以下四个层次：核心操作系统（ the Core OS layer ），核心服务层（ the Core Services layer ），媒体层（ the Media layer ），Cocoa 触摸框架层the Cocoa Touch layer ）。但 iOS 是一套封闭性很强的系统，不开源，其他公

27、司无法使用它的系统，并且在可以预见的将来，其也将始终保持封闭的状态， 不支持第三方软件的运行， 在很大程度上限制了各类软件在 iOS 上的开发、安装和使用，给用户带来极大的不便。优点：（1）具有极高的稳定性和安全性；（2）Apple Store 中应用程序数量多；（3）操控性极高的点触式用户界面， 可以给带来很好的用户体验；（4）具有与其它操作系统的高度协作性，支持多种磁盘卷格式，符合各种现有和发展中的标准。缺点：（1）不支持第三方软件的运行；（2）不支持 Flash ，支持多媒体格式较少；Windows Phone2010 年 10 月 12 日，微软正式发布Windows Phone 7

28、智能操作系统。2012年 6 月 21 日，微软正式发布最新手机操作系统WindowsPhone8 , Windows Phone 8将采用和 Windows 8 相同的内核。作为微软重新打造的新一代智能终端平台， WindowsPhone采用了与过去 WindowsMobile完全不同的屏幕主页和用户界面，为用户带来全新的操作体验。WindowsPhone的用户界面以及交互模式均是以广受好评的ZuneHD高清播放器为基础而设计的。在操作性能方面，WindowsPhone操作系统重视用户的实际使用效率。它的整个界面简洁实用， 使用了较大的、图形化的字体，短信数量和未接来电数量都直接显示在主屏上

29、。在产品方面， Windows Phone与微软其他产品联系紧密，通过与各类面向企业及消费者的产品进行整合，丰富了自身的产品资源， 同时极大地拓展了业务范围。在个人电脑世界，微软的Windows是独一无二的王者，在移动世界，微软也一直有着称王的野心。从WindowsCE到 WindowsMobile ，再到今天的 Windows Phone，微软一直在努力，效果却不理想。非但没用超越智能操作系统的老牌王者Symbian，反而被Android 、iOS这些新星挤在身后。WindowsPhone相对于微软以前的系统如WindowsCE和 Moblie ，可谓是做了彻底性的改变，摒弃了以前系统臃肿和

30、多层菜单操作的方式，采用了桌面定制、图标拖拽、滑动控制等方式。虽然上市较晚，市场占有率很低，但是凭借微软强大的技术开发实力、个人电脑世界庞大的用户群、以及和老牌手机王者诺基亚的合作，让人对它的前景不敢小视。最近，诺基亚、三星、HTC等主流手机厂商也推出了一些基于WindowsPhone的智能手机。说明各大手机制造商还是对微软的技术实力看好，Windows Phone系统在未来的移动市场中大有潜力。优点：（1）应用开发难度低， UI 界面友好；（2）预装软件丰富，便于熟悉个人电脑的用户操作；（3）云计算技术优势；缺点：（1）对硬件平台要求较高；（2）目前应用程序较少。AndroidAndroid

31、 是由 Google 公司牵手 30 多家公司成立的“开放手机联盟”共同研发的，基于 Linux 平台的开源移动操作系统， 由操作系统、中间件、用户界面和应用软件组成， 号称是首个为移动终端打造的真正开放和完整的移动软件。优点：（1）开放性。 Android 是由 Google 公司牵手 30 多家公司成立的“开放手机联盟” 共同研发的， 这些全球各地的手机制造商和移动运营商都将基于该平台开发手机的新型业务， 应用之间的通用性和互联性将在最大程度上得到保证， 而且开发商也会得到新的开放级别， 更方便的进行协同合作。（2）应用程序无界限。 Android 上的应用程序可以通过标准API访问核心移

32、动设备功能， 通过互联网，应用程序可以声明它们的功能可供其它应用程序使用。（3）应用程序是在平等的条件下创建的。移动设备上的应用程序可以被替换或者扩展，即使是拨号程序这样的核心组件。（4）应用程序可以轻松的嵌入网络。应用程序可以轻松的嵌入HTML、JavaScript和样式表，还可以通过WebView显示 HTML文件或是网络内容。（5）Google 网络服务的支持。拥有强大的 Google 的网络服务支持，如 GoogleTalk 、Gmail、Google Map等，基于这些服务和庞大客户群的支持，大大扩展了开发者的设计空间。缺点：（1）Dalvik VM 对于硬件的配置要求较高，在进行应

33、用程序开发时硬件成本同其它开发环境相比还是比较高的。（2）Google 为了平台的安全性设置了较多的权限控制，导致任务管理器、模拟按键、屏幕截图、短信防火墙等类似功能的实现都较为困难、步骤繁琐。移动操作系统iOSWindows PhoneAndroid发行商AppleMicrosoftGoogle应用商店App storeWindows PhoneGoogle PlayMarketplace应用程序数量500000+100000+450000+全球市场占有23%59%率2012 Q1目前最新版本iOS 6Windows PhoneAndroid8最初发布时间2007年 6月2010 年 10

34、月2008年 9月内核类型DarwinWindowsLinux源码模式封闭式封闭式开放式开放者权限开放度低需要证书支持高度开发开发语言Object-CC#JavaNative 开发支持不支持支持地图支持第三方第三方Google Map表 2 移动操作系统的比较移动平台开发技术 -以 Android 为例Android体系结构Android 体系结构分为四层，从高到低分别是应用层、应用程序框架层、函数库和运行时环境层、 Linux 内核层。如下图所示 :图 Android体系结构1）Linux 内核层31Android 基于 Linux 核心提供安全、内存管理、进程管理、网络协议栈、驱动模型等核

35、心系统服务。Linux Kernel也是系统硬件和软件叠层之间的抽象层， 隐藏了具体硬件细节， 并为上层提供统一的服务。（2）函数库和运行时环境层函数库包含了一个运行于Kernel之上的C/C+库的集合，供Android 系统的各个组件使用，这些功能通过应用程序框架暴露给开发者，这些函数库包括：系统 C 库：C 语言的标准库，也是系统中一个最为底层的库，是通过 Linux 的系统调用来实现的。多媒体框架 ：是 Android 多媒体的核心部分。SGL：2D图像引擎。SSL：即 Secure Socket Layer位于 TCP/IP 协议与各种应用层协议之间，为数据通讯提供安全支持。OpenG

36、L：提供对 3D的支持。界面管理工具（ Surface Management ）：提供对管理显示子系统等功能。SQlite ：一个通用的嵌入式数据库。WebKit：网络浏览器的核心。FreeType：位图和矢量字体的功能。Android 运行时由两部分组成 ：Android 核心库和 Dalvik 虚拟机。其中核心库提供了Java 语言核心库所能使用的绝大部分功能，而虚拟机则负责运行Android 应用程序。 Dalvik 是基于寄存器的虚拟机，它经过了优化，使得一个设备可以高效地运行多个实例，因此 Android系统可以方便地实现对应用程序进行隔离。（3）应用程序框架层应用程序框架提供用于创

37、建Android 应用的类。它还提供了一个访问硬件的通用抽象接口， 并能管理用户界面和应用程序资源。通过开放平台， Android 开发者能够编写极其丰富的应用程序。开发者可以自由地利用设备硬件优势，访问位置信息、运行后台服务、设置闹钟、向状态栏添加通知等。（4）应用层应用层是和用户交互的一个层次，用户可以看得见的一些应用，用户可以操作。这类应用基本都是通过Java 语言编写的独立的能够完成某些功能的应用程序。Android 本身提供了桌面、联系人、拨打电话、浏览器等很多基本的应用程序。软件运行时应用层向下调用应用程序框架层，应用程序框架层又要调用之下的库以及核心包和虚拟机，最后要交给底层操作

38、系统Linux Kernel来和硬件进行交互。Android应用程序组件要进行Android应用程序开发，我们必不可少的就是要了解Android 平台的应用程序框架。 Android 应用程序主要是由Activity、BroadcastReceiver 、Service 、ContentProvider 以及 Intent 五大组件构成的。在 Android 应用程序中，开发人员可以根据实际项目需要对这 5 个组件进行选择性的使用。1）活动（ Activity ）活动是 Android 应用程序中最基本的组件， 通常每个用户界面都是一个活动。每个活动作为一个独立类都要从活动的基类Activit

39、y继承而来，它显示由视图空间组成的用户接口，并对相应的事件做出响应。大部分程序会有多个应用程序界面，多个对应的活动。（2）广播接收器（ BroadcastReceiver ）BroadcastReceiver组件主要是让应用程序响应来自外部的事件，可能是系统发出的广播，也可能是其他应用程序发出的。在使用Android 系统的时候经常会遇到许多各式各样的广播，比如我们在玩游戏时，这时突然发现显示没电了或者显示有其他人打电话进来，此时系统就必须对当前应用程序进行中断并响应。应用程序需要对某些广播事件进行响应，则需要注册对应的BroadcastReceiver对象。3）服务（ Service ）服务

40、通常位于后台运行， 它一般不需要与用户交互， 因此 Service组件没有图形用户界面。Service 组件需要继承 Service 基类，一个Service组件被运行起来之后，它将拥有自己独立的生命周期，Service 组件通常用于为其他组件提供后台服务或监控其他组件的运行状态。4）内容提供者（ ContentProvider ）ContentProvider的主要功能是在不同的应用程序之间实现数据共享。 Android 每个应用程序都拥有自己独立的存储空间，可以将运行过程中的数据保存到数据库或者文件中。当一个程序要访问其他程序的数据或者向外部程序提供数据时，Content Provider

41、就发挥作用了，它为应用程序提供了一组标准的访问方式，用于在程序需要时能够访问这些数据，实现数据共享。5）意图（ Intent ）严格的说 Intent并不是 Android 应用的组件，但它对于 Android应用的作用非常大，它是Android 应用内不同组件之间通信的载体。当 Android 运行时需要连接不同的组件时， 通常就需要借助于Intent来实现。Intent可以启动应用中另一个Activity，也可以启动一个Service，还可以发送一条广播消息来触发系统中的BroadcastReceiver。Intent分为显示Intent和隐式Intent，其中封装了需要启动或触发的目标组

42、件的大量信息。从 Android 应用程序的角度，各个组件对外的联系是程序处理的一个关键性问题， 组件接口包括对用户的接口和对其他包的接口两部分内容。在对用户的接口的角度， 包括呈现给用户的界面和接受用户的控制，主要由 Activity 及其中的 View 对外提供，其他组件可以使用通知的方式和用户简单交互。 Android 应用程序包的组件接口关系如图 5 所示。Start For ResultActivityIntentStartIntentStart/stop/bind/unbindIntentSendContextIntent查询/ 插入/更新/ 删除URL对其他包的接口对用户的界面活

43、动（Activity）服务（Service ）广播接收器（BroadcastReceiver）活动（Activity）包内的组件交互Toast通知和状态栏通知UI相关的实现（空间、图形绘制、动画）可见部分后台部分UI无关的实现（逻辑、算法、数据存储、硬件相关）Android应用程序包数据存储智能手机的接入方案用户手机平板电脑虚拟人.FRFID卡触语视手摸音觉势交交交交互互互互人机交互娱乐影音教学服务智能手机 / 平板WIFI智能提醒（Android 、Windows 8）智能定位HTTP/WebService远程智能终端BT健康设备智能家居WIFI网络摄像头服务器RFID读卡器PLC子网关控制

44、器控制器智万能遥控器电能灯电表电空鱼视调缸电传机感控避制障行走控制视频监控机器人情感表达贝壳头部控制娱乐教学电位机置控传制感温度传感器Zigbee传感器监测光传感器CO传感器智能电视随着智能电视功能的日渐丰富和强大， 人们需要、也必须对电视机的操控方式进行一点改变， 很显然，仅依靠一个简单的电视遥控器已经满足不了智能电视的操控需求。 人们需要更加自然、 更加方便的人机交互方式，诸如语音控制、动作识别、触摸控制、多屏互动等智能化操控。、语音控制语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的高技术。语音识别技术主要包括特征提取技术、模式匹配准则及模型训练技术三个方面。语

45、音控制可以较好的解决功能控制复杂、记忆频率数量大的难题，相对于手动控制来说更加快捷、方便。比如，我们需要打开电视时，不需要满世界寻找遥控器，通过声音就能控制开机 ; 再如，当我们忘记想看的频道是几号时，也不需要将十几个节目挨个搜索一遍，直接说出想看的频道，就能直接切换。早在 2001 年，海尔就推出了采用语音识别、汉语语音分析、数字声音信号处理、语音编码、说话人自适应、回声消除、抗干扰及消噪声等七大高新技术的智能声控电视。 海尔智能声控电视， 不但可以在挤满客人的大厅中， 辨认出“主人”的声音执行指令， 还可以寻找你所喜欢的节目频道。用户只需把自己的声音及指令预先输入系统，声控电视就会对他们“

46、言听计从”。2011 年 3 月，TCL推出了“能听能说”的超级智能电视，“能听能说”就是指引入基于云端的语音识别和语音合成技术， 电视不仅能听懂用户说话做出反应，而且还能说，比如打开 WEB浏览器，对着电视喊声“新浪”， 通过云搜索，浏览器页面立刻呈现出新浪网站，比如朗读时事新闻、读报、读杂志等。TCL 还推出了“小智语音管家”， 据悉，小智语音管家是应用于云电视上的新一代语音识别工具， 与之前的智能识别不同， 它首次应用了云计算技术， 带来更强大的智能语音识别、 更便捷的操控体验与更人性化的人机交互。 通过它，云电视将成为一台一呼即应的智能机器人，为电视的人工智能语音交互时代拉开序幕。在

47、2012 年国际消费电子展上三星发布了拥有语音控制功能的电视产品。该款电视内置高清相机和麦克风， 用户只需对其喊一声“ Hi ，TV”，就可以开启语音控制系统，比如你可以说“ Web Browser”，然后你就可以上网冲浪， 动动手就可以浏览网页、 选择搜索结果或者提高音量。除此之外，在 CES2012上，联想、 LG 等智能电视都搭载了语音识别功能，用户可直接用遥控器说出电影片名进行查询。 苹果电视机也将内置 Siri 功能，允许用户对电视进行语音控制。2012 年 2 月，长虹中文版语音电视在国内首发。仅凭语音指令完成换台、电视节目查询、网络浏览 / 搜索、文字输入等操作，甚至能与人对话交

48、流。语音控制与消费者实现了生动有趣的、 有情感的交谈， 并能针对性的提供服务和帮助， 真正意义上拉近了电器与消费者的距离， 实现电器智能化的历史性跨越。 但是就目前来说， 语音控制还只是限于一些基本的操作， 还不能完全取代按键操作， 语音控制技术还需要向更高层次发展。动作识别动作识别技术是由手型、 身体动作辅以表情姿势为符号构成的动作识别的一种技术，是人机交互模式识别领域的一项重要研究内容。动作识别系统可以消除健全人与聋哑人之间交流的障碍， 作为人体语言理解的一部分，动作识别还可以更高效的实现人机交流。这项技术实际上也可以说是XBOX360的 Kinect上面的技术的引用。 Kinect 可以

49、通过外置的摄像头捕捉 RGB与红外图像，来侦测出人体的动作，进而借助一系列的算法来识别出具体的手势操作。在 2011 年，海信智能电视推出了智能感应触控电视 Hi-Touch ，可以通过动作识别系统， 实现人与电视的互动和体感游戏等功能。 通过动作识别技术， 电视可以完全摆脱遥控器， 带来了智能互感虚拟触摸的全新体验。TCL推出的超级智能电视也具备了动作识别功能，体现在智能手势和姿态的识别与控制、 体感游戏及视频通讯功能上。 通过一个外接的摄像头，消费者可以用手势控制电视， 通过手势和身体姿态就可玩转 3D体感游戏。在 CES2012上，三星展出了采用了 CMOS图像传感器的动作侦测系统，可以

50、通过摄像头来侦测操作者的手部动作， 可以进行多种简单的动作操作 ;LG 的魔术运动遥控器 (Magic Motion remote control)采用了红外感应的操作方式，也可以进行手势侦测。由于人体结构较为复杂， 动作识别技术要实现对对人体三维运动的精确跟踪还有一定难度。 动作识别技术在电视领域应用前景十分广阔，如果结合语音控制系统，基本可以完成所有的电视机操作，在进行电视游戏时也会比传统意义上的体感游戏更有意思， 像水果忍者等常见的游戏形式也可以不借助游戏主机直接游玩。 可以想象，这种技术对于酷爱游戏的用户来说，是一个不错的选择。智能触控自苹果公司推出智能手机 iPhone 后，触控技术就成为了市场关注的焦点，目前触控技术已经广泛应用于中、 小尺寸电子产品， 例如，智能手机、数码相机、平板电脑等个人随身设备，技术方面，电容式技术和电阻式技术是目前应用最广泛的两种技术。早在 2009 年，海尔就推出了全球首款超大 LED屏之内触控模卡电视，该产品采