复发注意卷积神经网络序列感兴趣区域的变化其中循环架构允许网络呈现动态

1、复发注意卷积神经网络序列感区域的变化 其中循环架构允许网络呈现动态时间行为 RNN 与结合起来进行动作识别并具有 他们堆叠三个 LSTM 层并获得了很好的性能，但是，它们只能提供底层隐藏状态LSTM 到顶层.Baradel 等。 30这种简单结构的弱点，因此，他们嵌入了输入特征空间关注模型，并改变 LSTM 的结构以适应不同的输入。通过注意机制，模型可以了解应该注意的地方 具有关注机制的模型学习支付注意前一个状态的图像部分，它关注图像的另一部分。但是，图像与不同，由许多帧组成。因此，该地区活动正在发生变化，以前框架中的有趣区域可能会发生变化不是下一个帧的主要部分。另外，中间特征向量是有限的因为

2、它们是通过仅按顺序查看先前帧而生成的。如果只是利用这种关注机制，考虑到。只关注空间信息，并采取较少的全球状态采用深度学习方法进行活动识别已有效从体佩传感器获取的原始输入序列中提取判别特征。尽管运动在一系列连续样本中及时编码，但是典型的机器学习方法在不利用时间相关性的情况下执行识别任务输入数据样本之间。卷积神经网络（）通过使用来解决这个问题一维时间序列的卷积以捕获输入数据之间的依赖性。但是，卷积内核的大小限制了捕获的依赖关系范围数据样本。因此，典型的模型无法适应各种活动识别配置并要求固定长度的输入窗口。在本文中，提出了次的使用用于建立能够捕获的识别模型的递归神经网络（DRNN）可变长度输入序列中

3、的长程依赖性。提出单向，双向，和基于长短期（LSTM）DRNN 的级联架构并评估它们其他基准数据集的有效性。实验结果表明模型优于采用传统机器学习的方法，例如支持向量机器（SVM）和 k 近邻（KNN）。此外，所模型产生更好性能优于其他深度学习技术，如深信网络（DBN）和。：人类活动识别;深度学习;复发神经网络人类活动识别（HAR）最近引起了两位研究越来越多的关注以及推进普适计算和人机交互的目标。它有许多实际应用，从医疗到个人，战术军事应用和室内导航。 HAR 有两种主要类型：使用的系统可穿戴传感器和使用外部设备的系统，例如相机和无线 RF 模块。在基于传感器的 HAR 中，可穿戴传感器附着于转

4、换成可以分段和识别的特定传感器信号模式。并且人类活动是对 HAR 的深度学习的应用已经导致识别的显着增强通过克服传统机器学习方法遇到的许多来提高准确性。它提供了一种数据驱动方法，用于从原始数据中学习有效的判别特征在从低级功能到高级抽象的层次结构中。深度学习的力量在于它能够以任务相关的方式自动提取功能。它避免了对启发式的依赖手工制作的功能和缩放更适合更复杂的行为识别任务。传感技术的广泛使用和可用性正在产生越来越多的数量数据与增强的计算能力一起促成了更可行的应用深度学习方法。这些方法可用于提取有价值的上下文信息传感器 2017,17,2556;：10.3390 / s17112556l/senso

5、rs传感器 2017,17,2556 2 of 17来自环境中的身体活动。此外，许多研究都有采用深度学习方法以端到端的方式构建 HAR 模型，从而实现与以前的传统方法相比，性能优越。这个策略一直很有效 处理更复杂的人类活动并利用繁殖数据。在深度学习领域，人们对递归神经网络（RNN）越来越感它已被用于许多序列建模任务。他们取得了很好的成绩许多技术应用的增强，如语音识别1，语言建模2，处理3，以及许多其他序列标记任务4。他们背后的理由基于序列的任务的有效性是它们利用上下文信息和学习的能力可变长度输入数据中的时间依赖性。在本文中，提出使用基于长短期（LSTM）的深度 RNN（DRNN）构建 HAR

6、模型，用于对从可变长度输入序列的活动进行分类。此外，通过仅使用 DRNN，的模型更灵活与所需的固定长度窗口相比，对可变长度窗口进行分类。从原始多模态传感器输入到活动在特定时间窗口内执行的活动的分类的端到端。它分类1）UCI-HAD 19：使用腰部安装的日常生活活动（ADL）数据集智能，带有3 轴加速度计，陀螺仪和磁力计。来自 3 轴传感器的所有 9 个通道都用作DRNN 模型的输入时间步。该数据集仅包含六个类：步行，上楼梯，下楼梯，坐着，站着，躺着。使用了一种名为 Adam 的优化算法，通过最小化成本函数反向其梯度并更新模型参数24。培训是在一个基于 GPU 的 TensorFlow 框架，以

7、利用 GPU 的并行计算能力25。在的模型中使用了压差技术来避免过度拟合26。虽然辍学通常是应用于网络中的所有节点，遵循将 dropout 应用于连接的惯例层之间（不是在循环连接或小区内连接）。丢弃的可能性训练迭代期间的节点由丢失概率 p 确定，该丢失概率是超参数在训练期间调整并表示要下降的百分比。采用退出正则化技术通过防止过度拟合导致性能的显着改善。图 7 显示使用单向 DRNN 模型的训练和测试过程的准确性和成本USC-HAD 数据集。训练和测试精度之间的差距，以及之间的差距培训和测试成本非常小。这表明辍学技术非常有效迫使模型推广并适应过度拟合。通常进行训练和测试使用固定长度的窗口，但模型

8、的输入可能使用可变长度的窗口实时方案关注基于加速度计的活动识别 活动识别 试图辨别实际活动发生 三轴加速度计提供了一个沿 x，y 和 z 方向的低功率和高保真力测量，从而提供观察佩戴该装置的人的运动？对哪些活动感？ （2.1 节）？分类所需的结构化模型（模拟数据的顺序性质）？（第 2.2 节）？加速度计数据中哪些相关功能对有用？ （2.3 节）？时间序列如何分段？ （第 2.4 节）？加速度计用于识别各种活动的最佳位置是什么？（第 2.5 节）？选择和配置加速度计时的权衡取舍（例如采样率）是什么？（第 2.6 节）？它一直以及和传感器的有多强大显示21在某些条件下结构化模型（例如，隐模型（HM

9、M）22或条件随机场（CRF）23）和非结构化模型（例如，SVM 12）可以产生对顺序任务的等效性能传感器数据流的显式分割本身就是一个非平凡，并且接近可以粗略地划分为依赖于滑动窗口的方法40和概率方法基于 HMM（例如，41）。分段问题的目标是推断每个分段的隐藏状态时间，以及描述与每个隐藏状态相关的发射分布的参数。通常在分割问题中，假设状态之间的自转移概率很高，这样系统在不可忽略的时间内保持在每个状态。更强大的参数学习方法涉及将 HDP 先验放置在 HMM 转换矩阵上38。通常采用基于加速度计数据进行活动识别的方法前面15,19描述的方法，提取连续传感器读数的小窗口 来自连续传感器数据流。 3

10、3声称这可以避免对此的需要显式分割。根据 2.2 节中的，认为这只是如果窗口长度足够长以便系统的动态（即衰率），则为真准确地捕获了自相关），并且尚未对其进行严格的分析。这表明在活动识别数据集中存在注释模糊性的时间对齐和活动的规范评估采样率，特征提取，窗口长度和顺序分类的影响用于活动识别表 2 中给出了基于加速度计的公开可用 AR 数据集列表HAR 这是通过安装智能（带加速度计和陀螺仪）收集的腰部固定器，30 名参与者在受控制的情况下进行 6 项活动环境。在这个数据集中注释了六个活动：走路，走路楼梯，走下楼梯，坐着，站着，躺着。对加速度进行采样在三轴加速度计和陀螺仪上以 50 Hz 的频率。由于

11、陀螺仪可以消耗几个Anguita, D.; Ghio, A.; Oneto, L.; Parra, X.; Reyes-Ortiz, J.L. A publicrecognition using smartphones. In Proceedings of the 21th European Symdataset for human activityium on Artifil NeuralNetworks, Compu ionalelligence and Machine Learning, Bruges, Belgium, 2426 April 2013.比加速度计（c.f.第 1 节）更

12、大的功率，只评估细节可以在4中找到。加速度计数据在对这项工作的处理中。USCHAD 这是由 14 名受试者（7 名，7 名女性）进行，进行 12 项活动（步行向前在受控左右走，走上楼，走楼下，向前跑，中跳跃，坐着，站立，睡觉，电梯，电梯下来）环境（带加速度计和陀螺仪），执行地面实况注释站在附近的观察员。加速度计，陀螺仪和磁力计数据是以 100 Hz 采样，来自Kinect 的数据伴随此数据集。在的分析不考虑微软 Kinect，磁力计或陀螺仪数据，并使用只有加速度计数据。细节可以在62中找到。Zhang, M.; Sawchuk, A.A. USC-HAD: A DailyActivity Da

13、taset for Ubiquitouivity Recognition UsingWearable Sensors. In Proceedings of the 2012 ACM Conference on Ubiquitous Computing, Pittsburgh, PA,USA, 58 September 2012; ACM: New York, NY, USA; pp. 10361043.PAMAP2 这包含 18 种不同身体活动的数据（躺着，坐着，站着，走路，跑步，骑自行车，越野行走，看电视，电脑工作，驾车，上楼梯，下楼梯，真空清洁，熨烫，折叠，打扫房间，踢足球，跳绳）由 9

14、名受试者佩戴 3 个惯性测量单元（在手腕上）在优势，胸部，以及优势侧踝关节）和心率。在这项工作中，数据以 100 Hz 的频率进行采样，只使用加速度计数据，虽然磁力计和陀螺仪数据也可用。可以找到细节在63。Reiss, A.; Stricker, D. Creating and Benarking a New Dataset for Physical Activity Monitoring.In Proceedings of the 5thernational Conference on PErvasive Technologies Related to AssistiveEnvironmen

15、ts, Heraklion, Greece, 68 June 2012; pp. 40:140:8.卷积神经网络（），也称为 ConvNets，是一种广泛使用的在计算机视觉任务中取得巨大成功的 MLP 扩展80。关键的区别在在网络和其他 NN 之间是在网络层中使用卷积来引起重量享。这些卷积层学习层中神经元的特征表示排列成特征图，其中每个神经元具有将其连接到小区域的感知场前一层中的神经元。通常还具有用于下采样的池化层执行平均或最大池化以降低特征图的空间分辨率。这些层通常堆叠在一起，并与密集层一起使用，形成一个层建筑。的体系结构，通常指的是层数，大小每一层，激活功能的选择等都是多种多样的。有关架构

16、的在这项工作中评估的内容详见第 3.7 节。信息此图中，观察到较低的采样率倾向于正如预期的那样，“失去”加速度计的高频方面。对超参数选择执行交叉验证。对数据进行分层，以便没有来自培训参与者的数据用于测试还考虑了更先进的基于神经网络的 AR 和模型研究卷积和重复性在特征学习和中的效用。两个流行在深度神经网络（DNN）中结合重复性的方法包括 LSTM 81和 Gated经常性（GRU）86。这两种技术在序列上实现了最先进的性能任务，因为它们直接参数化附近数据点对的影响在学习阶段，当前时间点和影响邻域得到优化。的实验使用 LSTM，因为它们的表现与其他方法类似（例如，GRU）在许多环境中87。与特征

17、实验不同，和 LSTM 模型将加速度计数据作为输入直。因此，为这些模型提供了 x，y 和 z 轴的主体和重力分量而不是确定性提取的特征。通过这种方式，不同驾驶行为之间会随时发生状态的切换改的工作展示了这种能力变，因此准确提取对应时段的驾驶行为并实时判别成为一个亟待解决，并且在一小段时间内不同行为变化的相似度很高，容易造成行为间的误判为了检测连续的驾驶行为，传感器获取相应的加速度数据并依靠端点检测算法估计不同驾驶行为相关的时间序列信号。在端点检测算法中，使用可调节的时间窗口组织采样数据，可调节的时间窗口为一个不确定数量点的基本时间窗口，窗口长度由所使用的传感器采样频率以及不为所呈现的明显特征区域

18、决定。在为，综合考虑不过程中，由于采样周期均为数据波形设置一个的持续时间覆盖个采样点的时间窗口，时间窗口被滑动选择数据的开始和结束点。特别地，利用可区分的方式去判断在基本的时间窗口中数据能否表明具体的驾驶行为类别。对于每一个 窗口，样本能量估计式为（） ， （）其中：表示每个窗口的能量；为每个窗口内对应点的值；为窗口内数据的均值；代表这些数据的标准偏差；为窗口大小。点火和熄火的驾驶行为特性均在较短的时间内完成，在一小段时间序列存在加速度峰值的明显改变并且由运动产生的图像很相似，本文门限的设定则通过训练过程中所观察的能量形式决定，用来辨别当前的状态，并决定下一阶段是什么行为。要求开发设计掌握数据

19、所属学科领域的知识特征，以便在算法中加入特征过滤。例如，如果处理信号（即 EEG 信号的分类），则需要掌握的知识特征涉及各种频带的功率谱及Hjorth 参数。对于认真钻研本领域的程序猿来说，这简直就是噩梦。其实不然，在图像分类领域也出现了类似的情况。但是，随着深度学习的出现，卷积神）的性能已经可以胜过这种人工提取特征的方法。 不需要任何手动设置经网络（任何的图像特征。在训练过程中，随着层次越来越深，习得到许多“过滤器”，并在最终的分类器中使用它们。 越来越复杂，进而它自己会学在这篇博客文章中，我将使用深度学习的方法对时间序列数据进行分类，而无需手动设如今，时间序列数据出现在金融，信号处理，语音

20、识别和医学等诸多领域。解决时间序列问题的标准方法通常需要手动提炼数据特征，然后才能将其输入到机器学习算法中。这通常还计特征。我在本文中将使用到的例子是 UCI 库中经典的人类活动识别（HAR）数据集。该数据集包含原始时间序列数据，以及具有 561 个预处理数据的工程特征。在博客中我会 比较使用工程特征与深度学习这两种方法（卷积和复现神经网络），并表明深度学习可以超越前者的性能。我认为一种可能的架构将涉及 LSTM 和 的组合，其对于较大的序列（即 1000，对于构的一个例子最近被用于从移动设备的心房颤动检测。如果你有了解这种长序列的方法可以去研究它。在近几年，越来越多的用户在智能上安装加速度传

21、感器等一些设备，object recognition, machine translation, audio generation 等取得了很大的成功，同样，深跌学习技术也可以应用到 HAR 上。作者：风雪夜归子 来源：CSDN 原文：本文为博主文章，请附上博文！Deep Convolutional Neural Networks On Multichannel Time Series or Human Activity Recognition Deep Convolutional Neural Networks On Multichannel Time Series or Human Activity Recognition Deep Convolutional Neural Networks On Multichannel Time Series or Human Activity Recognition 关于提取特征，主要是时域和频域特征，用滑动窗口提取特征，比如平均数，方差，过零率，还有变换后的幅度，频率和均值Cross-People Mobile-Phone Based Activity RecognitionHETEROGENEOUS MULTIMODAL