自动机器学习的机遇与挑战

自动机器学习的机遇与挑战导语动机器学习能够大大减少实际研究和应用过程中对模型设计场景的模型部署中。自动机器学习的发展概况的机器学习算法往往包含众多超参数来控制学习过程和推理过程中的精细实现，算法的性能对超参数十分敏感，这对机器学习更进一步的发展和落地造成了巨大阻碍。在深度学习蓬勃发展的今天，机器学习所需要确定的超参数变得越来越多，人工智能工程师们需要选择正确的神经网络架构、优化方法、正则化方法和他们对应的超参数，才能让所设计的人工智能算法发挥更好的效果。而这一过程即使对于领域内勤于归纳和总结，才能得到一个相对来说较为优秀的人工智能系统。让计算机仅仅根据目标任务和数据集来自动化设计最合适的Google软等，也搭建了自己的自动机器学习系统，来帮助他们节省应用成本、提高应用效率、扩大应用覆盖面。1自动机器学习的构成要件自动机器学习可以和传统机器学习的任意过程结合，催损失函数搜索、优化器搜索、自动模型整合等一系列的子领1所示，按照构成要件来分解，自动机器学习可以分为搜索空间、搜索策略和样本评估策略，后两策略组合在一起组成了搜索算法的概念。搜索空间定义了自动化算法所能探索的边界，搜索策略负责指出空间中哪部分有重要探索价值、最有可能包含最优的自动机器学习算法，而样本评估策略则是根据搜索策略指出的范围，验证它们的真实性能，为搜索策略的下一步探索提供信息。虽然自动机器学习为人工智能描绘出了一个美好而又器学习领域的关键技术（如注意力机制）用领域而专门设计，对于其他领域需要重新设计自动化算习的应用价值。表达能力并被广泛应用于各种研究方向。2(a)手工设计自注意力机制（b）自动化设计自注意力机制典型的自注意机制可以被视为根据KeyQuery提取Value、QueryValue是输入数据的不同表示。适当的自注意机制表征Query2(a)所示，以前的工作都是完全依靠手工设计来获得自注意力表征，大部分工作CNNRNNGATGCN等各种、QueryValue使它们难以适应现实世界的应用。为了解决这个问题，我们提出自注意力的自动表示方法（2(b)）(1)如何获得最合适的搜索空间？一个合适的注意力表征搜索空间应该是：ii）足够灵活，以涵盖大多数最先进的注意力表征设计iii）具有较低的复杂性以简化搜索。(2)如何在参数共享中考虑每个子结构的特殊性？在上述搜索空间中，即使是同一组参数，在处理或输出不同含义的张量时，也会有不同的功能（QueryValue等）。直接应用广泛使用的参数共享策略而不考虑这些特殊的特性将无法提供可靠的架构评估。为了应对这些挑战，我们提出了一种自动注意力搜索方AutoAttend[3]，以搜索具有最佳注意力表征的模型。我们将深度网络视为一组连接层，然后将注意力表征重新表述为源层选择和操作选择过程，以构建一个灵活的、表达能力强的、统一的搜索空间。我们进一步依据人工设计注意力机制的先验约束了搜索空间，在不损失表现力的情况下降低了搜索空间复杂性。我们构建了超网络来搜索所提出的搜索空间中的最佳架构，并提出了上下文感知的参数共享机制来提供点，只在它们具有相同的上下文时共享参数。实验证明，AutoAttend能够有效提高注意力模型的泛化性。针对不同的目标任务，AutoAttend总能构造适合的注意更精细化地自动化注意力模型设计指出了方向。可靠性泛使用，以快速得出具有满意性能的模型。大的偏差，从而为给定的任务提供性能次优甚至较差的架构值得进一步探索的有前景的方向。3基于超网络的神经网络通道数搜索算法框架3个步骤。(1）超级网的构建（如何共享各个模型的权重），（2）架构采样，训练数据采样（如何选择要优化的数据和架构），以及（3）超级网的优化（如何定义损失和更新超级网的参数）的超网络参数共享方式（x所示）CVPR2021NAS挑战赛的超网络赛道中实践，赢得了并列第三名成绩。泛化性例子来对训练期间从未见到的新类别图像进行快速识别。为实例学习一个编码器，并在嵌入空间中进行无参数推理（k近邻算法）；（2）基于优化的方法，提取优化算法的元知识以实现快速适应；（3）基于黑箱或模型的方法，直接学习将数据集嵌入模型参数以进行预测。其中，（和（2）已经成为最流行的方法，并在各种小样本场景下得到验证。然而，现有的元学习算法存在着两个从未被探索的挑战。首先，大多数算法并不考虑时间和资源的限制，这阻碍了它们在许多实际应用中的应用。此外，现有方法的成功在很大程度上依赖于对每个小样本场景进行精心地超参数（我们并不能手动选择最合适的超参数。4MetaDelta流程示意图MetaDelta[4]4首先采MetaDeltaAAAI2021MetaDLNeurIPS2021MetaDL比赛的第一阶段中已大幅分数优势赢得第一。自动图学习开源系统构搜索方面已经在理论研究中取得了初步的成功。开源系统对于促进和推动图上自动机器学习的研究和应用至关重要。目前的开源系统生态社区，存在一些用于图PyTorchDeepGraphLibrary、AutoSklearnHyperoptNNI也相继问世。然而，由于自动机器学习在图上应用的挑战，现有的自动机器学习库并不能直接适配图学习任务。当前开源社区急需自动图学习开源系统的出现。5AutoG