AI 科技评论按：过去数年间，研究者和企业都试图通过提供可获得的预训练计算机视觉或机器翻译模型，来让更多非专业人士用上深度学习方法。将预训练模型用到另一项任务上的方法，就是我们所说的迁移学习，但是这种方法依旧要求使用者具备一定的专业度，能够对在另一个数据集上运行的模型进行微调。因而如果有方法能够将这一步骤完全自动化，可以让更多的使用者从迄今为止机器学习领域所取得的重大突破受益。

　　该方法就是自动机器学习(AutoML)，它能够涵盖预测建模的多个部分，例如架构搜索、超参数优化等等。

　　近期，能够为某个给定的数据集搜索到「最佳」架构的架构搜索方法取得了突破性进展，因而在本文中，我将聚焦架构搜索部分展开讨论。其中，文中展示的结果，是基于与 Jonathan Lorraine 合作进行的工作得来的。

　　首先大家需要了解的是，仅有单个隐藏层和非线性激活函数的神经网络，在该层有足够多神经元的情况下(即万能近似定理，UAT)，是能够表示任意函数的。

　　然而，这种简单的架构，虽然理论上能够学习任意函数，但是并不能表示出现在人类视觉皮层的分层过程。

　　神经网络架构假定一个归纳偏置、浅层、宽广并且不使用卷积的网络，在图像法分类任务上的表现要比深度卷积网络差得多。因此，为了让神经网络实现泛化，同时不会过度拟合训练数据集，找到归纳偏置正确的架构是至关重要的(不管架构是否由大脑所驱动)。

　　NAS 是谷歌推出的一项有启发性的工作，后续推动了 ENAS、PNAS、DARTS 等工作的出现。它涉及到使用强化学习(RL)来训练循环神经网络(RNN)控制器，从而自动生成架构。之后，这些架构对其权重进行训练并在验证集上进行评估。它们在验证集上的性能就是控制器的奖励信号，后续可以增加生成表现良好的架构的概率，以及降低生成表现不佳的架构的概率。

　　对于没有技术基础的读者而言，NAS 基本上还需要他们完成这一步骤：手动调节神经网络并学习哪种方法的表现更好，最终将表现最好的方法自动化。自动创建神经网络架构的思想一开始并非由 NAS 提出，因为很久之前就有其他方法用上了诸如遗传算法等方法，但是 NAS 有效地使用了 RL 来高效地搜索到能够实现详尽搜索的空间。