自己设计自己？谷歌深度学习软件之神经 络模型自我设计(内附开源实现)

选文| 李韩超 翻译| 袁梦 张一 许峰

泡泡机器人推广内容组编译作品

01

5月份，谷歌透露其AutoML 项目；人工智能（AI），旨在帮助他们创建其他AI项目。

现在，谷歌已经宣布AutoML 在由人设计系统的“游戏”中击败AI工程师，机器学习软件比由人类设计的最好的系统更加高效和强大。

一个AutoML 系统最近打破了分类图像的记录，评分达到82%。

虽然这是一个相对简单的任务，但在一个对自主机器人和增强现实不可或缺的、更复杂的任务中，也就是在图像中标记多个对象的位置的任务，AutoML击败了由人类建立的系统。对于这项任务，autonomous 得分43%，而人类建立的系统得分只有39%。

从表面上看，这听起来像是一件可能导致奇异的失控演变，但事实上，谷歌正在努力让这不可思议的机器学习力量掌握在普通人的手中。

Googlenet架构:这个 络的设计从最初版本的卷积架构经过多年的仔细研究和完善。

在一篇关于该项目的博客中，谷歌首席执行官桑达尔·皮查伊表示，“我们希望AutoML能具有几个博士今天拥有的能力，并且将在三至五年内，能够根据成千上万的开发者的特别需求，为他们设计新的神经 络。”

02

神经 络是一种模仿人类大脑的计算机系统，通常以这样的方式阐述:

一个神经 络的实例

这并不是一个疯狂的想法。如果我们想用机器学习来解决一个问题，通常的做法是，机器学习专家要提供一个已经构建的神经 络来完成问题所需要的基本类型的计算。而另一方面，AutoML尝试了一些可能合适的算法，基本上测试完全不同的神经 络架构，然后对目标进行评分。不需要人类的监督，随着时间的推移，这个过程会找到这个问题的最佳数学方法和最佳的实现方式。最后的神经 络不必仅使用这些算法中的一种，也可以包括多个元素（如果这更有用）。

今天，设计更好的机器学习模型是很耗费时间的。这是一些工程师和科学家的辛勤努力。我们希望成千上万的开发人员能够使用机器学习。所以，一个更好的方法是让神经 络自己设计更好的神经 络。我们称这种方法为AutoML，正在学习如何学习。所以它的工作方式是我们取一组候选神经 络，可把它们想象成baby neural nets，我们用一个neural egg来迭代它们，直到我们到达best neural net。我们采用强化学习的方法，目前的结果是很有前景的。我们已经在标准任务中（比如图像识别）接近最先进的技术。每当我和团队一起思考神经 络构建他们自己的神经 络时，会让我想起电影《盗梦空间》，我告诉他们我们必须再深入研究。(此段取自Sundar Pichai在Google I/O 2017所讲)

03

理论上，如果只是针对现在的简单问题，AutoML方法应该能够设计更有效的神经 络，但是更有效率的AI创作对人类来说更加不可思议。下图是Google提供的AutoML的演示实例，给定一个大的图像数据库进行分类，它设计的神经 络，类似且略高于由Google的工程师设计的 络。看着AutoML设计的神经 络，令工程师们迷疑惑的是他们并不知道该 络和它们之间的区别是否是真正的改进。由于他们自己并没有提出神经 络，所以他们一开始并不完全确定。

左图，人类尝试使用最好的，最有效的神经 络来处理特定的图像数据库。右图，AutoML设计的神经 络具有Google表示的额外节点，类似于人类研究人员最近提出的改进。

尽管如此，AutoML的最大目标并不是让人们远离开发的过程，而是让AI继续革新世界。旨在降低下一代机器学习学生的入门门槛，至少是最简单和最常见的应用。

AutoML是我们在已有的正常编码中看到的极端民主化过程的开始。HTML有Dreamweaver，机器学习则可以在AutoML的模具中通过运行一整套AI-building AI达成类似的拖放方式。

所以，可以肯定的是最终AutoML可以设计出更好的AI。它可以帮助打开一个机会逐渐减少的人才行业。AutoML虽然达不到Google顶级工程师的理论和数学水平，但是普通人也无法让Google的顶级工程师为自己解决问题。通过使用AutoML，Google可以让普通人也能成为一名AI工程师。

两个开源的实现：

Code： automl https://github.com/automl

tpot https://github.com/rhiever/tpot

Paper

[1] Large-Scale Evolution of Image Classifiers, Esteban Real, Sherry Moore, Andrew Selle, Saurabh Saxena, Yutaka Leon Suematsu, Quoc Le, Alex Kurakin. International Conference on Machine Learning, 2017.

[2] Neural Architecture Search with Reinforcement Learning, Barret Zoph, Quoc V. Le. International Conference on Learning Representations, 2017.