在 NeurIPS 的第一届 Expo 上，百度向 NeurIPS 2018 年大会参与者展现了什么？
近日，国际人工智能顶级会议 NeurIPS 2018 在加拿大蒙特利尔开幕。今年，除了更改了会议名称缩写，与往届 NIPS 还有所不同的是增加了面向产业的 Expo，以 Talk&Panel、Workshop、Demonstration 的形式展现产业界人工智能研究成果。
百度作为国内最早投身 AI 领域的科技巨头，今年不仅数篇学术论文入选 NeurIPS 2018，百度大数据实验室于当地时间 12 月 2 日组织了一场主题为《Common Model Infrastructure》的 Workshop，邀请了来自谷歌、微软、XPrize 的研究者，就自动机器学习这一专题进行分享，百度方面也介绍了自己在这方面的研究成果。
在 Keynote 演讲中，百度大数据实验室主任浣军就百度自动深度学习的技术进展 AutoDL 做了分享。百度深度学习技术平台部总监马艳军介绍了 2016 年百度开源的深度学习框架 PaddlePaddle，及其产业化应用。
百度打造自动化深度学习引擎 AutoDL
2015 年 ResNet 的出现使得深度学习架构的层数和超参数数量暴增，这给研究员搭建和调试优化模型带来了巨大的挑战。自动化机器学习技术能大幅度地减少研究员搭建模型的时间，也为那些缺乏深度学习技能的研究团队提供了一个可以搭建定制化模型的平台。
百度在今年 7 月举办的 AI 开发者大会上首次提出 AutoDL 1.0，利用深度学习来设计深度学习网络架构，并于四个月后的百度世界大会上推出 AutoDL 2.0，进一步完善其功能。浣军表示，百度提出 AutoDL 的目的是希望通过开放、普惠的人工智能让更多中小企业同样能享受到人工智能的红利。
在演讲中，浣军详细介绍了 AutoDL 的设计特色和现有能力。AutoDL 主要由三个部分组成：第一部分是模型设计，即自动化机器学习的神经架构设计方法；第二部分是模型适配，即神经网络如何根据不同的任务目标和硬件设备生成与之适配的模型；第三部分模型迁移，即将预训练好的模型架构应用在特定的小数据集上。
首先是模型设计。和市面上已有的产品相比—包括谷歌的 Cloud AutoML、微软的 Custom Vision Services、亚马逊的 Amazon ML、Salesforce 的 TransmogrifAI —AutoDL 从功能上更完整，能实现包括神经网络结构搜索、自动模型选择、和自动超参数调整等功能，AutoDL 设计效果也居于业内前列。
AutoDL 的搜索方法主要基于深度强化学习，从头开始搜索神经网络架构，即神经架构搜索。AutoDL 的设计架构中，存在一个「模型编码器」和「模型测评器」。「模型编码器」是一个循环神经网络，将构建架构的模块组合在一起获得一个新的网络架构。「模型测评器」训练这个架构并且希望模型架构能够收敛，最后获得新的准确率会作为奖励反馈给「模型编码器」。通过这种循环，AutoDL 相比人工搭建与调试能获得性能更好的模型。
浣军强调说，为了解决自动化机器学习的设计过程所出现过拟合问题，百度的研究员使用了一组正则化方法，包括混合（mix-up）和摇摇（shake-shake），并且开发了基于 Rademacher 复杂度的正则化，来保证泛化能力。以下是实验结果。
其次是模型适配。人工智能应用不只是在云端，如何让庞大的、复杂的深度学习模型在边缘计算以及终端计算上发挥作用，保证模型推理准确性的同时减少模型的规模以适配算力和内存较小的硬件设备，已经成为人工智能技术提供商的主要挑战。今年，模型压缩和自动化机器学习两个领域的交叉研究是工业界热议的话题（可参见机器之心过去报道的韩松和李佳的研究）。
浣军以图像分类和物体识别问题举例，百度实现了文献中的最新进展 3D-FilterMaps。相比于传统卷积层中的一组独立过滤器（Filter），从 3D - FilterMap 中提取的过滤器作为重叠的 3D 子矩阵，相邻过滤器之间的权重共享。由于权重共享，当 3D - FilterMap 生成相同数量的过滤器时，其参数大小比传统卷积层中要学习的滤波器小得多。3D-FilterMaps 的主要作者现在是百度大数据实验室的研究员。
实验证明，在 CIFAR-10 数据集上，压缩后的 ResNet-50 模型在参数数量只有 1/6 的情况下，准确率竟然还提升了 0.04%；压缩后的 DenseNet121 在参数数量只有 1/5 的情况下，准确率只降低了 0.03%。
最后是模型迁移。将预训练好的模型应用在特定的小数据集上是目前主要的迁移方法，它能高效快速地完成部分权重的训练。由于性能受到了特定数据集大小的限制，目前业内已经研究了一些正则化方法，用 SPAR（起点作为参考）来约束目标网络的外层权重。
百度大数据实验室的研究员提出了一种新的正则化转移学习框架—Deep Learning Transfer Using Feature Map With Attention (DELTA)，旨在保留目标网络的外层输出，而不是约束神经网络的权重。除了最小化经验损失之外，DELTA 还可以通过约束由注意力机制精确选择的特征图的子集来对齐两个网络的外层输出。实验结果表明，该方法在新任务中（包括家具分类、商品搜索分类、重叠细胞分类等）实现了更高的准确率，优于传统的基准水平。该论文已经递送至 ICLR 2019 。
在和机器之心的交流中，浣军表示，内部应用和外部产业是 AutoDL 的实际应用场景。内部应用有百度零基础定制化训练和服务平台 Easy DL，一站式开发平台 AI Studio，以及可视化大数据分析与开发环境 Jarvis；外部产业运用则有例如工业质量检测，医疗健康管理等。
自动化机器学习还有很长的路要走，目前刚刚处于研发落地的阶段。浣军表示，百度将在未来重点关注深度神经网络本身的不透明、以及自动设计或会带来的不易解释性。
百度深度学习技术平台部总监马艳军在 Workshop 中也同期做了主题演讲。他介绍了 2016 年百度开源的深度学习框架 PaddlePaddle，以及它在产业向的应用。
面向企业与开发者的深度学习平台 PaddlePaddle
2016 年，百度开源 PaddlePaddle 框架，成为国内科技巨头最早开源的深度学习框架。如今经过两年的发展，百度 PaddlePaddle 已经走向成熟，成为适合中国开发者和企业的深度学习工具。
今年 7 月，百度开发者大会正式发布了深度学习平台 PaddlePaddle 3.0，其中开源的新一代深度学习框架 Paddle Fluid 也在不久前更新到了成熟的 1.1.0 版本。马艳军在演讲中向 NeurIPS 2018 参会者介绍了以深度学习框架为核心的套件 PaddlePaddle Suite，它为开发者（或非开发者）提供了完整的深度学习开发流程。如下所示 PaddlePaddle Suite 自底向上提供了核心框架、模块和服务平台「三大件」。
马艳军表示，该套件从数据预处理到模型部署为深度学习的整个开发和应用流程提供了完整的工具。其中核心框架是从头构建模型的基础，具有安全、高效、表现稳定的特性。而模块与组件可以帮助快速训练与试验模型。
他在研讨会中介绍道，现如今各行各业都在尝试运用人工智能，PaddlePaddle Suite 最顶层的服务平台会为开发者提供整体流程支持，在他看来，互联网产业对于人工智能的采用最多。然而，其他产业在相对缺乏专业人才的情况下，EasyDL 可以为完全没有基础的用户提供自动化的机器学习模型。AI Studio 提供了各种竞赛教程与免费 GPU 资源；今年百度 7 月份公布的 Auto DL 可通过网络结构自动化设计技术让更多中小企业运用 AI。
马艳军在接受机器之心专访时曾表示过，「套件中服务平台、核心框架、模块及组件三部分都是相互有联系的，模块与组件都是依托核心框架所做的工具，而平台是基于核心框架与组件所搭建的系统。例如在组件中，Visual DL 能可视化整个训练和测试过程，包括损失函数的变化、模型计算图和中间生成的图像等。而 PARL 是深度强化学习框架性质的组件，它相当于提供了一套强化学习模型、算法和函数等，这些都还是基于核心框架的。」
此外对于 PaddlePaddle 在技术上的优势，马艳军表示其主要体现在官方模型支持、移动端推理加速和超大规模并行训练三方面。在官方模型支持上，Paddle 针对推荐系统、视觉任务和自然语言处理等领域维护了大量优秀且稳定的模型。官方支持不仅表示这些模型是没问题的，同时还表示不论怎样更新 PaddlePaddle，不论在什么环境下，这些模型也都是跑得动的。
在移动端加速方面，马艳军表示 Paddle Mobile 对移动端硬件的支持基本上是所有框架中最完整的，且现在已经支持最主流的 90% GPU。最后，PaddlePaddle 还在超大规模的并行深度学习上有显著特色，对超大规模稠密参数和稀疏参数场景都进行了完善的支持，包括大规模异构计算集群、异步训练和同步训练模式、以及千亿级稀疏特征任务在数百个节点的并行训练。
此次 Workshop 是百度大数据实验室主任浣军博士与圣地亚哥超算中心资深研究员 Dr. Chaitan Baru 共同组织的。Workshop 演讲嘉宾还包括 Google Brain 资深算法工程师 Mr. Quentin de Laroussilhe, Microsoft 资深数据工程师 Mr. Olivier D. Martin，和 XPrize 总经理 Dr. Amir Banifatemi。
小结
除了在 NeurIPS Expo 展会环节组织了一场产学研讨会，作为本届大会的白金赞助商，百度在为期一周的 NeurIPS 2018 大会上还有诸多技术展示。据机器之心了解，今年百度有数篇论文被 NeurIPS 2018 接收，其中一篇为 Spotlight(3.5%)。此外，在 12 月 2 日的 Expo 中，百度还 demo 演示了他们最新的中英同传技术。在 Booth 展示中，除了中英同传技术，百度还向参会者呈现了用于检测眼底疾病的 AI 眼底相机。