2018年下半年深度学习技术发展最新综述

<本文内容整理自网络 深度学习与NLP>

很难跟踪像深度学习这样的快速进步领域的发展，笔者根据自己经验整理2018年下半年，深度学习领域最受关注的一些新技术，以及行业整体发展趋势。

今年早些时候，我们通过代码把最新的一些DL论文整理在网站： https://www.paperswithcode.com/，并实时更新，实现了解决这个问题的第一步。该网站是一个community资源，将最新的深度学习研究论文与代码implementation联系起来。

它也使我们能够鸟瞰整个DL领域的发展情况。我们可以看到DL最新的研究趋势是什么，哪些框架正被community采用，哪些技术正受到大家青睐。这篇博客则详细介绍了一些结果！

在这篇文章中，我们利用网站上的数据总结了2018年下半年深度学习的一些关键进展。然后，我们简要讨论了深度学习技术的未来道路。

最受欢迎的模型： BERT、Vid2Vid和Graph_Nets

谷歌AI的BERT论文（https://arxiv.org/abs/1810.04805）在十月份席卷了整个深度学习community。该论文提出了一个深度双向Transformer模型，该模型implementation了11项NLP任务的最新性能，包括斯坦福问答数据集。谷歌AI开源了他们论文的源码，这是GitHub上（https://github.com/google-research/bert），自2018年7月至写作期间获得最多星星的深度学习资源库。

NVIDIA的video-to-video合成论文（https://arxiv.org/abs/1808.06601）是生成建模的又一个惊人结果，在过去几年中，生成建模一直是最受欢迎的深度学习领域之一。本文通过一种新型的sequence generator架构，以及其他一些设计特征，如foreground-and-background priors，解决了时间不一致的问题，以提高性能。NVIDIA开源了他们的代码（https://github.com/NVIDIA/vid2vid），这是2018年下半年第二大流行的implementation。

谷歌DeepMind关于图形网络的论文（https://arxiv.org/abs/1806.01261v3）作为一种新型的结构化数据在今年年中受到了很多关注，深度学习可能会逐渐开始进入这一领域(大多数深度学习应用都是关于向量和序列的)。他们的开源库（https://github.com/deepmind/graph_nets）是2018年下半年第三大最受欢迎的implementation。

最受欢迎的community:DeOldify、BERT和Fast R-CNN

DeOldify使用SA-GANS、PG – GAN架构和two time-scale的更新规则。

DeOldify项目（https://github.com/jantic/DeOldify）得到了更广泛的深度学习community的极大关注。作者Jason Anti在生成建模领域的一些论文中implementation了一些技术，包括self-attention Gans（https://arxiv.org/a

bs/1706.08500）、progressively Gans（https://

arxiv.org/abs/1706.08500）和two time-scale（htt

ps://arxiv.org/abs/1706.08500）更新规则。在撰写本文时，该项目的代码在GitHub上有超过4000颗星。

Junseong Kim针对PyTorch的BERT implementation（https://github.com/codertimo/BERT-pytorch）也得到了DL community的大量关注。随着DL community越来越多地在两个框架中的一个框架中构建模型，非常需要在两个框架中implementation论文中的模型，这样整个深度学习community都可以使用它们。Kim的工作清楚地说明了这一点，在撰写本文时，她的implementation已经有1500多名GitHub stars。

最后，, Waleed Abdulla基于Keras / Tensorflowimplementation的Mask RCNN是Github上（https://arxiv.org/abs/1703.06870）获取star排名第三的第implementation。在架构上，该implementation使用了Feature Pyramid Network和ResNet 101 backbone，该库可以用于许多应用，如3D建筑重建、自动驾驶汽车的物体检测、地图中建筑类型的检测等。该library在GitHub上有超过8000颗星。

最活跃的领域：自然语言处理和GANs

查看前50个implementation中，最热门的领域似乎是generative methods和自然语言处理( NLP )。在generative methods中，GitHub上流行的implementation包括: Vide2Vid、DeOldify、Cyclegan和faceswaps。在NLP中，流行的GitHub存储库包括BERT、HanLP、Jieba、AlleNLP和FastText。

七分之一的论文都开源了代码

我们网站的目标之一是鼓励深入学习的研究人员在他们的研究中发布代码。你的研究没有代码吗？网站上没有你的足迹：就这么简单。以下是我们平台上复现的状态:

过去5年，已经处理了60000多份机器学习论文

在这60k篇论文中，约12 %有代码实现。

在过去的6个月中，15 %的新发表的论文(即每7篇中就有1篇)都有代码实现。

显然还有更多的工作要做，但是事情正在朝着正确的方向发展！

每20分钟，一份新的ML论文就会诞生

机器学习论文的增长率约为每月3.5 %，因为从7月份之后— 该月的年增长率约为50 %。这意味着每月大约有2200篇机器学习论文，我们预计明年会有30000篇新的机器学习论文。

参考这个速度，我们可以与摩尔定律相比较。摩尔定律显示了我们可以处理的第一级进展计算速度。机器学习可以被认为实现了学习的功能，也可以被认为是硬件和软件之上的抽象。

在过去的三年里，我们网站上的ML论文数量似乎比摩尔定律增长得更快，这让你感觉到人们相信这就是未来计算价值的来源。

这一比较想法的功劳来自Jeff Dean等人。

框架双寡头：Tensorflow和PyTorch

网站上的大多数implementation似乎都基于TensorFlow，尽管PYTORCH紧随其后。其余的框架( MXNet、Torch和caffe 2 )在生态系统中的存在要少得多。考虑到两种框架正在发生的变化—Tensorflow正朝着eager execution的方向发展，并提供给了一个易用的Kereas API，和Pytorch则更期望贴近与工业部署—我们将拭目以待这种平衡在明年内将如何变化。

前面的路

DL领域正以可复现（reproducibility）方式快速进步，但我们只有1 / 7的覆盖率这一事实意味着我们有更多的工作要做。我们认为，正式因为有更广泛的community的存在，可以有很多可重复使用的开源代码可以使用，将会有很大的作用，而不仅仅是像过去那样依赖研究人员。

特别是，我们认为“独立的ML community”— 独立于谷歌和facebook这样的大公司之外，这有助于扩大研究相关的代码的覆盖范围，也有助于我们验证论文结果是否成立。

为了实现这个目标，研究团体和开发者团体需要相互接触，这样我们就可以创造出有用的机器学习人工制品，用于现实世界的应用。只有到那时，深度学习才能充分发挥其潜力。全速前进！