<本文內(nèi)容整理自網(wǎng)絡(luò) 深度學(xué)習(xí)與NLP>

很難跟蹤像深度學(xué)習(xí)這樣的快速進(jìn)步領(lǐng)域的發(fā)展，筆者根據(jù)自己經(jīng)驗(yàn)整理2018年下半年，深度學(xué)習(xí)領(lǐng)域最受關(guān)注的一些新技術(shù)，以及行業(yè)整體發(fā)展趨勢(shì)。

今年早些時(shí)候，我們通過代碼把最新的一些DL論文整理在網(wǎng)站： https://www.paperswithcode.com/，并實(shí)時(shí)更新，實(shí)現(xiàn)了解決這個(gè)問題的第一步。該網(wǎng)站是一個(gè)community資源，將最新的深度學(xué)習(xí)研究論文與代碼implementation聯(lián)系起來。

它也使我們能夠鳥瞰整個(gè)DL領(lǐng)域的發(fā)展情況。我們可以看到DL最新的研究趨勢(shì)是什么，哪些框架正被community采用，哪些技術(shù)正受到大家青睞。這篇博客則詳細(xì)介紹了一些結(jié)果！

在這篇文章中，我們利用網(wǎng)站上的數(shù)據(jù)總結(jié)了2018年下半年深度學(xué)習(xí)的一些關(guān)鍵進(jìn)展。然后，我們簡(jiǎn)要討論了深度學(xué)習(xí)技術(shù)的未來道路。

最受歡迎的模型： BERT、Vid2Vid和Graph_Nets

谷歌AI的BERT論文（https://arxiv.org/abs/1810.04805）在十月份席卷了整個(gè)深度學(xué)習(xí)community。該論文提出了一個(gè)深度雙向Transformer模型，該模型implementation了11項(xiàng)NLP任務(wù)的最新性能，包括斯坦福問答數(shù)據(jù)集。谷歌AI開源了他們論文的源碼，這是GitHub上（https://github.com/google-research/bert），自2018年7月至寫作期間獲得最多星星的深度學(xué)習(xí)資源庫。

NVIDIA的video-to-video合成論文（https://arxiv.org/abs/1808.06601）是生成建模的又一個(gè)驚人結(jié)果，在過去幾年中，生成建模一直是最受歡迎的深度學(xué)習(xí)領(lǐng)域之一。本文通過一種新型的sequence generator架構(gòu)，以及其他一些設(shè)計(jì)特征，如foreground-and-background priors，解決了時(shí)間不一致的問題，以提高性能。NVIDIA開源了他們的代碼（https://github.com/NVIDIA/vid2vid），這是2018年下半年第二大流行的implementation。

谷歌DeepMind關(guān)于圖形網(wǎng)絡(luò)的論文（https://arxiv.org/abs/1806.01261v3）作為一種新型的結(jié)構(gòu)化數(shù)據(jù)在今年年中受到了很多關(guān)注，深度學(xué)習(xí)可能會(huì)逐漸開始進(jìn)入這一領(lǐng)域(大多數(shù)深度學(xué)習(xí)應(yīng)用都是關(guān)于向量和序列的)。他們的開源庫（https://github.com/deepmind/graph_nets）是2018年下半年第三大最受歡迎的implementation。

最受歡迎的community:DeOldify、BERT和Fast R-CNN

DeOldify使用SA-GANS、PG – GAN架構(gòu)和two time-scale的更新規(guī)則。

DeOldify項(xiàng)目（https://github.com/jantic/DeOldify）得到了更廣泛的深度學(xué)習(xí)community的極大關(guān)注。作者Jason Anti在生成建模領(lǐng)域的一些論文中implementation了一些技術(shù)，包括self-attention Gans（https://arxiv.org/a

bs/1706.08500）、progressively Gans（https://

arxiv.org/abs/1706.08500）和two time-scale（htt

ps://arxiv.org/abs/1706.08500）更新規(guī)則。在撰寫本文時(shí)，該項(xiàng)目的代碼在GitHub上有超過4000顆星。

Junseong Kim針對(duì)PyTorch的BERT implementation（https://github.com/codertimo/BERT-pytorch）也得到了DL community的大量關(guān)注。隨著DL community越來越多地在兩個(gè)框架中的一個(gè)框架中構(gòu)建模型，非常需要在兩個(gè)框架中implementation論文中的模型，這樣整個(gè)深度學(xué)習(xí)community都可以使用它們。Kim的工作清楚地說明了這一點(diǎn)，在撰寫本文時(shí)，她的implementation已經(jīng)有1500多名GitHub stars。

最后，, Waleed Abdulla基于Keras / Tensorflowimplementation的Mask RCNN是Github上（https://arxiv.org/abs/1703.06870）獲取star排名第三的第implementation。在架構(gòu)上，該implementation使用了Feature Pyramid Network和ResNet 101 backbone，該庫可以用于許多應(yīng)用，如3D建筑重建、自動(dòng)駕駛汽車的物體檢測(cè)、地圖中建筑類型的檢測(cè)等。該library在GitHub上有超過8000顆星。

最活躍的領(lǐng)域：自然語言處理和GANs

查看前50個(gè)implementation中，最熱門的領(lǐng)域似乎是generative methods和自然語言處理( NLP )。在generative methods中，GitHub上流行的implementation包括: Vide2Vid、DeOldify、Cyclegan和faceswaps。在NLP中，流行的GitHub存儲(chǔ)庫包括BERT、HanLP、Jieba、AlleNLP和FastText。

七分之一的論文都開源了代碼

我們網(wǎng)站的目標(biāo)之一是鼓勵(lì)深入學(xué)習(xí)的研究人員在他們的研究中發(fā)布代碼。你的研究沒有代碼嗎？網(wǎng)站上沒有你的足跡：就這么簡(jiǎn)單。以下是我們平臺(tái)上復(fù)現(xiàn)的狀態(tài):

過去5年，已經(jīng)處理了60000多份機(jī)器學(xué)習(xí)論文

在這60k篇論文中，約12 %有代碼實(shí)現(xiàn)。

在過去的6個(gè)月中，15 %的新發(fā)表的論文(即每7篇中就有1篇)都有代碼實(shí)現(xiàn)。

顯然還有更多的工作要做，但是事情正在朝著正確的方向發(fā)展！

每20分鐘，一份新的ML論文就會(huì)誕生

機(jī)器學(xué)習(xí)論文的增長(zhǎng)率約為每月3.5 %，因?yàn)閺?月份之后—?該月的年增長(zhǎng)率約為50 %。這意味著每月大約有2200篇機(jī)器學(xué)習(xí)論文，我們預(yù)計(jì)明年會(huì)有30000篇新的機(jī)器學(xué)習(xí)論文。

參考這個(gè)速度，我們可以與摩爾定律相比較。摩爾定律顯示了我們可以處理的第一級(jí)進(jìn)展計(jì)算速度。機(jī)器學(xué)習(xí)可以被認(rèn)為實(shí)現(xiàn)了學(xué)習(xí)的功能，也可以被認(rèn)為是硬件和軟件之上的抽象。

在過去的三年里，我們網(wǎng)站上的ML論文數(shù)量似乎比摩爾定律增長(zhǎng)得更快，這讓你感覺到人們相信這就是未來計(jì)算價(jià)值的來源。

這一比較想法的功勞來自Jeff Dean等人。

框架雙寡頭：Tensorflow和PyTorch

網(wǎng)站上的大多數(shù)implementation似乎都基于TensorFlow，盡管PYTORCH緊隨其后。其余的框架( MXNet、Torch和caffe 2 )在生態(tài)系統(tǒng)中的存在要少得多。考慮到兩種框架正在發(fā)生的變化—Tensorflow正朝著eager execution的方向發(fā)展，并提供給了一個(gè)易用的Kereas API，和Pytorch則更期望貼近與工業(yè)部署—我們將拭目以待這種平衡在明年內(nèi)將如何變化。

前面的路

DL領(lǐng)域正以可復(fù)現(xiàn)（reproducibility）方式快速進(jìn)步，但我們只有1 / 7的覆蓋率這一事實(shí)意味著我們有更多的工作要做。我們認(rèn)為，正式因?yàn)橛懈鼜V泛的community的存在，可以有很多可重復(fù)使用的開源代碼可以使用，將會(huì)有很大的作用，而不僅僅是像過去那樣依賴研究人員。

特別是，我們認(rèn)為“獨(dú)立的ML community”—?獨(dú)立于谷歌和facebook這樣的大公司之外，這有助于擴(kuò)大研究相關(guān)的代碼的覆蓋范圍，也有助于我們驗(yàn)證論文結(jié)果是否成立。

為了實(shí)現(xiàn)這個(gè)目標(biāo)，研究團(tuán)體和開發(fā)者團(tuán)體需要相互接觸，這樣我們就可以創(chuàng)造出有用的機(jī)器學(xué)習(xí)人工制品，用于現(xiàn)實(shí)世界的應(yīng)用。只有到那時(shí)，深度學(xué)習(xí)才能充分發(fā)揮其潛力。全速前進(jìn)！