CMU、斯坦福等知名AI实验室、团队AI成果大总结

【新智元导读】本文总结了2018年里，学术界各大AI大咖、知名实验室的杰出成果，包括Hinton、LeCun、吴恩达、谷歌、MIT、UC Berkeley等。

 

2018年，AI的发展可谓是大步向前。

 

这离不开学术界的实验室和科研团队不懈的努力。本文总结了2018年，各个AI大咖、知名实验室的杰出成果，包括Hinton、LeCun、吴恩达、谷歌、MIT、UC Berkeley等。

 

涵盖AI众多领域，可谓是AI发展的风向标。

 

Geoffrey Hinton

 

CMU、斯坦福等知名AI实验室、团队AI成果大盘点

 

Geoffrey Hinton，被称为“神经网络之父”、“深度学习鼻祖”，他曾获得爱丁堡大学人工智能的博士学位，并且为多伦多大学的特聘教授。在2012年，Hinton还获得了加拿大基廉奖(Killam Prizes，有“加拿大诺贝尔奖”之称的国家最高科学奖)。2013年，Hinton 加入谷歌并带领一个AI团队，他将神经网络带入到研究与应用的热潮，将“深度学习”从边缘课题变成了谷歌等互联网巨头仰赖的核心技术，并将BP算法应用到神经网络与深度学习。

 

Hinton在2017年的NIPS会议上提出的胶囊网路，基于一种新的结构，通过与现有的卷积神经网络（CNN）相结合，在一些图像分类的数据上取得了非常优越的性能，成为了2018年的发展新趋势。

 

2018年4月，Hinton 团队发布

 

《Large Scale Distributed Neural Network Training Through Online Distillation》（https://arxiv.org/pdf/1804.03235.pdf ），通过online distillation进行大规模分布式神经网络训练。该工作提出了Codistillation的概念，通过大规模实验，发现codistillation方法提高了准确性并加快了训练速度，并且易于在实践中使用。

 

在11月发表的《DARCCC:Detecting Adversaries by Reconstruction from Class Conditional Capsules》（https://arxiv.org/abs/1811.06969?context=cs ）中，他的团队提出重构网络可以视作检测对抗性攻击的非常有效的方法：从获胜的顶层胶囊的身份和姿态参数中重构输入，以验证网络能够感知我们期望它从某个类的典型样例中感知的东西。

 

Yann LeCun

 

CMU、斯坦福等知名AI实验室、团队AI成果大盘点

 

Yann LeCun 是美国工程院院士、Facebook前人工智能研究院院长、纽约大学Sliver教授，同时还兼职于科学数据中心，数学科学交流学院，神经科学中心，以及电子工程计算机系。他于2003年加入纽约大学，之后还在普林斯顿的NEC研究院短暂任职。在2012年，他创建了纽约大学数据科学中心，并担任主任。2013年底，他被任命为Facebook人工智能研究总监, 并继续在纽约大学做兼职教授。2015-2016年，他在巴黎法兰西工学院做客座教授。Lecun创立的卷积网络模型，被广泛地应用于计算机视觉和语音识别应用里，也因此他被称为卷积网络之父，是公认的世界人工智能三巨头之一。

 

2018年4月，Yann LeCun 等人发表了一篇针对未来实例分割预测的论文《Predicting Future Instance Segmentation by Forecasting Convolutional Features》（https://arxiv.org/abs/1803.11496）。该论文提出了一种预测模型，可通过预测卷积特征来对未来实例分割进行预测。

 

前不久，Lecun等人在论文《Model-Predictive Policy Learning with Uncertainty Regularization for Driving in Dense Traffic》（http://arxiv.org/abs/1901.02705v1 ）中提出通过随多个时间步骤展开环境动态学到的模型来训练一个策略的方法，同时明确地惩罚了两个成本：优化策略时的原始成本；表示训练状态离散的不确定成本。最后，研究人员使用大规模驾驶行为数据集对此方法进行了评估，结果显示能够从存粹的观察数据中有效学习驾驶策略，不去要环境交互。

 

Yoshua Bengio

 

CMU、斯坦福等知名AI实验室、团队AI成果大盘点

 

yoshua bengio，蒙特利尔大学（Université de Montréal）的终身教授，同时是蒙特利尔大学机器学习研究所（MILA）的负责人，是CIFAR项目的负责人之一，负责神经计算和自适应感知器等方面，又是加拿大统计学习算法学会的主席，是ApSTAT技术的发起人与研发大牛。Bengio在蒙特利尔大学任教之前，是AT&T贝尔实验室&MIT的机器学习博士后。他的主要贡献在于他对循环神经网络（RNN, Recurrent Neural Networks）的一系列推动，包括经典的neural language model，gradient vanishing 的细致讨论，word2vec的雏形，以及machine translation。Bengio是Deep Learning一书的合著者，且Bengio的”A neural probabilistic language model”论文开创了神经网络的语言模型 language model先河，里面的思路影响了之后的很多基于神经网络做NLP的文章。

 

9月份，Bengio 等研究者在论文《Learning deep representations by mutual information estimation and maximization》提出了 Deep INFOMAX（DIM）（https://arxiv.org/abs/1808.06670v2 ）。该方法根据信息内容和统计或架构约束来学习表示，可用于学习期望特征的表示，并且在分类任务上优于许多流行的无监督学习方法。他们认为，这是学习好的和更有条理的表示的一个重要方向，有利于未来的人工智能研究。

 

10月份，Bengio 研究团队提出了一种称为 BabyAI 的研究平台，支持将人类加入到语言学习的基本循环中。BabyAI 平台由难度递增的 19 个层级组成。支持智能体获取具有丰富组合的合成语言，并提供了用于模拟人类教师的启发式专家。

 

NIPS2018中，Bengio的《Dendritic cortical microcircuits approximate the backpropagation algorithm》（http://papers.nips.cc/paper/8089-dendritic-cortical-microcircuits-approximate-the-backpropagation-algorithm.pdf ），介绍了一个简化的树突室的多层神经元网络模型，其中错误驱动（error-driven）的突触可塑性使网络适应一个全面性的期望输出。这个框架框架与最近观察到的大脑区域和皮质微电路结构之间的学习是一致的。

 

Bengio 等研究者在前不久的最新论文《Quaternion Recurrent Neural Networks》中，提出了一种新的四元循环神经网络（QRNN）以及相应的四元长短期记忆网络（QLSTM），将四元代数的外部关系和内部架构依赖性皆考虑在内。实验证明，与 RNN 和 LSTM 相比，QRNN 和 QLSTM 都在自动语音识别等实际应用中达到了更好的性能。

 

吴恩达Andrew Ng

 

CMU、斯坦福等知名AI实验室、团队AI成果大盘点

 

吴恩达，华裔美国人，是斯坦福大学计算机科学系和电子工程系副教授，人工智能实验室主任。吴恩达是人工智能和机器学习领域国际上最权威的学者之一。吴恩达也是在线教育平台Coursera的联合创始人（with Daphne Koller）。

 

2018年5月，吴恩达团队在MURA数据集上发起了一项深度学习挑战赛， 这个数据集是他们团队在2018年1月开源的一个骨骼 X 光片的大型数据集，总共有 40561 份多视图放射线影像。

 

7月的时候，该团队开发出了一种使用人工智能来预测病人死亡时间的系统，该系统可以为病人提供更好的临床关怀。研究人员提出了一种新的预报检验方法 Survival-CRPS，通过优化连续分级概率评分（continuous ranked probability core, CRPS）来提高预报的锐度（sharpness, 评价模式预测极值的倾向），同时保持预报的校准度（calibration, 评价模型预测值的数值大小和结局事件发生概率的大小是否一致）。这是科学界首次将最大似然法之外的评分方法成功应用于大型生存预测任务。

 

11月底，团队发布了一个名为CheXNeXt的X光诊断算法。与曾经的肺炎检测专门算法不同，该模型可以诊断14种疾病，包括肺炎、胸腔积液、肺肿块等等。在其中10种疾病的诊断上，AI都与人类放射科医生的表现相当，还有一种超过了人类。并且，AI的诊断速度是人类的160倍。团队说，这样的算法有希望填补医疗资源的短缺，也可以用来减少人类医生因为疲劳而导致的诊断错误。

 

11月28日，团队宣布在《公共科学图书馆》期刊发表关于膝关节磁共振成像的深度学习辅助诊断的最新研究。该团队表示，他们开发了一种算法来预测膝关节核磁共振检查中的异常，并测量了在解释过程中向放射科医师和外科医生提供算法预测的临床效用。

 

此外在年底的时候，吴恩达又发布了《AI 转型指南》，面向公司管理层，介绍AI产业转型的一些方法。

 

2019年年初，也就是前不久，他们斯坦福团队又在Nature Medicine上发表了一项研究，开发了一种深度神经网络，可基于单导程 ECG 信号分类 10 种心率不齐以及窦性心律和噪音，性能堪比心脏病医生，准确度高达83.7%，超过了人类心脏病医生的78.0%。

 

Ian Goodfellow

 

CMU、斯坦福等知名AI实验室、团队AI成果大盘点

 

Ian Goodfellow，人工智能领域的顶级专家，因提出了生成对抗网络（GANs）而闻名，被誉为“GANs之父”。他从斯坦福大学获得计算机科学学士、硕士学位以及博士学位。毕业后，Goodfellow加入Google，成为Google Brain研究团队的一员。然后他离开谷歌加入新成立的OpenAI研究所。Ian Goodfellow 在OpenAI短暂工作后，于2017年3月从OpenAI重回谷歌Goodfellow最出名的是发明了生成性对抗网络，这是Facebook经常使用的机器学习方法。他也是Deep Learning教科书的主要作者。2017年，Goodfellow被麻省理工学院技术评论评为35位35岁以下的创新者之一。

（编辑：萍乡站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!