CMU、斯坦福等知名AI实验室、团队AI成果大总结

 

6月的时候还发布了迄今为止规模最大、最多样化的开放驾驶视频数据集BDD100K。该数据集共包含 10 万个视频，BAIR 研究者在视频上采样关键帧，并为这些关键帧提供注释。此外，BAIR 还将在 CVPR 2018 自动驾驶 Workshop 上基于其数据举办三项挑战赛。

 

10月18日，BAIR开源了DeepMimic（https://xbpeng.github.io/projects/DeepMimic/index.html ）。DeepMimic使用强化学习技术，用动作捕捉片段训练模型，教会了AI智能体完成24种动作，包括翻跟斗、侧翻跳、投球、高踢腿等等，动作非常流畅自然。

 

BAIR的研究人员还提出了一种从视频中学习技能的框架（skills from videos，SFV），结合了前沿的计算机视觉和强化学习技术构建的系统可以从视频中学习种类繁多的技能，包括后空翻和很滚翻等高难度动作。同时智能体还学会了在仿真物理环境中复现这些技能的策略，而无需任何的手工位姿标记。

 

BAIR年末的一篇《Visual Foresight: Model-Based Deep Reinforcement Learning for Vision-Based Robotic Control》（https://arxiv.org/abs/1812.00568 ）论文中，提出了一种自我监督的基于模型的方法，在这种方法中，预测模型学习直接从原始感官读数（如摄像机图像）预测未来，证明了可视化MPC可以概括为从未见过的对象并使用相同的模型解决一系列用户定义的对象操作任务。

 

蒙特利尔大学 : MILA（Montreal Institute for Learning Algorithms）

 

加拿大蒙特利尔现在被媒体称作是人工智能的“新硅谷”。加拿大广播公司报道说，这个功劳，主要归功于“深度学习三巨头”之一的Yoshua Bengio。他是MILA（Montreal Institute for Learning Algorithms）的创始人，带领团队进行人工智能研究已经有超过10年的时间。由蒙特利尔大学 (University of Montreal )的计算机学教授Yoshua Bengio带领，MILA在深度学习（deep learning）和深度神经网络（辨别型和生成型）(deep neural networks, both discriminative and generative)等领域都有开创性研究，并应用到视觉、语音和语言方面等领域。

 

4月，MILA提出了一种有助于提升深度网络在应对对抗攻击方面的稳健性的模型：防御增强型网络（Fortified Networks）。该研究已提交 ICML 2018 （https://arxiv.org/abs/1804.02485v1 ）。

 

10月，Yoshua Bengio及其小组提出了一个叫做「BabyAI」的研究平台用来训练人工智能从头学习和理解人类语言，每个单词背后的意思到底是什么。该平台包括一个有效模拟的网格世界环境（MiniGrid）和一些被称之为Level的指令跟随任务，全部由合成语言的子集（婴儿语言）形成。平台还提供了一个模拟人类的启发式专家，用于模拟人类教师。

 

斯坦福：SAIL（Stanford Artificial Intelligence Laboratory）

 

去年一年里，SAIL所获得的最佳论文：

 

Yuanzhi Li, Tengyu Ma, Hongyang Zhang. Algorithmic Regularization in Over-parameterized Matrix Sensing and Neural Networks with Quadratic Activations. Best paper award at COLT 2018.

 

在论文中探讨了了梯度下降法为训练过参数化的矩阵分解模型，以及使用二次函数作为激活函数 的单隐含层神经网络提供了隐式的正则化效果。

 

Pranav Rajpurkar, Robin Jia, Percy Liang. Know What You Don’t Know : Unanswerable Questions for SQuAD.. Best short paper ACL 2018.

 

在这篇论文中，SAIL提供了SQuAD 2.0，这是斯坦福问答数据集（SQuAD）的最新版本。SQuAD 2.0将现有的SQuAD数据与5万多个无法回答的问题结合在一起，这些问题由众包人员以相反的方式撰写，看起来与可回答问题类似。为了在SQuAD 2.0上取得好成绩，系统不仅必须尽可能回答问题，还要确定何时段落不支持答案并且不回答问题。SQuAD 2.0对于现有模型来说是一个具有挑战性的自然语言理解任务：在SQuAD 1.1上获得86% F1的强大的神经系统在SQuAD 2.0上仅获得66%F1。

 

Rob Voigt, Nicholas P. Camp, Vinodkumar Prabhakaran, William L. Hamilton, Rebecca C. Hetey, Camilla M. Griffiths, David Jurgens, Dan Jurafsky, and Jennifer L. Eberhardt. Language from police body camera footage shows racial disparities in officer respect. Cozzarrelli Prize (best paper in PNAS).

 

这篇论文利用随身携带的摄像机拍摄的录像，分析了警察语言在日常交通中对白人和黑人社区成员的尊重程度，发现即使在控制了警察的种族、违法行为的严重程度、停车地点和停车结果之后，警察对黑人和白人社区成员的尊重程度也一直较低。

 

Amir Zamir, Alexander Sax, William Shen, Leonidas Guibas, Jitendra Malik, Silvio Savarese. Taskonomy：Disentangling Task Transfer Learning. Best paper award at CVPR 2018.

 

这篇论文提出了一种计算不同任务相似性的方法，以及利用不同任务相似性，在少量训练数据条件下进行多任务组合学习的分配方法。文章的最终目标是通过计算任务相似性，进一步计算选取针对目标任务的多任务组合进行训练，并实现以少量数据尽可能接近全监督学习的性能。

 

Zi Ye, Olga Diamanti, Chengcheng Tang, Leonidas Guibas, Tim Hoffmann. A unified discrete framework for intrinsic and extrinsic Dirac operators for geometry processing. 1st Place best paper award at SGP 2018.

 

本文考虑了一对离散的Dirac算子，后者对应于每个面上定义了多边形面和正态线的离散面，并证明了光滑理论的许多关键性质。特别地，讨论了相应的自旋变换、它们的保角不变量以及这一算符与其内在对应算符之间的关系。

 

Jingwei Huang, Yichao Zhou, Matthias Nie?ner, Jonathan Shewchuk, Leonidas Guibas. QuadriFlow: A Scalable and Robust Method for Quadrangulation. 2nd Place best paper award at SGP 2018.

 

本文提出的算法是在Instant Field-Aligned Meshes 这篇文章的基础提出的。本文提出了一种有效的方法，通过将实时网络目标与线性和二次约束系统相结合来最小化奇点。通过解决全局最小成本网络流问题和本地布尔满意度问题来实施这些约束。利用本文算法生成的四边形质量与其他方法一样好，而且运行速度较快。其他的外部算法产生的奇点比较慢，本文的算法花费不到10秒钟来处理每个模型。

 

Hongseok Namkoong, John Duchi. Variance-based Regularization with Convex Objectives. Best paper award at NIPS 2017.

 

这篇文章研究了一种风险最小化和随机优化的方法，该方法可以为方差提供一个凸属性的替代项，并允许在逼近和估计误差间实现近似最优与高效计算间的权衡。

 

卡内基梅隆大学

 

卡内基梅隆大学（Carnegie Mellon University）一直是众所周知的计算机领域大牛。自人工智能（Artifical Intelligence）领域创建以来，卡内基梅隆大学一直在全球引领AI的研究、教育和创新。在18年秋季，其计算机学院开设全美第一个人工智能本科专业。

 

CMU团队最新的主要研究成果如下：

 

CMU的陈鑫磊（现Facebook 研究科学家）、Abhinav Gupta，谷歌的李佳、李飞飞等人提出的一种新型推理框架《Iterative Visual Reasoning Beyond Convolutions》（https://arxiv.org/abs/1803.11189 ），其探索空间和语义关系的推理性能大大超过了普通卷积神经网络，被评为 CVPR 2018 大会 Spotlight 论文。

 

年中时候，在读博士刘寒骁、DeepMind 研究员 Karen Simonyan 以及 CMU 教授杨一鸣提出的「可微架构搜索」DARTS 方法基于连续搜索空间的梯度下降，可让计算机更高效地搜索神经网络架构。该研究的论文《DARTS: Differentiable Architecture Search》（https://arxiv.org/abs/1806.09055 ）一经发出便引起了 Andrew Karpathy、Oriol Vinyals 等学者的关注。研究者称，该方法已被证明在卷积神经网络和循环神经网络上都可以获得业内最优的效果，而所用 GPU 算力有时甚至仅为此前搜索方法的 700 分之 1，这意味着单块 GPU 也可以完成任务。

 

10月份的时候，来自英特尔实验室和卡内基梅隆大学的研究员提出了一种用于序列建模的新架构Trellis Network。研究员声称，Trellis Network吸收了循环神经网络和卷积神经网络中的结构和算法元素。实验证明，Trellis Network在各种具有挑战性的基准测试中表现都优于当前的技术水平，包括Penn Treebank和WikiText-103。

 

在今年年底，NIPS 2018 对抗视觉挑战赛中， CMU 邢波团队包揽两项冠军，另一项冠军则由来自加拿大的 LIVIA 团队斩获，清华 TSAIL 团队获得“无针对性攻击”的亚军。本次比赛共分为三个单元：防御、无针对性攻击和有针对性攻击。

 

CMU、北大和 MIT 的研究者在年底发表了论文《Gradient Descent Finds Global Minima of Deep Neural Networks》（https://arxiv.org/abs/1811.03804v1 ），该论文证明了对于具有残差连接的深度超参数神经网络（ResNet），梯度下降可以在多项式时间内实现零训练损失。研究者的分析依赖于神经网络架构引入的格拉姆矩阵的多项式结构。这种结构帮助研究者证明格拉姆矩阵在训练过程中的稳定性，而且这种稳定性意味着梯度下降算法的全局最优性。

（编辑：萍乡站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!