CMU、斯坦福等知名AI实验室、团队AI成果大总结

 

2018年年初，William Fedus、Ian Goodfellow和Andrew M. Dai在ICLR 2018共同提交的论文中使用 GAN 和强化学习方法在 NLP 中做了自己的探索(https://arxiv.org/abs/1801.07736)

 

2018年7月，Ian等人提出一种新型对抗攻击（对抗攻击通常会使得神经网络分类错误），对神经网络重新编程，诱导模型执行攻击者选定的新任务。该研究首次表明了神经网络惊人的脆弱性和灵活性。(https://arxiv.org/pdf/1806.11146.pdf )。

 

8月的一篇论文中，和Augustus Odena共同提出了一种新方法覆盖引导模糊测试（coverage guided fuzzing，CGF），将其应用于神经网络的测试（https://arxiv.org/pdf/1808.02822.pdf ），该方法能够自动Debug神经网络。Goodfellow表示，希望这将成为涉及ML的复杂软件回归测试的基础，例如，在推出新版本的网络之前，使用fuzz来搜索新旧版本之间的差异。此外开源了名为TensorFuzz的CGF软件库。

 

此外，Ian与团队的人提出对抗正则化方法（https://arxiv.org/pdf/1807.07543v2.pdf ）显著改善了自编码器的平滑插值能力，这不仅能提高自编码器的泛化能力，对于后续任务的表征学习也会大有帮助。

 

何恺明

 

CMU、斯坦福等知名AI实验室、团队AI成果大盘点

 

何恺明，2003年广东9名高考状元之一，本科就读于清华大学。博士毕业于香港中文大学多媒体实验室，研究生导师为汤晓鸥。 何恺明与他的同事开发了深度残余网络（ResNets），目前是计算机视觉领域的流行架构。ResNet也被用于机器翻译、语音合成、语音识别和AlphaGo的研发上。

 

2009年，何恺明成为首获计算机视觉领域三大国际会议之一CVPR“最佳论文奖”的中国学者。 何恺明作为第一作者获得了CVPR 2009，CVPR 2016和ICCV 2017（Marr Prize）的最佳论文奖，并获得了ICCV 2017最佳学生论文奖。

 

2017年4月，何恺明获选香港中文大学（中大）工程学院杰出校友。

 

进入FAIR部门之后，何恺明的动向一直备受关注，在3月份左右，他和FAIR 研究工程师吴育昕提出了组归一化（Group Normalization）方法，试图以小批尺寸实现快速神经网络训练，这种方法对于硬件的需求大大降低，并在实验中超过了传统的批归一化方法。这篇论文也获得了ECCV 2018最佳论文（2018年9月13日，ECCV 2018 获奖论文公布，吴育昕与何恺明合作的《Group Normalization》获得了最佳论文荣誉提名奖。）

 

6月19日，CVPR 2018奖项出炉，何恺明获得本届大会的 PAMI 年轻学者奖。

 

8月份的时候，何恺明等多名研究者发表了一项独特的迁移学习研究，无需数据清洗和手工标记数据，通过训练大型卷积网络可以预测数十亿社交媒体图像的hashtag，在图像分类和目标检测任务上都得到了迄今最高的精度。

 

11月22日，何恺明等人在arxiv贴出一篇重磅论文，题为《Rethinking ImageNet Pre-training》，表明ImageNet 预训练模型并非必须，ImageNet 能做的只是加速收敛，对最终物体检测的精度或实例分割的性能并无帮助。

 

陈天奇

 

CMU、斯坦福等知名AI实验室、团队AI成果大盘点

 

陈天奇，华盛顿大学计算机系博士生，研究方向为大规模机器学习。他曾获得 KDD CUP 2012 Track 1 第一名，并开发了 SVDFeature，XGBoost，cxxnet 等著名机器学习工具，是 Distributed (Deep) Machine Learning Common 的发起人之一。

 

2018年5月份，陈天奇以及上海交通大学和复旦大学的研究团队提出一个基于学习的框架(https://arxiv.org/pdf/1805.08166.pdf )，以优化用于深度学习工作负载的张量程序。该研究使用基于机器学习的方法来自动优化张量运算核心并编译AI工作负载，从而可以将最优的性能部署到所有硬件。实验结果表明，该框架能够为低功耗CPU，移动GPU和服务器级GPU提供与最先进手工调优库相媲美的性能。

 

7月12日，陈天奇团队推出 Versatile Tensor Accelerator（VTA），这是一种开放、通用、可定制的深度学习加速器。VTA是一种可编程加速器，提供了 RISC风格的编程抽象来描述张量级的操作。VTA的设计体现了主流深度学习加速器最突出和最常见的一些特征，比如张量操作、DMA加载 /存储和显式的计算 /内存调节。

 

谷歌：Deep Mind人工智能实验室

 

DeepMind位于英国伦敦，是由人工智能程序师兼神经科学家戴密斯·哈萨比斯(Demis Hassabis)等人联合创立，是前沿的人工智能企业，其将机器学习和系统神经科学的最先进技术结合起来，建立强大的通用学习算法。最初成果主要应用于模拟、电子商务、游戏开发等商业领域。谷歌于2014年收购了该公司。目前，Google 旗下的 DeepMind 已经成为 AI 领域的明星。

 

2018年2月27日，Deepmind提出了命名为“独角兽（Unicorn）”的智能体架构，它展示出优秀的持续学习能力，已经胜过很多基准智能体。研究人员表示，独角兽通过利用并行的off-policy学习策略，统一表示和学习多种策略，才达到了这样的表现。

 

7月28日，发表的论文《Machine Theory of Mind》中，研究人员提出了一种新型神经网络 ToMnet，具备理解自己以及周围智能体心理状态的能力。该论文已被 ICML 2018 接收为 Oral 论文。

 

8月13日，与伦敦 Moorfields 眼科医院合作，已经训练其算法能够检测出超过 50 种威胁视力的病症，其准确度与专家临床医生相同。它还能够为患者正确推荐最合适的行动方案，并优先考虑那些最迫切需要护理的人。

 

10月，发表了一篇题为《Do Deep Generative Models Know What They Don't Know?》（https://arxiv.org/abs/1810.09136?context=stat.ML ）的论文。该论文提出，过去学界普遍认为神经网络在面对和训练数据分布不同的数据时容易产生错误的预测，而生成模型则在这个问题上鲁棒性更强。不过他们发现基于流程的模型，VAE和PixelCNN的模型密度无法区分常见物体。

 

11月14日，宣布旗下的健康部门DeepMind Health、以及负责推进“Streams”（帮助医生更快识别和诊断患者病情的移动APP）团队将调整合并到Google 最新成立的“Google Health”部门中。原子公司DeepMind Health将不再作为独立品牌存在，但是，DeepMind的其他部门仍将保持独立。

 

11月16日，DeepMind表示其与英国眼科医院Moorfields合作的人工智能医疗研究项目已进入下一阶段。该项目旨在探索人工智能技术在眼部疾病诊疗方面的应用。8月时DeepMind发布了该项目的第一批结果，该结果表明人工智能可以与专家人类医生的表现相匹配，为50多种眼病的正确疗程提供建议。DeepMind表示，基于这项研究成果，该项目已经进行到下一个研究阶段，在症状出现之前预测眼病和预防严重疾玻

 

12月5日，DeepMind宣布推出全新的AlphaFold系统，能够预测并生成蛋白质的3D结构。这一系统在国际蛋白质结构预测竞赛（CASP）上击败了其余的参会选手。

 

12月，ICLR 2019 接收论文名单放出，DeepMind & Google 的唇读技术论文《LARGE-SCALE VISUAL SPEECH RECOGNITION》（https://openreview.net/pdf?id=HJxpDiC5tX ）未被接收。评审们认为即使它在工程上和数据上都非常突出，但大模型加上大数据会提升性能是共识，这类改进不能被看作是贡献。

 

今年年初，DeepMind和牛津大学提出了注意力神经过程。研究者认为，神经过程（NP）存在着一个根本的不足——欠拟合，对其所依据的观测数据的输入给出了不准确的预测。他们通过将注意力纳入NP来解决这个问题，允许每个输入位置关注预测的相关上下文点。研究表明，这大大提高了预测的准确性，显著加快了训练速度，并扩大了可以建模的函数范围。

 

谷歌：Google Brain团队

 

Google Brain是谷歌的人工智能研究小组，由Jeff Dean, Greg Corrado和Andrew Ng共同成立。成立于2011年的谷歌大脑，目前有正式成员48名，团队负责人是传奇人物Jeff Dean。在这个团队中，还包括部分供职的泰斗级人物Geoffrey E. Hinton，以及Martín Abadi、Michael Burrows等资深科学家。另外，谷歌首席科学家Vincent Vanhoucke也在谷歌大脑团队中。

 

2018年2月，Ilya Tolstikhin 等人提出了生成模型新算法：Wasserstein 自编码器，其不仅具有VAE的一些优点，更结合了GAN结构的特性，可以实现更好的性能。该研究的论文《Wasserstein Auto-Encoders》（https://arxiv.org/abs/1711.01558 ）被在 4 月 30 日于温哥华举行的 ICLR 2018 大会接收。

 

2018年4月，谷歌架构调整。谷歌大脑(Google Brain)联合创始人杰夫·迪恩(Jeff Dean)将领导谷歌所有人工智能领域的项目。

 

在5月份的ICLR 2018中，和卡内基梅隆大学的研究者提出一种新型问答模型 QANet （https://openreview.net/pdf?id=B14TlG-RW ），该模型去除了该领域此前常用的循环神经网络部分，仅使用卷积和自注意力机制，性能大大优于此前最优的模型。

 

来自谷歌大脑的研究者在arXiv上发表论文（https://arxiv.org/abs/1805.09501 ），提出一种自动搜索合适数据增强策略的方法 AutoAugment，该方法创建一个数据增强策略的搜索空间，利用搜索算法选取适合特定数据集的数据增强策略。此外，从一个数据集中学到的策略能够很好地迁移到其它相似的数据集上。

（编辑：萍乡站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!