北大学霸亲述：AI新算法媲美SGD，这是我第一次研究优化步骤

发布时间：2021-11-01 16:06:13 所属栏目：大数据来源：互联网

导读：【新智元导读】由北大、浙大两位本科生为主开发的AdaBound算法，速度与Adam不相上下，性能媲美SGD，近期被ICLR 2019收录，网友惊呼太酷太强大。昨天，论文的第一作者、北大大四学生骆梁宸向新智元进行了详细解读。本科生又一次刷新了AI的新成绩。最近，来

我相信在计算机科学领域没有什么灵丹妙药。这并不意味着使用AdaBound你就不用调参了。模型的性能取决于很多东西，包括任务、模型结构、数据分布等等。你仍然需要根据具体情况决定使用哪些超参数，但是在这上面花的时间可以比以前少很多！

这是我第一次研究优化方法。由于这是一个由本科生、并且对这个领域来说完全是新人的团队做的项目，我相信AdaBound非常需要进一步的改进。我会尽我最大的努力把它做好。再次感谢大家的建设性意见！这对我有很大的帮助。:D

作者真容

论文一共由四位作者完成，分别是：

北大学霸亲述：AI新算法媲美SGD，这是我第一次研究优化方法

骆梁宸，北京大学大四在读，1996年出生，目前为北京大学计算语言学重点实验室的研究助理，导师是孙栩教授。

Yuanhao Xiong，浙江大学信电学院信息工程专业，同样是大四本科生。他的研究兴趣是数据挖掘和机器学习，在发表这篇文章之前他已经在IEEE通信领域期刊发表一篇论文。

北大学霸亲述：AI新算法媲美SGD，这是我第一次研究优化方法

Yan Liu

Yan Liu，南加州大学计算机科学系副教授，南加州大学机器学习中心主任。Philip and Cayley MacDonald Endowed Early Career Chair。

北大学霸亲述：AI新算法媲美SGD，这是我第一次研究优化方法

孙栩

孙栩，北京大学信息学院研究员，博士生导师。日本东京大学博士。研究领域包括：自然语言处理，机器学习，深度学习。

论文的两位本科学生骆梁宸、Yuanhao Xiong今年都上大四。骆梁宸曾在微软亚洲研究院、DiDi AI Labs等机构实习过。他的研究兴趣是自然语言处理深度学习，尤其是对话系统和语言理解/表征。他也对机器学习理论有兴趣，比如优化算法。

作为一名本科生，骆梁宸已经在ICLR、AAAI、EMNLP等顶会发表4篇文章，其中3篇一作！体会一下：

北大学霸亲述：AI新算法媲美SGD，这是我第一次研究优化方法

（编辑：萍乡站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!