首页 科技 正文

GPT-3获得2020年神经科最佳论文奖,中国苹果学者获得经典论文奖。

晓查 发自 凹非寺量子位 报道 | 公众号 QbitAI

NeurIPS 2020今天正式召开,本年共有1900篇论文被领受,创下汗青新高。

今天凌晨,大年夜会评委会发布了获得最大名誉的论文名单:

包孕GPT-3在内的三篇获得最好论文奖,一篇2011年论文获得时候检讨奖。而客岁新增的卓异新标的目标论文奖并未颁出。

由于遭到新冠疫情影响,原企图在温哥华举行的NeurIPS不克不及不改成在线上举行。

最好论文奖

No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium

这篇论文来自米兰理工大年夜学和卡内基梅隆大年夜学,研究标的目标为进补缀论。

论文地址:https://arxiv.org/abs/2004.00603

获奖理由:

相干均衡(CE)易于较量争论,而且可以获得比众所周知的纳什均衡要高很多的社会福利。在通俗形式的游戏中,CE的一个使人惊奇的特点是,可以颠末历程简单且分手的算法最小化悔怨的特定概念(即所谓内部悔怨)。本文证清楚明晰在大年夜型游戏(即泛型或树型游戏)中收敛到CE的悔怨最小化算法的存在性。该后果解决了博弈论、较量争论机科学和经济学之间一个持久存在的开放性问题,而且可能对触及中央人的游戏产生重大年夜影响,例如,颠末历程导航利用轨范对有用的交通线路产生影响。

Improved Guarantees and a Multiple-Descent Curve for Column Subset Selection and the Nystrm Method

这篇论文来自加州大年夜学伯克利分校,也是一篇关于进补缀论的论文。

论文地址:https://arxiv.org/abs/2002.09073

获奖理由:

从一个大年夜矩阵被选择一个小的但有代表性的列向量子集是一个坚苦的组合问题,而且已知一种基于基数束缚的行列式点历程的方式可以供应一种适用的近似解决方案。本文推导了近似解的近似因子在最好可能低秩近似上的新上界和下界,该上下界甚至可以获得关于子集大小的多重下落步履。本文进一步将申明扩大到获得Nystrm方式的包管。由于这些近似手艺在机械进修中获得了普遍的利用,本文有望产生本色性的影响,并给出新的看法,例如核方式、特点选择和神经收集的双下落步履等。

Language Models are Few-Shot Learners

这篇论文多是本年最知名、最出圈的论文,来自OpenAI的研究,也就是鼎鼎大名的GPT-3,作者数量到达31人之多!

论文地址:https://arxiv.org/abs/2005.14165

获奖理由:

措辞模子是解决天然措辞措置中一系列问题的现代手艺支柱。本文剖明,当如许的措辞模子被扩大年夜到史无前例的参数数量时,其本身可以作为少许样本进修者,无需任何额外的演习,即可以在很多此类问题上获得异常有竞争力的显露。这是一个异常使人惊奇的后果,估计将在该范畴产生重大年夜影响,并有可能承受住时候的考验。除这项工作的科学供献之外,本文还对这项工作的普遍影响进行了异常普遍和深切的阐述,这可以作为NeurIPS社区若何思虑对实际世界影响的一个例子。

时候检讨奖

NeurIPS每一年城市从大年夜约十年前的大年夜会上拔取一篇论文,授与时候检讨奖(Test of Time Award,也称经典论文奖),以赞誉这篇论文对AI学界产生的持久而深远的影响。

本年共拔取了12篇候选者,究竟获奖的是在NeurIPS 2011年颁发的论文:

HOGWILD!: A Lock-Free Approach to Parallelizing Stochastic Gradient Descent。

这篇论文主要提出了一种异步SGD算法,让措置器同等地会见同享内存,而且可以或许随意更新内存的各个部分,从而实现了几近线性的加速。

而今该论文的援引次数已到达了1918次。

论文地址:https://arxiv.org/abs/1106.5730

获奖理由:

本文初次显现了如何在没有任何锁定机制的环境下,并行化遍及利用的随机梯度下落(SGD)算法,同时实现强大年夜的性能包管。当时,一些研究人员提出了并行化SGD的方式,然则它们都需要分歧工作历程之间的内存锁定和同步。本文针对稀少问题提出了一种简单的策略,称为Hogwild!:让每一个工作历程在分歧的数据子集上并走运行SGD,并在托管模子参数的同享内存中履行完全异步更新。颠末历程理论和尝试,他们证清楚明晰Hogwild!在满足适合稀少性前提的数据上,随着措置器数量实现了近乎线性的加速。

该论文的第一作者是当时还在威斯康星大年夜学麦迪逊分校就读博士的华人学者Feng Niu,他也是清华大年夜学较量争论机系2008年本科卒业生。

Feng Niu博士卒业后没有进入学界,而是在谷歌工作了一年,今后和他的导师Christopher Ré(也是论文作者之一)等人配合成立AI公司Lattice Data。该公司2017年被苹果以2亿美元收购。

值得一提的是,客岁的时候检讨奖也颁给了华人学者,获奖的是来自微软研究院高级首席研究员Lin Xiao。

关于NeurIPS 2020

本年NeurIPS共收到9454篇论文投稿,1900篇被领受,论文领受率仅为20.09%。

当然本年领受率比畴昔几年都低,但论文的绝对数量却增加了33%。这首假如由于本年论文投稿数量大年夜增,客岁总投稿数仅6743。

在本年投稿的机构黉舍中,谷歌以169篇入选位居第一,清华大年夜学和北京大年夜学划分有63篇、37篇被领受。

个中有两位清华校友杨林和汪昭然划分入选9篇,是今年光光阴人学者之最。

官方博客:https://neuripsconf.medium.com/announcing-the-neurips-2020-award-recipients-73e4d3101537

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.lcvip.net/kj/1931.html