热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

【论文】ICLR2020九篇满分论文!!!

点击上方,选择星标或置顶,每天给你送干货!阅读大概需要11分钟跟随小博主,每天进步一丢丢来自:深度学习技术前沿

点击上方,选择星标置顶,每天给你送干货!

阅读大概需要11分钟

跟随小博主,每天进步一丢丢

来自:深度学习技术前沿

从反传的自动微分机制,到不平行语料的翻译模型,ICLR 2020 这 9 篇满分论文值得你仔细阅读。

早在去年12月,ICLR 2020的论文接收结果就已经出来了,其接收率达到了26.5%。ICLR 2020今年4月26日将在埃塞俄比亚首都亚的斯亚贝巴举行,因为这次会议只保留了四个等级:reject、weak reject、weak accept和accept,因此有30多篇论文获得了“满分”。

在这篇文章中,我们将简介其中的9篇满分(全8分)论文,它们最终都被接收为Talk 论文,届时论文作者会在大会上做长达十多分钟的演讲报告。

论文:BackPACK: Packing more into Backprop

链接:https://openreview.net/forum?id=BJlrF24twB

机构:图宾根大学、不列颠哥伦比亚大学

在深度学习中,自动微分框架只在计算梯度时才是最强的。但实际上,小批量梯度的方差或者其它逼近海塞矩阵的方法,可以和梯度一样高效地计算。研究者对这些计算值非常感兴趣,但DL框架并不支持自动计算,且手动执行又异常繁杂。

为了解决这个问题,来自图宾根大学的研究者在本文中提出一种基于PyTorch的高效框架BackPACK,该框架可以扩展反向传播算法,进而从一阶和二阶导数中提取额外信息。研究者对深度神经网络上额外数量的计算进行了基准测试,并提供了一个测试最近几种曲率估算优化的示例应用,最终证实了BackPACK的性能。

BackPACK项目地址:https://github.com/toiaydcdyywlhzvlob/backpack

图注:BACKPACK可以和PyTorch无缝拼接,并在反向传播中获得更多的信息,如上右图可以获取梯度的方差信息。

评审决定:接收为Talk论文;

评审意见:这篇论文高效的计算了各种反传的量,包括梯度的方差估计、多种海塞矩阵近似量,以及梯度量。与此同时,论文还提供了软件包,所有评审者都认为改论文是非常好的工作,大会应该接收它。

论文:Mirror-Generative Neural Machine Translation

链接:https://openreview.net/forum?id=HkxQRTNYPH

机构:南京大学、字节跳动

训练神经机器翻译模型通常需要大量平行语料,它们是非常昂贵的,那么我们为什么不考虑充分利用非平行语料训练翻译模型?

在这篇论文中,研究者提出了一种名为镜像-生成式NMT的模型(MGNMT),它由单一的架构组成。该架构集成了源语言到目标语言的翻译模型、目标语言到源语言的翻译模型,其中两种翻译模型与语言模型都共享相同的潜在语义空间。因此,整个架构的两种翻译模型都可以从非并行数据中更高效地学习。

上面图1和图2分别展示了MGNMT的图示与镜像属性。在图1中,x和y分别是不同的语言,它们之间是需要互译的,与此同时,这两种语言同时共享隐藏语义空间z。在图2中,研究者展示了x、y、z三者具体的关系是什么样的,不论是语言模型还是翻译模型,隐藏变量z都是共享的。

评审决定:接收为Talk论文;

评审意见:这篇论文提出了一种新方法以考虑生成式神经机器翻译模型中的双向互译,该方法显著提升了翻译准确度。三位评审者都非常欣赏这篇论文,尽管他们注意到性能收益会随着模型复杂度的提升而变小。不管怎么样,该基线结果是非常有竞争力的,也许在这些数据集上的提升以后并不会特别大了。总体而言,我发现这篇论文非常优秀,并且强烈建议接收这篇论文,也许它可以作为口头报告论文。

论文:GenDICE: Generalized Offline Estimation of Stationary Values

链接:https://openreview.net/forum?id=HkxlcnVFwB

机构:杜克大学,谷歌

马尔可夫链的平稳分布(stationary distribution)所定义的数量是强化学习和蒙特卡洛方法中的一个重要问题。在实际应用程序中,许多对基础转换运算符的访问仅限于已经收集的固定数据集,而不包括与环境的其他交互。 

研究者认为,在固定数据的情况下,完成一致的估计仍然是有可能的,重要的应用中仍然可以实现有效估计。研究者提出了GenDICE算法,并证明了该方法在一般条件下的一致性。此外,研究者还提供了详细的错误分析,并演示了在基准任务上的强大经验性能。

评审决定:接收为Talk论文;

评审意见:作者开发了应用于Infinite Horizon强化学习任务的离策略价值评估框架,用于评估马尔可夫链的平稳分布。审稿人对这项工作印象非常深刻。

论文:A Theory of Usable Information under Computational Constraints

链接:https://openreview.net/forum?id=r1eBeyHFDH

机构:北京大学、斯坦福大学等

研究者提出了一个用于在复杂系统中进行信息推理的新框架。该研究的基础是香农信息理论的变体扩展,该方法考虑了观察者的建模能力与计算约束。与香农的互信息不同,新框架并不违反数据处理不平衡的情况,可以通过计算构建F-information。这与深度学习分层抽取特征信息的表达方式类似。

根据实验,研究者证明预测性F-information比相互信息对结构学习和公平表示学习更有效。

评审决定:接收为Talk论文;

评审意见:所有评审者都接收了该论文。

论文:CATER: A diagnostic dataset for Compositional Actions & TEmporal Reasoning

链接:https://openreview.net/forum?id=HJgzt2VKPB

机构:卡内基梅隆大学

在这篇论文中,研究者假设当前视频数据集存在一些隐式偏差,尤其是在场景和目标结构上,这可能会使时间结构改变。为此,研究者构建了一个具有完全可观察和可控制的目标、场景偏置,这样的视频数据集确实需要时空的理解才能解决,研究者将该数据集命名为CATER。

除了具有挑战性外,CATER还提供了许多诊断工具,可以通过完全可观察和可控制的方式来分析现代时空视频架构。通过CATER,我们可以洞悉某些最新的深度视频体系结构。

评审决定:接收为Talk论文;

评审意见:总体来说,所有评审者都发现该论文比较易读,并且对于数据集构造、任务定义、实验设定与分析都提供了足够的信息。该论文收到所有评审员的一致赞同(3 accepts)。

论文:Dynamics-Aware Unsupervised Skill Discovery

链接:https://openreview.net/forum?id=HJgLZR4KvH

机构:谷歌、剑桥大学

通过新方法DADS,人形智能体可以在无奖励机制的情况下自行发现运动的合理机制。

传统上,基于模型的强化学习(MBRL)是旨在学习全环境动态的模型。优秀的模型应该倾向于让算法生成多种不同问题的解法。在这项工作中,研究人员结合了基于模型和无模型的基本学习方法,从而简化了基于模型的计划,提出了无监督学习算法Dynamics-Aware Discovery of Skills(DADS)。这种方法能发现可预测的行为并学习其动态。从理论上讲,这种方法可以学习无数种行为动态。

实验证明,这种zero-shot规划方法显著优于标准MBRL和无模型目标条件RL方法,可以处理稀疏奖励任务。

评审决定:接收为Talk论文;

评审意见:这是一篇非常有意思的无监督技能学习论文,它基于技能效果的可预测性,并将它们整合到基于模型的强化学习中。因为所表达想法和写作的清晰,同时因为令人信服的实验,这篇论文很明确应给被接收。

论文:Restricting the Flow: Information Bottlenecks for Attribution

链接:https://openreview.net/forum?id=S1xWh1rYwB

机构:慕尼黑工业大学、柏林自由大学

归因方法(Attribution method)提供了对机器学习模型(如人工神经网络)决策的见解。对于给定的输入样本,这类方法为每个单独的输入变量(例如图片的像素)分配相关性分数。在这项工作中,作者将信息瓶颈概念用于归因。通过将噪声添加到中间特征图,我们可以限制信息流,并量化(以bit为单位)图像区域中提供的信息。作者在VGG-16和ResNet-50上与十个不同基线模型进行了比较,新方法在六种配置上有五种优于所有基线。

评审决定:接收为Talk论文;

评审意见:三个评审者都强烈建议接收该论文。该项研究非常清晰、新颖,同时对该领域有显著的贡献。

论文:Mathematical Reasoning in Latent Space

链接:https://openreview.net/forum?id=Ske31kBtPr

机构:自谷歌研究院

作者设计了一种简单的实验,以研究神经网络是否可以在固定维度的隐空间中执行近似推理的多个步骤,发现算法可以成功地对语句执行的一组重写(即转换),表示该语句的基本语义特征。实验证明,图神经网络可以对语句的重写成功进行效果很好地预测,在隐形传播的多步骤情况下也是如此。

评审决定:接收为Talk论文;

评审意见:这篇论文受到了评审者的一致好评,其主题也非常有意思,关注潜在空间中的数学推理。领域主席统一推荐该论文接收为口头报告论文,因此可以更形象地展示本文所进行的工作。

论文:Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity

链接:https://openreview.net/forum?id=BJgnXpVYwS¬eId=KA65jj-wX

机构:麻省理工学院

作者提供了梯度剪裁在训练深度神经网络时有效性的合理解释。其关键因素是在实际神经网络训练样本中导出的新平滑度条件。研究人员观察到的梯度平滑,是一阶优化算法分析的核心概念,通常被认为是一个常数,证明了沿深度神经网络训练轨迹的显著变化。此外,该平滑度与梯度范数成正相关,并且与其他研究中的标准假设相反:它可以随着梯度范数而增长。这些观察结果限制了现有算法理论的适用性,后者依赖于平滑度的固定界限。

评审决定:接收为Talk论文;

评审意见:梯度裁剪目前变得越来越重要,因此很高兴能看到论文能从理论的角度挖掘它的优秀性能。所有评审都非常欣赏该项工作与最终结果。

让更多的人知道你“在看”



推荐阅读
  • 生成式对抗网络模型综述摘要生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可以应用于计算机视觉、自然语言处理、半监督学习等重要领域。生成式对抗网络 ... [详细]
  • 在Android开发中,使用Picasso库可以实现对网络图片的等比例缩放。本文介绍了使用Picasso库进行图片缩放的方法,并提供了具体的代码实现。通过获取图片的宽高,计算目标宽度和高度,并创建新图实现等比例缩放。 ... [详细]
  • 云原生边缘计算之KubeEdge简介及功能特点
    本文介绍了云原生边缘计算中的KubeEdge系统,该系统是一个开源系统,用于将容器化应用程序编排功能扩展到Edge的主机。它基于Kubernetes构建,并为网络应用程序提供基础架构支持。同时,KubeEdge具有离线模式、基于Kubernetes的节点、群集、应用程序和设备管理、资源优化等特点。此外,KubeEdge还支持跨平台工作,在私有、公共和混合云中都可以运行。同时,KubeEdge还提供数据管理和数据分析管道引擎的支持。最后,本文还介绍了KubeEdge系统生成证书的方法。 ... [详细]
  • android listview OnItemClickListener失效原因
    最近在做listview时发现OnItemClickListener失效的问题,经过查找发现是因为button的原因。不仅listitem中存在button会影响OnItemClickListener事件的失效,还会导致单击后listview每个item的背景改变,使得item中的所有有关焦点的事件都失效。本文给出了一个范例来说明这种情况,并提供了解决方法。 ... [详细]
  • Google Play推出全新的应用内评价API,帮助开发者获取更多优质用户反馈。用户每天在Google Play上发表数百万条评论,这有助于开发者了解用户喜好和改进需求。开发者可以选择在适当的时间请求用户撰写评论,以获得全面而有用的反馈。全新应用内评价功能让用户无需返回应用详情页面即可发表评论,提升用户体验。 ... [详细]
  • 本文介绍了Android 7的学习笔记总结,包括最新的移动架构视频、大厂安卓面试真题和项目实战源码讲义。同时还分享了开源的完整内容,并提醒读者在使用FileProvider适配时要注意不同模块的AndroidManfiest.xml中配置的xml文件名必须不同,否则会出现问题。 ... [详细]
  • 本文介绍了在开发Android新闻App时,搭建本地服务器的步骤。通过使用XAMPP软件,可以一键式搭建起开发环境,包括Apache、MySQL、PHP、PERL。在本地服务器上新建数据库和表,并设置相应的属性。最后,给出了创建new表的SQL语句。这个教程适合初学者参考。 ... [详细]
  • 本文介绍了设计师伊振华受邀参与沈阳市智慧城市运行管理中心项目的整体设计,并以数字赋能和创新驱动高质量发展的理念,建设了集成、智慧、高效的一体化城市综合管理平台,促进了城市的数字化转型。该中心被称为当代城市的智能心脏,为沈阳市的智慧城市建设做出了重要贡献。 ... [详细]
  • 向QTextEdit拖放文件的方法及实现步骤
    本文介绍了在使用QTextEdit时如何实现拖放文件的功能,包括相关的方法和实现步骤。通过重写dragEnterEvent和dropEvent函数,并结合QMimeData和QUrl等类,可以轻松实现向QTextEdit拖放文件的功能。详细的代码实现和说明可以参考本文提供的示例代码。 ... [详细]
  • C# 7.0 新特性:基于Tuple的“多”返回值方法
    本文介绍了C# 7.0中基于Tuple的“多”返回值方法的使用。通过对C# 6.0及更早版本的做法进行回顾,提出了问题:如何使一个方法可返回多个返回值。然后详细介绍了C# 7.0中使用Tuple的写法,并给出了示例代码。最后,总结了该新特性的优点。 ... [详细]
  • 拥抱Android Design Support Library新变化(导航视图、悬浮ActionBar)
    转载请注明明桑AndroidAndroid5.0Loollipop作为Android最重要的版本之一,为我们带来了全新的界面风格和设计语言。看起来很受欢迎࿰ ... [详细]
  • 【MicroServices】【Arduino】装修甲醛检测,ArduinoDart甲醛、PM2.5、温湿度、光照传感器等,数据记录于SD卡,Python数据显示,UI5前台,微服务后台……
    这篇文章介绍了一个基于Arduino的装修甲醛检测项目,使用了ArduinoDart甲醛、PM2.5、温湿度、光照传感器等硬件,并将数据记录于SD卡,使用Python进行数据显示,使用UI5进行前台设计,使用微服务进行后台开发。该项目还在不断更新中,有兴趣的可以关注作者的博客和GitHub。 ... [详细]
  • tcp/ip 高清大图
    为什么80%的码农都做不了架构师?转载于:https:my.oschina.netgsbhzb ... [详细]
  • 本文详细介绍了MySQL表分区的创建、增加和删除方法,包括查看分区数据量和全库数据量的方法。欢迎大家阅读并给予点评。 ... [详细]
  • Linux如何安装Mongodb的详细步骤和注意事项
    本文介绍了Linux如何安装Mongodb的详细步骤和注意事项,同时介绍了Mongodb的特点和优势。Mongodb是一个开源的数据库,适用于各种规模的企业和各类应用程序。它具有灵活的数据模式和高性能的数据读写操作,能够提高企业的敏捷性和可扩展性。文章还提供了Mongodb的下载安装包地址。 ... [详细]
author-avatar
zf72ayw
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有