论文指导网 论文发表 2019年发表论文上万篇。这14篇高调的论文你都知道吗?

2019年发表论文上万篇。这14篇高调的论文你都知道吗?

作者| newworldai

翻译|常陆

编辑|简

由| AI技术大本营出品(ID: rgznai 100)

【介绍】人工智能领域每年发表论文14000多篇。这个领域吸引了世界各地许多重量级的研究团体。神经科、ICML、ICLR、美国公民自由联盟和MLDS等人工智能会议每年都会吸引大量论文。2019年,提交的论文数量仍在增加。今天,我们将分享2019年备受关注的14篇论文。

1、《头脑清醒的RNN:停止用头脑思考》(斯蒂芬·梅里蒂,2019年11月)

在这篇论文中,哈佛大学的研究生斯蒂芬调查了自然语言处理的研究现状,使用的模型和其他替代方法。在这个过程中,他从头到尾拆解了常规方法,包括词源。

作者还表达了机器学习摩尔定律的必要性。这个定律是关于计算机的未来的,也涉及到从零开始重建代码库。这不仅是一个教育工具,也是学术界和工业界未来工作的有力平台。

2、《效率网:对卷积神经网络模型标度的再思考》(谭明星、乐,2019年11月)

在这项工作中,作者提出了一种复合缩放方法,可以指示何时增加或减少某个网络的深度、高度和分辨率。

卷积神经网络是许多机器视觉应用的核心。效率网可以使用谷歌新的开源模型效率网,或者成为计算机视觉任务的新基础

3、《深双下潜》,作者:欧鹏(米哈伊尔·贝尔金、丹尼尔·许、马思远、苏米克·曼达尔,2019年9月)

在本文中,作者试图在统一的绩效曲线中平衡传统理解和现代实践。

“二次下降”曲线可以显示插值点以外的模型如何提高性能,因此它取代了经典的U形偏差方差权衡曲线。

4、《彩票假说——乔纳森·弗兰克》(迈克尔·卡宾,2019年3月)

神经网络剪枝技术可以在不影响精度的情况下,将训练好的网络参数数量减少90%以上,降低存储要求,提高推理的计算性能。

作者发现标准剪枝技术可以很自然的找到子网,这些子网的初始化使他们能够有效的训练。基于这些结果,他们引入了“彩票假说”:

5、《智力测量》(弗朗索瓦·乔莱特,2019年11月)

这项工作总结和批判性地评估了智能和评估方法的定义,并给出了人工智能的历史概念来指导这项工作。

作者也是keras的创始人,介绍了基于算法信息论的智能的形式定义。基于这个定义,他提出了一套通用人工智能基准的指导方针。

6、《通过IISc班加罗尔和使用词义定义嵌入的零触发词义消歧;《CMU》(萨万·库马尔、沙米斯塔·贾特、卡兰·萨塞纳和帕萨·塔鲁克达尔,2019年8月)

词义消歧是自然语言处理中长期存在的研究问题。目前的监督式WSD方法将语义视为离散的标签,也用于预测训练中从未见过的单词的“最频繁词义”(MFS)。

班加罗尔IISc的研究人员与卡内基梅隆大学合作,提出了扩展的WSD结合语义嵌入(EWISE),这是一种WSD监管模型,通过预测空之间的连续语义嵌入来代替离散标签空。

7、《深度均衡模型》、白、科特和弗拉德伦科尔敦,2019年10月

由于观察到许多现有深度序列模型的隐藏层趋向于一个固定点,卡内基梅隆大学的研究人员提出了一种利用深度均衡模型(DEQ)对序列数据建模的新方法。

用这种方法,无论网络的有效“深度”是多少,这些网络中的训练和预测只需要一个固定的内存。

8、《影像网训练的神经网络偏向纹理》(罗伯特·G、帕特里夏·R、克劳迪奥·M、马提亚斯·贝希、菲利克斯·a·W和维兰德·B,2019年9月)

一般认为,卷积神经网络通过学习物体形状的复杂表示来识别物体。本文作者评价了CNN和human对纹理和形状冲突图像的处理结果。他们表明,训练有素的美国有线电视新闻网强烈倾向于识别纹理而不是形状,这与人类的识别形成鲜明对比。

9、《强化学习最优表征的几何透视》(马克·g·B、威尔·D、罗伯特·D、阿德里安·A·T、巴勃罗·S·C、尼古拉斯·勒·R、戴尔·S、托尔·L、克莱尔·L,2019年6月)

基于价值函数之间的几何特征,作者提出了表征学习的新视角空。这项工作表明,对偶函数显示了其有趣的结构,是学习环境表征的一个很好的辅助任务。作者认为,这项工作为深度强化学习中自动生成辅助任务的可能性开辟了道路。

10、《重量不可知的神经网络》(亚当·盖尔& amp大卫·哈,2019年9月)

在这项工作中,作者探索了是否只有神经网络架构可以在不学习任何权重参数的情况下编码给定任务的解。在本文中,他们提出了一种基于神经网络架构的搜索方法,该方法可以在没有任何显式权重训练的情况下执行任务。

11、《视觉模型中的独立自我关注》(普拉特·拉马钱德兰、尼基·普、阿希什·瓦瓦尼、伊尔万·贝洛·安塞尔姆·列夫斯卡娅、黄邦贤·S,2019年6月)

在这项工作中,谷歌研究人员证实了基于内容的交互可以服务于视觉模型。本文提出的局部自关注层在ImageNet分类和COCO对象检测任务中取得了有竞争力的预测性能,与相应的基线卷积方法相比,需要的参数和浮点数运算更少。结果表明,注意力机制在网络的后半部分特别有效。

12、《标签更少的高保真图像生成》(马里奥·卢西克、迈克尔·钱宁、马文·里特、肖华·Z、奥利维尔·B和西尔万·盖里,2019年3月)

当有大量标记数据时,当前模型可以达到非常高的质量。为了解决这种对大数据的依赖,谷歌研究人员发布了这项工作,以证明人们如何从自我学习和半监督学习中受益,这优于目前在无监督ImageNet和有限时间条件下的SOTA结果。

该方法仅用10%的标签就能匹配ImageNet上最新的条件模型BigGAN的样本质量,而用20%的标签比BigGAN更好

13、《ALBERT:语言表征自我监督学习的简易BERT》、兰、陈明达、塞巴斯蒂安·古德曼、凯文·G、皮尤斯·夏尔马和拉杜,2019年9月

为了降低BERT的内存消耗和提高训练速度,作者提出了两种减少参数的技术,解决了模型大小增加和GPU/TPU内存限制带来的训练时间延长和模型退化的挑战。

因此,所提出的模型建立了基于GLUE、RACE和班长基准的最新SOTA结果,但是参数小于BERT-large。

14、《高斯-空间自适应归一化语义图像合成》(朴泰松、刘明宇、丁王春和朱俊彦,2019年11月)

英伟达与加州大学伯克利分校(UC Berkeley)和麻省理工学院(MIT)合作,提出了一种空之间具有自适应归一化层的模型,用于在给定输入语义布局的情况下合成照片级真实感图像。

该模型保持了视觉保真度,并与具有挑战性的输入布局保持一致,同时允许用户控制语义和样式。

原始链接:

https://www . new world ai . com/top-14-machine-learning-research-papers-of-2019/

本文来自网络,不代表论文指导网立场,转载请注明出处:https://www.lvpengcheng.com/200146.html
上一篇
下一篇

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

联系我们

联系我们

010-2235220

在线咨询: QQ交谈

邮箱: 710453073@qq.com

工作时间:周一至周日,9:00-21:30,节假日不休息
关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部