研究人员正在意识到AI许多子领域进展缓慢的迹象

科技2020-08-23 17:35:54
导读

人工智能(AI)似乎变得越来越聪明。每部iPhone都能比上一部更好地学习您的脸部,声音和习惯,并且AI对隐私和工作构成的威胁不断增长。激增反映出更快的芯片,更多的数据和更好的算法。麻省理工学院计算机科学系的研究生戴维斯·布拉洛克说,但其中的一些改进来自调整而不是发明人声称的核心创新,而且其中的某些收获可能根本不存在。Blalock和他的同事们对改善神经网络的数十种方法进行了比较,这些方法是松散模仿大脑的软件体系结构。他说:“收录了五十篇论文,很明显,最新的技术水平还不是很明显。”

研究人员评估了81种修剪算法,这些程序可以通过修剪不必要的连接来提高神经网络的效率。所有人都以略有不同的方式声称拥有优势。但是很少对它们进行适当的比较-当研究人员试图对它们进行并行评估时,没有明显的证据表明10年内性能会有所改善。该结果在3月份的机器学习和系统会议上发表,使Blalock的博士感到惊讶。麻省理工学院计算机科学家约翰·古塔格(John Guttag)的顾问,他说比较不平衡本身可以解释这种停滞。“那是旧锯,对吗?”古塔格说。“如果您无法测量某些东西,很难使其变得更好。”

研究人员正在意识到AI的许多子领域进展缓慢的迹象。一个2019荟萃分析的信息检索算法在搜索引擎中使用达成的“高水位标记......在2009年实际上是设置”2019年的另一项研究复制了七个神经网络推荐系统,这些系统是媒体流服务使用的那种系统。研究发现,有6种方法无法胜过几年前开发的更简单的非神经算法,当时对早期技术进行了微调,从而揭示了该领域的“幻象进展”。在另一篇论文中康奈尔大学的计算机科学家凯文·穆斯格雷夫(Kevin Musgrave)于3月发布在arXiv上,他研究了损失函数,该函数是数学上确定其目标的算法的一部分。马斯格雷夫在一项涉及图像检索的任务中比较了十多个人,发现与开发人员的说法相反,自2006年以来,准确性一直没有提高。“一直存在这些大肆宣传的浪潮,”马斯格雷夫说。

机器学习算法的收益可以来自其体系结构,损失函数或优化策略的根本变化,即它们如何使用反馈进行改进。卡内基梅隆大学的计算机科学家Zico Kolter说,但是对这些方法进行的细微调整也可以提高性能。他研究了图像识别模型,这些模型经过训练可以免疫黑客的“对抗性攻击”。早期的对抗训练方法称为投影梯度下降法(PGD),在该方法中,仅对真实和欺骗性示例进行简单的模型训练,似乎已被更复杂的方法所超越。但是在二月份的arXiv论文中,Kolter和他的同事发现,当使用一个简单的技巧来增强它们时,所有方法的执行效果几乎相同。

免责声明:本文由用户上传,如有侵权请联系删除!