近年来，人工智能的热潮持续高涨，各大机器学习会议如火如荼，研究者们似乎对这个领域充满了无尽的求索欲望。
然而，近期对于机器学习会议上发表的论文出现了一些质疑，这一话题引起了广泛关注：
一位来自传统工程领域的用户在ReddIT上发布了一篇帖子，分享了他对最近机器学习论文的观察：
他发现，许多研究者正在交叉研究如优化、控制和信号处理等传统领域，并突然发表大量声称要解决某个问题的论文。
这些问题通常是近期才被提出的，有时涉及深度神经网络。
经过深入分析，这些论文的新颖性似乎仅限于问题本身，而非研究者提供的解决方法。
他感到困惑，为什么如此多看似“薄弱”的论文能够被接受。
接下来，这位用户总结了这些论文能顺利发表的几点原因：
1. 专注于机器学习会议
这些研究团队倾向于只在机器学习会议上发布他们的研究，而非在可能更相关的优化和控制领域的会议或期刊上。例如，一篇关于对抗机器学习的论文，其实是解决一个优化问题，但所用的算法仅是基于前人优秀方法的微小变动。
此外，如果一篇论文未能通过NeuRIPS或ICLR的审查，往往会被直接投至AAAI等较小会议，最终被接受。
因此，这个领域似乎没有任何研究成果被浪费。
2. 审稿人缺乏专业知识
通过openReview，这位用户发现审稿人（不仅仅是研究者）对特定领域的了解不足，他们往往只评论论文的准确性，而非其新颖性。
他怀疑审稿人是否真的理解这些方法的新颖性，尤其是在与运筹学、优化、控制和信号处理交叉的情况下，最先进的技术可能超出了主流机器学习研究者的理解范围。
3. 引用不当
研究人员通常只引用自己的文献或过去几年的“机器学习人”发表的文章。偶尔会提到几百年前的经典人物，如柯西、牛顿、傅里叶等，之后又跳跃回2018或2019年的研究。
这似乎在暗示：“这个问题在1930年被某些‘名人’研究过，之后在2018年又被‘某个家伙’多次探讨。”
4. 数学公式的堆砌
大量数学公式被用来证明一些关于特征值、梯度和雅可比矩阵的条件，以及与研究问题相关的其他复杂内容（在其他假设下）。
即便有若干定理，但在实际的非凸深度学习应用中，所有条件往往都被违反。
因此，从这些复杂的定理和堆砌的数学公式中，得到的只是“某种微弱的直觉”，但很快就会被推翻，接着没有更多内容。
5. 被抛弃的技术
这位用户发现，某些技术在作者声称其在多个基准测试中表现优异后，往往会被抛弃，不再使用。
机器学习研究者似乎更倾向于频繁跳过某些话题，这可能是其中一个原因。
在其他领域，一旦某项技术被提出，研究团队通常会持续改进，甚至将其贯穿整个职业生涯。
他表示：
在某种程度上，这使得某些机器学习领域如同一个回音室，研究者们在重复相似的工作，而这一点被问题的新颖性所掩盖。
这些论文之所以被接受，是因为审稿人无法检测其真正的新颖性（或者只有部分审稿人会注意到）。
他觉得机器学习会议仿佛变成了一个“自动收纸的摇钱树”。
这一观点引发了广泛共鸣：要么发表，要么消亡？
这则帖子似乎引起了许多人的共鸣：
一位自称是理论物理学的网友回复道：
“这正是当今理论物理学（以及其他许多‘硬科学’学术研究）的真实状态。”
他提到“要么发表，要么消亡”的心态根深蒂固，没有人会在清醒的状态下去解决实际问题和有意义的挑战。只需调整一些特征，组合几种方法，就能在简历中增加一堆出版论文。
另外，审查过程和方法缺乏透明度，例如一些不负责任的评论，让学生代为评审，以及一些政治因素等。
经过数年才能发表一篇真正解决科学问题的论文的时代已经过去，运气逐渐成为比努力工作更重要的因素。
彼得·希格斯（因提出希格斯玻色子的存在及粒子质量机制而获诺贝尔奖）曾多次表示，按照如今的标准，他永远不会成功。
还有网友回忆起自己曾研究CNN，他表示：
“我之前的工作是关于CNN的应用，然而，后来我们被告知需要添加数学公式，这在会议上更容易被接受。”
但是，实际上，这些方程并没有任何实际作用，既不能证明新东西，也无法提供额外的见解，仅仅是用矩阵描述深度学习。
在我参与的其他论文中，我经常看到复杂的数学公式，花费一个小时理解后，结果却可以用简单的一句话描述。这实在令人失望。
这让我初期感到沮丧，觉得自己永远无法精通数学。
或许我确实不擅长，但这些论文的内容也并不是在做真正的数学。
在数学公式的使用方面，一位研究气候变化的工程博士也表示认同：
“堆砌的数学公式是普遍现象。我们经常被告知需要用希腊字母写出各种复杂难懂的数学公式，以使论文看起来更有分量。”
“要么发表，要么消亡”是学术界的顽疾。
还有网友抱怨各种对现有模型的改进论文：
“此外，那些略微改进的SOTA论文，除了参数调整或在DNN中添加额外层外，并未提出任何新颖的观点，阅读起来也让人疲惫，最终却被会议接受。”
堆砌的数学公式的目的似乎只是为了营造一种严谨感和新颖感，掩盖实际缺乏创新能力的本质。
当然，对已有方法进行迭代是正常的，但在机器学习领域，许多论文给人的感觉是在没有充分理解其有效性情况下进行的边际改进。
结语
确实，每年大量的机器学习会议接收着成千上万的论文，而在这些宣称“学术进展”的论文中，究竟有多少是实质性的发现呢？
