机器学习正处于快速发展的阶段，新的模型和技术层出不穷。这使得我们在工作和学习中需要阅读相关论文，以便跟上这一领域的最新进展。
然而，阅读论文时常常会出现两种困扰：一是容易遗忘，二是无法抓住精髓。遗忘通常表现为刚读完后就忘记之前的内容，或者几天后回顾时完全不记得读了什么。而无法提纲挈领则体现在逐字逐句的阅读方式，没有从整体上理解论文的核心内容。
那么，我们该如何有效地阅读机器学习领域的论文呢？
谷歌Robotics的研究科学家Eric Jang在他的博客中发表了一篇题为“How to Understand ML Papers Quickly”的文章，提到他的学生们经常询问一些类似的问题，比如“面对每天大量涌现的arXiv论文，我们应该如何选择性地阅读？”
他指出，阅读大多数机器学习论文时，只需提出五个简单的问题，就能理清论文的逻辑，并避免遇到复杂的术语和糟糕的数学推导。
这五个问题包括：
1. 函数逼近器的输入是什么？
例如，可能是一个对象居中的224x224x3 RGB图像。
2. 函数逼近器的输出是什么？
例如，输出是一个对应于输入的长度为1000的向量。
通过这种“简化”思维方式来分析机器学习系统的输入和输出，你可以跳过复杂的算法术语，考虑其他领域是否用不同方式达成相同目标。我发现这种方法在阅读“元学习”相关论文时特别有效。
将机器学习问题视为一组输入和期望的输出，可以帮助你判断输入是否足以预测输出。如果不这样做，你可能会随意设定机器学习问题，导致输出无法由输入决定，从而可能产生错误的机器学习系统。
3. 对输出的预测是以什么为代价进行监督的？这个特定目标对现实世界又有哪些假设？
机器学习模型是通过结合偏置和数据构建的。有时偏置可能很强，有时又很弱。为了使模型更好地泛化，你可能需要引入更多的偏差或无偏的数据。正如“天下没有免费的午餐”所示，没有哪个优秀的模型是轻松完成的。
例如，许多最优控制算法都假设存在一个稳定而连续的数据生成过程，即马尔可夫决策过程(MDP)。在MDP中，“状态”和“行动”通过环境的过渡动态确定，映射到“下一个状态、反馈和是否结束”。这种结构虽然常见，但可以将损失公式化，使学习Q值遵循贝尔曼方程。
4. 经过训练后，模型能从以前未见的输入/输出中概括出什么？
由于从数据或模型结构中捕获的信息，机器学习系统能够很好地泛化。近年来，泛化能力不断提高，因此在阅读论文时，我会特别关注那些令人惊讶的泛化功能及其来源（数据、偏置或两者兼而有之）。
在这一领域，存在许多噪音，例如因果推理、符号方法或对象导向的表示。这些都是构建稳健且可靠的机器学习系统的重要工具。然而，分隔结构化数据与模型偏置的界限往往模糊。让人困惑的是，许多研究者似乎认为推动机器学习进步的方法是减少学习量并增加硬编码行为。
我们开展“机器学习”研究，正因为有些问题无法通过硬编码解决。作为机器学习研究者，我们应将重点放在改善学习方法上，而将硬编码和符号方法留给专注于此的研究者。
5. 结论是否可证伪？
那些声称不能被证伪的论文不属于科学的范畴。
[[[IMG_1]]]
[[[IMG_2]]]
[[[IMG_3]]]
[[[IMG_4]]]
