算法和模型上，是否能发明所有东西？

去年年底，Facebook挖出了一位机器学习大神VladimirVapnik，它是统计学习理论和支持向量机的主要发明者。VladimirVapnik被称为统计学习理论之父。他出生于俄罗斯，1990年底移居美国。他在贝尔实验室工作到2002年，然后加入了普林斯顿NEC实验室机器学习研究小组，并担任哥伦比亚大学的特别教授。VladimirVapnik于2014年加入Facebook人工智能实验室。vladimirvapnik近日，vladimir在俄罗斯最大的搜索引擎公司Yandex大会上发表讲话，重点讨论深度学习是否以蛮力取胜。Zacharychaselipton博士，来自加州大学圣地亚哥分校，详细记录了会议内容，并整理成文章:上周，我来到柏林参加机器学习展望和应用会议。本次会议由Yandex主持，主要讨论了两个问题：deeplearning和intelligentlearning，它们经常作为比较的概念出现。虽然我也是演讲者之一，但整个会议的*仍然是关于深度学习的方法论，包括经验主义和数学推理之间的矛盾。第一个是关于深度学习，讨论背后的数学支持和未来的方向。问题包括模型的可解释性和医学领域的应用。周三晚上，VladimirVapnik还参与了关于知识如何在不同个体之间传递的讨论。Vladimir的哲学观跨越了机器学习、数学和智能的源头，挑战了深度学习的方法论，这是非常有争议的。事实上，今年夏天，我写了一篇文章，说机器学习的成功是大数据时代经验主义的胜利。我强调，过度拟合数据可以在真实数据中测试，但风险很大，至少比基于数学推理的系统风险要大得多。在这次会议上，我听到了Vladimir在这方面的看法。为了避免混淆视听，我不得不强调，我是一个深入学习的实践者。就我个人而言，我不否认深度学习，并尊重它的先驱和火炬手。但我也相信，我们应该对深度学习的可能性持开放的态度：一些数学模型可以更好地指出未来的发展方向，并开启新的方法论。显然，当我们咀嚼和消化这些观点时，我们可以获得很大的价值。大数据和深度学习是一种蛮力吗？尽管Vapnik当场表达了很多观点，但核心还是引用了爱因斯坦对上帝的隐喻。简单地说，Vapnik假设一个理论：想法和直觉要么来自上帝，要么来自魔鬼。不同的是，上帝是聪明的，而魔鬼往往不是。Vapnik在数学家和机器学习研究和实践者的职业生涯中得出结论：魔鬼往往来自蛮力（BruteForce）。此外，如果承认深度学习系统在解决问题时的不可思议表现，那么大数据和深度学习都有一定的蛮力味道。然而，我不同意深度学习必须等同于机器蛮力。现在我们也可以看到关于大数据的争论，其中Vapnik和Nathanintrator教授说：孩子们不需要数亿的标签样本来完成他们的学习。虽然当有大量标签数据时，学习会更容易，但如果我们依赖这种方法，我们就会错过自然界中学习的基本原则。也许，真正的学习只需要数百个样本，但现在我们只需要大量的数据来完成学习。假如我们不去探索学习的本质，那就是屈服于懒惰。我们目前的深度学习并不科学。确切地说，机器学习和核心任务是理解计算本身，而当前的方法偏离了它。这就像制作小提琴的任务，我们扮演的角色只是小提琴演奏者。虽然我们也可以创作美妙的音乐和直觉，但我们不知道小提琴是如何创作音乐的。此外，许多深度学习实践者对数据和工程有很好的感觉，但他们不知道这里发生了什么。因此，在目前的深度学习方法中，参数的调整方法仍然是一门“艺术”，而不是“过程”。我们能在算法和模型上发明一切吗？Vapnik认为，我们不能在机器学习的算法和模型中发明一切。他坚持说，为了完成这些算法模型的发明，他自己并没有那么聪明。(这似乎意味着其他人没有发明这些东西那么聪明。)根据Vapnik的意思，我们在机器学习中发明的东西是微不足道的。真正重要的是我们对数学本质的理解。就深度学习而言，模型经常被发明、品牌化和申请专利，但与真正由数学驱动的机器学习相比，这些模型非常普遍。纽约州立大学的顾险峰教授对深度学习的反思也有很多理解。顾险峰认为，深度学习方法深刻地改变了学术研究的范式。以往学者采用的观察现象、提炼规律、数学建模、模拟分析、实验检验、修正模型的研究套路被完全颠覆，被数据科学方法所取代:收集数据、培训网络、实验检验、加强培训。在新的深度学习方法下，缺乏严格的数学推理。例如，在地图四色定理的证明下，数学家将平面图的构型分为1936种，然后用计算机逐一验证。当然，在足够的计算能力下，这可以证明地图的四色定理。但在这个过程中，并没有提出新的概念，换句话说，机械蛮力取代了几何直觉。在数学史上，答案本身对于一个著名猜想的证明和答案可能并不重要。在寻找证据的过程中，简洁的概念、提出的方法和发展理论才是真正的目的。机械定理证明了命题的真实性，但不能明确提出新的概念和方法，本质上偏离了数学的真正目的。因此，这是一门“相关性”而不是“因果”的科学。在历史上，人类积累科学知识，在早期总是得到“经验公式”，但最终还是寻求更深刻、更本质的理解。例如，从炼丹到化学、量子力学的发展。人类智能最独特的是数学推理，尤其是机械定理证明机器学习方法无能为力。当人们缺乏数学推理时，仅仅依靠机器蛮力就会遇到很大的限制。