督导式机器学习的使用现状分析

随着我们进入2017年下半年，是时候看看使用数据科学和机器学习的公司面临的共同挑战了。假设你的公司已经大规模收集数据，需要使用分析工具，你已经意识到数据科学可以发挥重要作用（包括改善决策或企业管理、增加收入等），并优先考虑。对收集数据和识别感兴趣的问题并非小事，但假设你在这些方面取得了良好的开端，那么还有哪些挑战呢？数据科学是一个广泛的话题，所以我想解释一下：本文主要讨论了监督机器学习的使用情况。假设你有一个处理数据摄取和集成的团队，以及一个维护数据平台（“真相来源”）的团队，新的数据来源不断出现，领域专家负责找到这些数据来源。此外，由于我们主要讨论监督学习，缺乏培训数据仍然是机器学习项目的主要瓶颈，这并不奇怪。有一些很好的研究项目和工具可以快速创建庞大的训练数据集(或加强现有的训练数据集)。斯坦福大学的研究人员已经证明，弱监督和数据编程可以用于训练模型，而无需使用大量手工标记的训练数据。深度学习研究人员对生成模型的初步研究在计算机视觉等无监督学习领域取得了令人满意的成果。在机器学习的背景下，评估数据的另一种有用方法是“思考特性而不是算法”。友情提示：数据扩展可以改善你现有的模型，在某些情况下，甚至可以帮助缓解冷启动问题。大多数数据科学家可能使用开源数据或通过第三方数据提供商扩展他们的现有数据集，但我发现数据扩展有时会被忽略。人们认为获取外部数据、标准化和使用这些数据进行实验没有开发模型和算法那么有吸引力。许多用例的目标是从原型到产品，使数据科学项目产品化。为使这一过程更加高效，最近出现了一个新的工作角色——机器学习工程师。还有一套新工具可以促进从原型到产品的转变，帮助跟踪和分析与产品相关的背景和元数据。机器学习在产品中的应用还处于早期阶段，最佳实践才刚刚开始。随着先进分析模型的普及，有几点需要考虑，包括：部署环境：您可能需要与现有的日志或A/B测试基础设施集成。除了在服务器上部署稳定、高性能的模型外，部署环境还包括如何以及何将模型部署到边缘（移动设备是一个常见的例子）。在边缘设备上部署模型的新工具和策略已经出现。大小，延迟，新鲜度：训练模型需要多少数据？模型推导的响应时间应该是多少？重新训练模型和更新数据集的频率是多少？后者表明你有可重复的数据管道。偏差:如果你的训练数据不具有代表性，你会得到不理想(甚至不公平)的结果。在某些情况下，您可以使用倾向得分或其他方法来相应地调整数据集。监控模型：我认为人们低估了监控模型的重要性。学过统计学的人在这方面具有竞争优势。可能很难知道模型何时退化，退化了多少。概念漂移可能是一个因素。就分类器而言，一种策略是将模型预测的类别分布与预测类别的观测分布进行比较。您还可以设定不同于机器学习模型评估指标的商业目标。例如，推荐系统的任务可能是帮助发现“隐藏或长尾”的内容。关键应用程序：在关键环境下部署的模型必须比普通消费者应用程序更稳定。此外，这种环境下的机器学习应用程序必须能够“连续”运行几个月(无内存泄漏等故障)。隐私和安全:一般来说，如果你能让用户和企业相信他们的数据是安全的，他们可能更愿意共享数据。如上所述，以额外特征扩展的数据往往会带来更好的结果。对于在欧盟经商的企业来说，一个迫在眉睫的问题是《一般数据保护条例》（GDPR）将于2018年5月生效。对抗性机器学习和安全性机器学习(包括能够处理加密数据)的实践研究开始出现在其他领域。模型开发媒体对模型和算法开发的报道越来越多，但如果你与数据科学家交谈，他们中的大多数人会告诉你，缺乏培训数据和数据科学的产品化是一个更紧迫的问题。一般来说，市场上有足够简单明了的用例来开发你喜欢的算法(基本或先进)，并在未来进行调整或替换。由于工具使算法的应用更容易，因此有必要回顾如何评估机器学习模型的结果。尽管如此，不要忽视你的业务指标和目标，因为它们可能与调试最好或性能最好的模型不完全一致。研究人员和企业正在开始检查和解决与公平透明相关的问题。对隐私的担忧，加上设备的激增，催生了不依赖集中数据集的技术。深度学习正逐渐成为数据科学家必须理解的算法。深度学习最初用于计算机视觉和语音识别，但现在它涉及到数据科学家可以想到的各种数据类型和问题。挑战包括选择适当的网络结构（结构工程是一个新的特征工程）、过度参数调整、描述问题和转换数据，以适应深度学习。巧合的是，我今年见过的最有趣的大型数据产品之一不是基于深度学习。）很多时候，用户更喜欢可解释的模型(黑盒模型在某些情况下是不被接受的)。考虑到基本机制易于理解，可解释的模型也更容易改进。随着深度学习的兴起，企业开始使用能够解释模型预测原理的工具和能够解释模型来自哪里的工具（跟踪学习算法和培训数据）。我不想列出一个工具清单，因为有太多的工具可以列出。帮助我们摄取、整合、处理、准备和存储数据以及部署模型的工具是非常重要的。Python和R是机器学习编程最流行的语言。对于那些想要使用深度学习技术的人来说，Keras是最受欢迎的入门级语言。虽然笔记本电脑似乎是一个很好的模型开发工具，但集成开发环境（IDE）在R用户中很受欢迎。有许多通用机器学习和深度学习的数据库，其中一些更擅长促进从原型到产品的转变。促进从单机到集群的扩张是一个重要的考虑因素。ApacheSpark在这方面应用广泛。经过一系列的数据整理，您的数据集通常适合在稳定的单个服务器上部署。供应商开始支持合作和版本控制。最后，您可能需要数据科学工具来无缝整合现有的生态系统和数据平台。如果企业想评估哪些问题，哪些用例适合使用机器学习，现在是一个很好的时机。我总结了一些最近的趋势和尚未解决的瓶颈。你的主要结论应该是：你现在可以用机器学习了。从已经有一部分数据的问题开始，然后建立一个优秀的模型。