数据分析师会被替代失业吗？

《嫌疑人追踪》中的“机器”主要工作是分析人的行为，然后找出一些“目标人员”，然后由业务人员联系。这台机器似乎完全取代了数据分析师的工作。抛开美剧中夸张的内容，现实中，当一个数据分析师和别人聊天时，经常会被问到一些问题:Q：数据分析师能做什么？A：从复杂的数据中提取有价值的信息，并为公司提供支持。Q：如何提炼？A：编写程序收集、清洁、计算数据内部联系，并根据业务做出判断。Q：假如都是用现有的算法，为什么这些事情不能用现成的过程来做呢？或者为什么不能写一个程序，让机器自己实现呢？A：呃...作为一名数据分析师，和人聊天是很常见的，也是很不愉快的。但是我们的数据分析师只能手动操作一些算法，等待机器和算法逐渐取代我们吗？并不是！像往常一样：数据分析不等于数据分析算法/程序。数据分析算法/程序只是分析师手中的工具。数据分析必须依靠人的力量才能取得成功。数据分析师的作用是根据对业务的理解，合理使用分析工具来实现分析目标。结合业务数据分析是科学的，所有只看计算机输出结果而不考虑业务实际情况的数据分析都是无的（shua）用（liu）功（mang）。计算机能够实现的算法和程序只是数据分析的一部分；如何选择分析切入点，如何选择数据源，如何确定算法，如何解释结论，这些机器都做不到，需要我们的数据分析师来解决。上面两段的观点已经充分展示，接下来我要愉快地展示。（che）开（dan）观点：数据分析通常包括几个阶段：提出/发现问题-获取和清理数据-建模-调整和优化-输出结论。这是一个闭环过程，每一步都需要人工参与，程序将参与中间三个步骤，算法将用于建模，数据分析最重要的两个步骤，问题和结论，不可能完全交给计算机处理（实际上我个人认为这两个步骤在真正的人工智能之前，不能由计算机自动处理），所以数据分析师最大的优势是“经验”，即业务理解能力和数据分析经验。详细说明数据分析的几个阶段:提出/发现问题的阶段:大多数时候，数据分析是为了解决一个问题(锁定某个产品的目标客户，用A或B方案为同一个群体做营销活动，等等)。)，或者验证一个猜测(不让游客在高峰时间坐地铁会不会大大缓解拥挤，啤酒和尿布真的会增加啤酒的销量等。)，总之，需要实现一个目标。即使是探索性分析(拿很多数据看能不能找出一些结论)，也需要先预设一个或多个目标作为切入点，然后在探索过程中逐步修正。提出和发现问题的过程对计算机来说是不可靠的。首先，计算机不会问问题（因为愚蠢）。其次，计算机可以发现的问题必须是人们发现的问题（或因为愚蠢）。有人需要先设置规则，然后计算机才能根据规则发现问题。提出和发现问题的过程对计算机来说是不可靠的。首先，计算机不会问问题（因为愚蠢）。其次，计算机可以发现的问题必须是人们发现的问题（或因为愚蠢）。有人需要先设置规则，然后计算机才能根据规则发现问题。数据分析师是设置规则的人。目标和规则的设定必须以业务为基础，以便分析结果有用，否则会得出正确但无用的结论。比如栗子，把订阅报纸的数据扔给电脑分析关联关系，看看哪些报纸可以组合推广。最后得出结论，《光明日报》和《人民日报》的关联系数超过90%，所以这两份报纸可以组合出售。问题是这两份报纸原本是要求党政机关订阅的党报，组合起来毫无意义。应该预订的是预订，不预订的是否预订，这是典型的正确但无用的分析结果。了解业务可以让分析师少做这种无用的工作，但如果计算机想了解业务，它必须由人来教授。教学可能无法教授，教学后也无法触及类比（报纸的相关算法根本无法用于电子商务）。这样的计算机永远不如分析师了解业务。获取和清理数据：在这个阶段，计算机参与更多。分析师的工作是指出获取什么数据，获取什么字段，以及在获取数据后使用什么规则进行清理和整理。如果数据源保持不变，需要重复或定期分析，这一阶段的规则可以由计算机自动固化和执行，但规则仍然由分析师制定。建模、调整和优化：在这两个阶段，分析算法、描述分析、相关分析、回归、分类、聚类、时间序列，每个类别都有大量的固定算法，分析师不能通过手计算结论，需要使用包装算法分析工具（图形SPSS、命令R等），计算机似乎超过了分析师！等等，建模不是那么简单，计算机不能解决很多问题：什么时候使用哪种类型的算法（分类或聚类），哪种类型的算法更适合当前的情况（K-means还是两步聚类，这是个问题)，同一算法如何调整参数才能使效果更好(到底应该把用户聚成几类)，算法输出结果是否正常(部分数据出现问题导致分析结果偏差)等。计算机不知道所有这些问题，需要分析师告诉它该做什么。比如数据分析就是打仗。算法是机枪、大炮、坦克等技术武器。分析师是士兵、炮手、司机(操作员)。士兵不能一分钟吐出几百颗子弹或者炮手不能一下子拆除一个碉堡，所以他们不能让机枪和坦克扔掉操作员，自己战斗...即使是无人机。还有一个司机拿着遥控器蹲在办公室里..算法总是只是一个工具，数据分析的效果取决于使用工具的分析师的技能。一个做过几十个分析项目的分析师通常比刚进入这个行业的分析师或纯开发人员有更深的技能（很少有人才不是……），选择算法调整参数建模型的能力更强，分析结果将相对可靠——是的，经验是这两个阶段的优势。输出结论：本阶段计算机工作已基本完成，模型输出数据解释，完全是分析师世界——同一数据给不同的分析师，可能会得出不同的结论，大多数时候分析师不仅根据数据本身得出结论，而且结合许多外部因素来纠正结论。分析师经验越丰富，有效信息越多，结论就越接近事实（接近的原因是数据解释的准确性永远不会达到100%，影响结果的因素太多，如企业销售连续增长10年，分析师根据公司数据和市场情况判断明年将继续增长，老板出事，企业直接关闭），目前，计算机无法独立进行此过程。无论商业智能系统做得多好，分析师都需要制定规则，告诉计算机什么时候需要做什么。也许随着大数据和人工智能的发展，有一天计算机可以完全不依赖人工设置规则（不需要确定数据源，不需要选择算法和模型，不需要人工干预来纠正模型，等等），全面分析数据，添加所有因素的影响，输出非常高准确性的报告，只有在那个时候，分析师才会失业。但是，到了那一天，恐怕不仅仅是分析师失业的问题...