数据分析到底都包括些什么？

我写这篇文章的初衷来自两个故事：故事1：一位在互联网行业做数据库架构多年的同事一起吃饭，问我现在在说什么。我说我在做医学数据分析。我的同事笑着说：你有很多资源。只要你能得到电子病例的数据，你就能分析很多东西。。。我脸上的微笑和表情瞬间僵化！故事2：当时，我们为内蒙古的一家企业提供了上游原材料供应商的数据管理项目。当时，我们只获得了企业供应商的一小部分数据。下一阶段，我们计划获得其国家供应商的相关数据，以支持企业的管理。有一天，我们的项目负责人非常兴奋，高兴地对我说：在我们得到所有供应商的数据后，我们所做的是“真正的大数据”。你应该考虑如何做以后的大数据分析。。。我脸上的微笑又僵硬了！你觉得以上两个故事怎么样？当时心里有一万头羊驼奔腾~~我写这篇文章的目的很简单，就是想向不懂数据分析系统建设的朋友解释一下:数据分析包括什么？从完成数据采集到制作数据产品有多远？在工作过程中，我遇到了很多企业主、客户和我的领导，他们对数据分析的理解很浅，这让我感到难以置信。和他们交流后的感受促使我写这篇文章。文本1.数据分析本身就是一种过程数据分析是企业的能力；数据分析本身就是一个过程；数据分析的本质是一种思想。数据分析是一个过程——企业利用这个过程提取数据中的信息进行处理、识别、处理和呈现，最终成为指导企业管理的知识和智慧。因此，企业利用这一过程的成熟度决定了企业使用数据的有效性。影响这一过程的因素有四个：(如有不同意见，请补充)1、技术和方法：我们的信息采集技术、数据库架构、数据处理技术、算法、可视化等都会在很大程度上限制或改变这一过程，这就是为什么分布式存储、操作等技术成熟后，大数据概念流行的原因之一；2、数据应用：更准确地说，数据应用在一个企业、一个行业甚至整个社会中的深度和广泛的应用决定了你的数据影响力；3、商业模式：这是当数据能力反映在市场上时发挥作用的一个因素，良好的商业模式可以为行业、跨行业的数据应用和数据产品提供良好的商业环境，帮助其成长；不良的商业模式也可能破坏良好的数据产品；4、制度和规则：制度和规则既有国家级的，如数据安全法规；还有行业规则、企业内部制度等。这些系统和规则确保数据可以在需要和正确的地方使用，而不是滥用（在某种程度上，缺乏系统和规则也是数据安全和行业数据标准混乱的主要原因）。这些系统和规则确保数据可以在人们需要和正确的地方使用，而不是被滥用（在某种程度上，缺乏系统和规则也是数据安全和行业数据标准混乱的主要原因）。在我看来，从获取数据到将数据中的知识提炼成人类智慧，这是一个漫长的过程，可能需要一年甚至几年的时间（但许多人认为这个过程太短了）。第一，如果你想分析数据，你需要获取数据。在线获取数据相对容易，离线非常复杂，这就是为什么实体行业现在推广“互联网” 这么慢的原因之一。其次，如何整理数据，使数据成为信息，也是一项“技术工作”。这涉及到数据的清洁、分类、关联等问题。最麻烦的不是做这些工作，而是随着我们对数据理解的加深，这些工作总是不时返工修复——这是没有办法的！第三，数据整理获得的信息量大，需要经过加工、提取、抽象等操作，提炼成人脑理解和吸收的各种知识。这个过程涉及到各种分析方法的使用，也是一个随着对业务认识的加深而逐渐复杂的过程。金融领域的风险控制模式和宏观经济领域的福利模式都是发展多年并逐渐演变的例子。最后，人们通过数据在各个业务领域获得知识，在许多情况下可以在不同的领域重复应用，并与其他领域的知识相结合，形成一种新的生产和生活方式。如何整合各领域的知识内容也是一个需要长期实践和探索的过程。“产品”的概念从诞生到现在的发展过程就是一个很好的例子。我做了一个简单的比喻来帮助你理解上述过程：收集到的原始数据就像砾石，在没有任何集成的情况下是“一堆”；数据处理的过程是去除沙堆中的杂质，区分每种颜色的砾石，然后通过不同的工艺成为不同的砖；每个砖在建造数据建筑的过程中都有不同的用途，我们将根据图纸（即数据分析系统）在适当的建筑位置使用不同的砖；数据建筑建成后，每个房间的工作都不同。如何使用取决于建筑用户的安排。然后，让我们来看看企业应该做些什么来完成从数据收集到智能积累的过程。2.个人认为，企业的数据分析能力水平可以分为七个层次（这里列出了强调基础数据收集的七个能力水平）：基本IT系统的建设、数据集中和标准化处理、数据报告和可视化的实现、日常产品和运营分析、精细运营管理的实现、数据产品的输出和实现、数据战略的形成。个人水平有限，最终的数据策略从未接触过，这里就不详细说明了。一些同行可能不同意金字塔的水平，大多数专家也认为这些部分是水平关系，没有高低关系。我在这里列出的只是为了解释“为了达到每个水平，以下内容是支持这些水平的必要条件”，实际上存在“数据产品已经完成在线，但数据可视化仍处于需要手动完成报告的阶段。（在互联网行业，数据产品往往首先出现，然后生成数据收集和后续内容，因为产品将有业务流程；但在实体行业，线下业务流程已经存在，不需要等待数据产品生成，因此数据分析和构建过程完全不同。（在互联网行业，数据产品往往首先出现，然后生成数据收集和后续内容，因为产品将有业务流程；但在实体行业，线下业务流程已经存在，不需要等待数据产品生成，因此数据分析和构建过程完全不同。我不考虑互联网产品领域。）让我们详细谈谈每个层次的具体内容。2.1.基础IT系统底层的“基础IT系统”是所有数据分析的基础，因为它最重要的作用是完成“数据采集”。“基本IT系统”主要是指我们各企业在实际生产中使用的软件系统及其配套硬件设备，如网络世界中的一系列抓取代码、医院医学影像设备等传感器、探测器、财务管理软件等，这些系统解决了我们口中的“数据采集”问题，正是因为这些基本的IT系统(包括软件和硬件)，我们才能数字化和衡量生活中的一切。在解决了最基本的“数据采集”问题后，是否意味着我们有数据？在解决了最基本的“数据采集”问题之后，这是否意味着我们有数据？NO！从数据采集系统中获得的信息具有几个特点：碎片化、碎片化和无序化，只有在处理后才能使用。因此，我们需要进入下一阶段的“数据集中和标准化”。2.2.在“数据集中与标准化”的层面上，我们需要实现数据集中管理与集成，打破数据壁垒，使数据在企业中正常流动。假如把数据比作企业经营的血液，那么我们要做的就是打开所有的血管，让血液自由流动。因此，这一阶段的工作不仅仅是“数据集中”和“数据标准化”，还包括：（如有不足，请补充）1、数据清理：这一步解决的问题是将系统收集到的内容转化为人类可以理解的数据内容，主要有两个方面：一是清理原始数据，使其完整、干净、无杂质；二是将收集到的一些编码信息转换为人们能够理解的文本、数字和其他数据。2、数据逻辑和数据结构的构建：每个系统中的数据描述只是企业业务流程的一部分。因此，梳理业务流程，根据业务流程找到各系统之间的数据连接点，实现多领域数据的关联。2、数据逻辑和数据结构的构建：每个系统中的数据描述只是企业业务流程的一部分。因此，梳理业务流程，根据业务流程找到各系统之间的数据连接点，实现多领域数据的关联。第一步是根据业务逻辑将数据分为多少类？每一种字段、纬度、统计周期等都是什么样的？每一类数据需要多少层汇总？....这些问题首先将数据从收集列表中分离出来，成为数据系统；第二步，在考虑数据关联逻辑时，需要考虑三个方面：1）关联使用的“主键”需要在每个系统中统一，即在每个相关系统中，相同内容的主键是相同的。例如，在电信系统中，用户ID是所有相关系统中识别用户的唯一关键，而不是移动电话号码；2）每个系统中数据的时间粒度统一，以确保关键关联的有效使用。例如，表A是每日最新数据，表B是每日数据，因此使用时应限制时间：表A中的日期=表B中的最大日期，在这种情况下，如果您想查询表A中的历史数据，则无法找到；3）各种数据在业务上存在相互限制和影响，这种关系也应该反映在多系统的数据关联中。例如，营销活动中活动商品的数量受库存商品数量的限制。在营销活动的实施过程中，每增加活动商品的销量，库存商品的数量就会相应减少。如果没有相应的触发性变化，多系统数据集成也将大大降低其意义。在这里，我想强调数据关联的意义。在这里，我想强调数据关联的意义。在这个行业中，我们经常称每个包含大量数据但与其他系统无关的数据系统为“数据岛”。在大多数实体行业中，数据孤岛也存在不同程度的问题。一些数据岛本身包含更多的数据内容，足以支持某些数据分析应用程序的建设；但是，如果一些数据岛中的数据想要发挥其价值，它们必须与其他系统数据有效地集成，即数据关联。2.3.在数据相关性和标准化问题得到解决之后，我们下一步要解决的问题就是：怎样才能让大家看到数据？“数据报表”是最简单、最直接的方法。是的，根据日常业务使用习惯，构建各种表格，并在表格中填写大量数据。有的企业手工制作报表，有的企业使用IT工具制作报表，有的企业进入数据可视化阶段。如何实现并不重要。重要的是向用户展示数据报表。数据可视化是随着数据图形显示技术的发展而发展起来的。它的功能不仅是显示数据，还将许多数据分析方法、维度、风格和基本数据结合起来，以更生动、更接近业务应用场景的方式向用户显示数据的内容或问题。要实现数据可视化，不仅需要可视化工具，还需要用户对业务逻辑、图形效果等需要数据显示的内容有深入的了解。从“基础IT系统”到“数据报表和可视化”，前三个层次是数据分析和数据应用在某些方面的基础。对于一个企业来说，完成这三个层次的方法可以是手动的、本地的、系统的，也可以是云的。然而，只有在一定程度上具备上述三个层次的能力，企业才能说具备数据应用的基础，如数据指导运营、决策和管理。2.4.在我的理解中，所有的产品和运营分析都是从日常的产品和运营分析开始的。这个层次有三个主要功能:1、解决日常操作和监控需求；2、用户、市场、产品的深入分析；3、指导产品和运营，分析结果。让我们分别解释一下：产品和运营分析，首先要满足的是日常数据监控：高吗？低了？为什么高？为什么低？数据的变化是否意味着我们的产品和运营正在朝着更好的方向变化？如果变化是好的，我们如何继续？如果不好，是什么原因造成的？如何改正？——这些都是业务人员在日常数据监控过程中最常问的问题，解决这些问题是日常分析报告中最重要的工作。其次，当日常分析成为日常工作的一部分时，企业的产品和业务人员会发现简单的日常分析无法解释许多复杂的现象和问题，需要对用户、产品、渠道、市场、需求等方面进行深入的分析和研究。在这个过程中，出现了许多针对具体业务情况的分析主题和数据模型。这些主题和模型帮助企业更好地了解我们的市场，抓住客户和潜在的商机。最具代表性的例子之一是“用户画像”(网上有很多关于用户画像的文章，这里就不细说了)。最后，根据日常分析和各种深入分析的结论，我们可以知道营业厅开发的用户质量很差，需要验证这些用户行为的真实性；在XX链接中，劳动力耗时较长，需要查看是改进链接的人员配置还是其他问题。数据中反映的各种问题最终将归因于各种管理、运营、营销等问题。如何应用数据结论来解决问题，取决于业务人员的经验。2.5.精细操作在“产品与操作分析”层面积累的分析思路和方法大多是分散的、点状的。在“精细操作”的层面上，所有的分析都不再孤立，而是更基于实际的业务场景，从“如何感知识别”到“如何筛选用户”，再到“如何营销合作”，从而实现场景中整个过程的整体管理。在这个过程中，数据分析不再仅仅是分析报告、数据图表，它已经成为人们构建过程的思想，过程的每个环节都会有数据分析甚至数据挖掘内容，以数据结果驱动产品、渠道、投资资源等内容，共同构成完整的业务过程。当然，这个过程不能靠手工