数据治理的原则与方法

简介：数据分析师的角色就像一个厨师。如果原材料有问题，厨师肯定不能做出香味好的好菜。如果数据有问题，数据分析师得出的结论自然是不可靠的。正文:如果你是厨师，你刚刚向客人描述了如何搭配一道色、香、味俱佳的大菜，甚至解释了烹饪的方法。当你准备好各种调味品，为这道菜增鲜增色后准备烹饪时，你会发现所需的主要原料有问题。数据分析师的角色就像一个厨师，原材料有问题，厨师必须做好菜，数据问题，数据分析师的结论自然不可靠，无论数据分析方法有多好只是基于扭曲数据，努力构建数据系统当然是浪费。在过去的项目中，作者经常遇到这样的情况。客户用永宏科技的产品做了一些精美专业的数据报告，但由于数据不准确，报告的使用价值受到影响。在前两篇文章中，作者讨论了如何分析数据指标以及如何构建系统的数据系统。本文是《数据操作方法论系列》的第三篇文章，其核心主题是数据治理。推荐阅读:第一篇文章《大道至简数据分析方法论》第二篇文章《大道至简数据系统构建方法论》的数据治理是一项基础工作，在很多人眼里是一项艰苦的工作。但是，这样的工作越多，就越不能忽视。如果基础扎实，上层建筑会更稳定。接下来，笔者从脏数据的类型和处理方法入手。首先，让我们了解脏数据的类型，以及我们可能面临的问题。数据缺失:缺少一些记录，或者一个记录中缺少一些值(空值)，或者两者都缺少。可能有很多原因，包括系统或人为的可能性。若有空值，为不影响分析的准确性，要么不将空值纳入分析范围，要么进行补值。前者会减少分析的样本量，后者需要根据分析的计算逻辑填充平均数、零或等比例的随机数。如果缺少一些记录，如果业务系统中有这些记录，则通过系统再次导入。如果业务系统没有这些记录，则只能手动补充或放弃。2数据重复：出现多个相同的记录。这种情况相对容易处理。删除重复记录。但害怕不完全重复，如两个会员记录，其余值相同，地址不同，这很麻烦，有时间属性也可以判断新值，没有时间属性不能开始，只能手动判断处理。3数据错误：数据未严格按照规范记录。比如异常值，价格范围明显在100以内，但有价格=200的记录；比如格式错误，日期格式记录成字符串；比如数据不统一，有的叫北京，有的叫BJ，有的叫beijing。对于异常值，可以通过区间限制找到并排除；对于格式错误，需要从系统级别找到原因；对于数据不统一，系统无能为力，因为它不是真正的“错误”。系统不知道BJ和beijing是一样的。只能手动干预，制作清洁规则表，给出匹配关系。第一列是原始值，第二列是清洁值。最好通过近似值算法自动找到可能不统一的数据。不能使用数据：数据正确，但不能使用。4数据不可用：数据正确，但不可用。例如，地址写为“北京海淀区中关村”。当你想分析“区”级别的区域时，你必须拆除“海淀区”才能使用。最好从源头上解决这种情况，即数据治理。事后补救只能通过关键词匹配，不一定能全部解决。接下来，让我们了解一下BI对数据的要求，结合上述脏数据的类型，中间的规避手段就是数据处理。结构化：数据必须结构化。这可能是胡说八道。如果数据是大文本，比如微博，就不能用BI进行量化分析，而是用分词技术进行语义分析，比如舆论分析。语义分析不像BI定量分析那样100%准确，而是有概率的。人的语言千变万化，人不能保证完全理解到位，系统更不可能，只能尽可能提高准确性。2标准化：数据足够标准化。简单来说就是解决上述各种脏数据的问题，把所有脏数据洗成“干净数据”。3可关联：如果您想对两个维度/指标进行相关分析，这两个维度/指标必须能够相关，要么在同一张表中，要么在两个具有相关字段的表中。在数据治理的原则之前，我们讨论了脏数据的处理方法，但这些都是治标不治本的应对方法，做这项痛苦的工作需要很长时间和人力。要从根本上改善脏数据的问题，还需要做好数据处理的标准化工作。简单来说，数据治理就是约束输入，规范输出。约束输入:你永远不会想到用户会输入什么值，所以不要给用户太多的发挥空间，做好约束。用户填写的系统必须设置为“必填”；如果有固定的选项，用户必须使用列表进行选择，而不是手动输入；系统检查输入提交，格式错误，值不在正常范围内，用户必须重新输入；设计输入表，如上述地址，分为国家、省、市、区、详细地址等字段，避免事后拆分；输入数据保存的数据表也尽可能统一，不会产生大量相同数据的表，造成数据重复隐患。2标准输出：老板看到不同的人做报告，相同的“收益率”指标，每个报告的价值都不同，老板的心一定要崩溃，不知道该骂谁，只能骂全部。2标准输出：老板看到不同的人做报告，相同的“收益率”指标，每个报告的价值都不同，老板的心必须崩溃，不知道该骂谁，只能全部骂。排除计算错误，一般是由统计口径不一致造成的。所以要统一语义，做一个公司级别的语义字典(不是数据库的数据字典)。报告中的所有指标名称都应在语义字典中记录，语义字典明确定义其统计口径和含义。不同的名词必须使用不同统计口径的指标。若发现一个词已在语义字典中存在，则必须通过流程向语义字典注册一个新词。落地脏数据的数据处理需要ETL工具，语义字典不需要系统的帮助。事实上，由于这类系统过于复杂，国内实施成功的案例很少，Excel加系统可以取得很好的效果。关于实施推广策略，也很简单，老板决定必须实施，然后用优先声音吸引部门试点，然后横向扩张。哪个部门先落地，哪个部门可以根据最符合自己习惯的词来命名指标，相当于占坑。后面的部门要遵循前人的标准，重名但意义不同的指标需要另找词来命名。这样就不怕没有人主动了。以上是数据治理方法论的精炼版。我们都知道这是一项艰苦的工作，但作者也提醒我们，你开始得越晚，你就越痛苦。有了经验，在设计新的业务系统时，可以充分考虑数据治理的规范。