思考：DAMA数据库的组建与治理

在数据管理领域，我们通常将数据分为：主数据、交易数据、参考数据、元数据和统计分析数据（指标）。该指标是BI的核心概念，是企业数据运营的核心数据，一般以KPI和报表的形式反映。从作者的实践来看，企业进行数据治理涉及架构、安全等方面，但最迫切的是提高数据质量，其中指标质量是重中之重。一般来说，90%以上的业务问题都是从指标问题开始的。只要你从事数据相关工作，你就应该有深刻的理解。“这个指标似乎与业务发展的实际情况不符。去检查一下。”据估计，这是报告取数器听到的最多的一句话。作者将讨论如何从根本上提高指标的数据质量，即实现指标的标准化。作为一名数据管理者，无论你有多少能力，你解决了多少问题，你做了多少消防英雄，你都应该从更长远的角度来思考这个问题。指标标准化的核心价值在于实现“书、车、轨”，即通过一系列指标管理流程，提高指标的准确性、一致性、敏捷性和开放性。DAMA将数据治理放在核心位置，指标标准化是典型的数据治理问题，症状容易，成本太高，但如果你想实现先进，或站得更高，思考是否有更好的方法，从作者多年前做指标标准化项目，分为组织保证、报告梳理、指标整合、实现、功能架构、可视化引擎和管理流程七个方面。1、一般业务部门参与的数据管理项目，如组织保障指标库，或BI项目，并不大，这是大多数BI项目实施效果差的深层次原因。DAMA提到，要实施数据治理活动，跨部门数据治理委员会是关键组织。事实上，该指标与公司的每个单位都有关。当然，标准化转型应得到大家的一致同意。不幸的是，大多数企业没有这个理想的条件，也不会有数据治理委员会，在数据成为真正的实质性资产之前，如财务部资产目录，很少有企业会设立数据组织，因为效益不明显，因此，企业不太可能指标规范，命令公司实施，对于数据管理人员，指标库可能意义重大，但对整个公司意义不大，这是现状。在没有公司层面的组织保障之前，大多数数据管理人员或BI部门都必须依靠自己来推动事情向前发展。这是一种应有的态度。如果你不提，公司里没有人会提到它。毕竟，你是最大的受益者。实施指标数据库非常复杂。没有人能成功地把握它。坚持小步快跑的原则，试点探索是好的。作者的指标库项目得到了主管领导的大力支持，这是项目可以进行的实际组织保障。事实上，在这类管理项目成立之初，业务部门和一线人员很难立即认识到其价值并充分参与其中。沟通管理成本太高，但无论如何，数据管理项目能否成功，公司的支持是首要任务，不仅仅是IT部门，DAMA早就在《DAMA数据管理知识体系指南》中明确了数据管理的组织要点。以下是DAMA数据管理组织架构图，非常先进：当然，作者认为实际的组织演变可能更合适，但事实是一样的。相关利益相关者需要就此事达成共识：2、报表梳理指标的主要表现形式是报表，因此首要任务是对报表进行梳理，公司的报表浩如烟海，因此，该项目在成立之初就受到限制，主要针对一线营销经理、终端管理和流量管理三个核心角色，在数据市场上梳理了39封彩信、48封电子邮件通知和733份报告。3、指标整合各种报表和相关指标的表达方式不同。在梳理之前，应给出一个描述指标的标准框架，包括指标类别、子类别、维度、周期、所有权、命名规范等。由于框架中缺失了一些元素，必须做好顶层设计，以下示例：命名规范：业务限定词 业务名称 量值限定词 量值描述(量、收、用)例1：两个网络有效用户到达的例子2：下图列出了自建有线宽带账户用户数量的一般梳理步骤，基准指标主要根据省级公司报表和彩信KPI确定。各城市指标消除个性指标后，将其合并到省级公司的基准指标中，形成本次最终指标的范围。全省共有6841个指标(无重量)。合并整合后，获得2306个基本共性指标，如下图所示:这项工作耗时巨大。以下是结果的示意:4、根据指标性质的不同，实现方法可分为三类，即1046个基本指标、652个计算指标和303个通用营销指标。5、为了支持指标的快速、标准化，功能架构主要包括指标信息维护、指标开发、运维管理、指标质量管理等功能，通过加强数据管理平台实现指标的快速开发、部署和管理。比如指标库每月需要新增9.5亿行以上的数据，存储周期为12 1.即123亿行，无法支持传统关系数据库的查询能力。在这里，Hbase架构用于支持海量指标的快速查询。6、为了支持指标组装报告和配置报告的快速开发，数据可视化引擎产品主要包括指标组装、报告开发和报告显示功能。现在有很多这样的产品，但定制给了创新项目更大的自由。6、为了支持指标组装报告和配置报告的快速开发，可视化引擎使用数据可视化引擎产品，主要包括指标组装、报告开发和报告显示功能。现在有很多这样的产品，但定制给了创新项目更大的自由。指标组装报告工具是一种基于SQL配置报告的更灵活性的报告配置模式，主要提供基于指标的组装生成报告。7、管理过程指标的建设只是数据管理的第一步，为了确保指标库的长期可用性，必须有一套有针对性的指标管理机制和过程，否则施工结束是混乱的开始，理想的做法当然是发布一套公司级指标管理规范，但时机往往不成熟，如系统可用性，因此，我们建立了一个简单的原则，开发铁律：不重复开发，指标不允许单独开发报表，当然，这是对数据管理艺术的考验，极大地依赖于团队业务和数据能力，但独立的数据管理团队必须知道如何与业务人员玩游戏，记住你是公司数据经理，而不仅仅是开发者。作者简要讨论了指数库的实现，但我对大多数企业的指数库持悲观态度，传统的BI部门面对数据需求，往往没有管理原则，因为公司对您的数据管理授权不明确，我们必须牺牲长期来满足当前，实际上BI每次接收非标准（如随机指标命名和定义）报告需求将承担由此产生的管理成本，而不仅仅是开发成本，为后续数据管理的混乱埋下了祸根。然而，存在是合理的，因为一开始，管理和运维成本都不低。关键是短期内效益不明显，这可能是成功案例少的原因之一。因此，当我们抱怨业务指标口径完全混乱时，记住企业没有数据管理原则导致这种现象，也是你的不作为导致这种现象，这与公司的文化、机制和流程密切相关，顶层设计没有解决，也许只能妥协，或者，你必须付出一百倍的努力来改变或优化设计，这需要巨大的决心和毅力。DAMA谈论数据治理的组织设置显然是非常明智的。奇怪的是，知乎上几乎没有关于DAMA数据治理的讨论，这是一个值得思考的问题。