梳理通用大数据平台的产品体系

随着各行业产品和服务的日益丰富和多样化，市场趋于饱和，竞争日益激烈，吸引和留住用户的难度和成本都很高，这已经成为企业无法承受的首要任务。同时，为了盈利和生存，企业更严格地控制预算和成本。依靠数据的精细化操作和数据驱动的增长已成为企业的必修课。近两年来，企业也成立了数据团队。企业大数据团队能否在大数据平台的基础上赋予企业营销和运营权力，已成为推动企业成长的关键。授权的核心是建立一个易于使用的大数据平台，构建一个系统和架构的优秀数据产品矩阵。大数据平台不再是一个独立的数据平台，而是开始与CRM、深度整合营销平台和PUSH系统，直接赋能业务系统。我们不谈大数据平台的技术架构，而是从产品的角度分析大数据平台的核心功能，包括哪些产品模块。比如用户画像一定要谈标签，但是在产品层面是一回事吗？应该怎么设计？此外，制造商的数据管理平台也百花齐放。不同行业、不同公司的应用重点不同，产品结构也不同。广告行业的DMP，也被称为数据管理平台，但与一般企业的大数据开发管理平台不是一个概念。DMP的核心是标签平台，给用户贴上各种标签，然后与广告商和DSP连接，为准确的广告服务。如何从混乱的信息中找到一个相对清晰的产品理念是大数据平台的关键一步。产品结构是技术结构的原型，目标一致，产品和技术将少走弯路。我把系统分成四层，从下到上依次是数据收集层、数据处理层、数据计算层、数据应用层，层层依赖，下一层是上一层的基础。这里不能简单地将这四层视为技术架构，也不能映射到相应的BI技术组件中。这里的分层只是为了清楚地携带数据产品系统，而不是设计技术架构。先简单说说各层的功能及涉及的产品模块，再详细介绍各产品模块。（1）数据收集层捕获各产品端用户的行为数据，加载各业务系统的结构化数据和非结构化数据，导入流量平台数据，通过第三方平台API访问微信、微博数据和广告数据，使用爬虫收集企业舆论、电子商务商品评论等第三方数据。相应的产品包括用户行为日志采集系统、第三方对接平台和数据爬虫。数据处理层清理和转换数据，将不同业务系统的用户集成，生成统一的UniID，统一不同系统中相同字段的数据类型和数据值（如流量系统中的渠道和营销平台，广告中定义的渠道不一致），建立合理的维度、测量和数据模型。本层产品模块包括元数据管理、指标库、操作调度管理和数据质量管理，使数据可追溯性和管理，不断提高数据质量，生产高质量的数据。数据计算层解决了数据开发与挖掘、标签制作与使用、算法调用、数据调用等问题。相应的数据产品模块包括：开发管理、标签平台、算法平台、数据接口、运维监控。数据加工层和数据计算层是数据平台建设的核心。数据应用层是业务人员和用户可以感知的系统和产品功能。内部包括日常报表系统、用户肖像系统、标签查询CRM、营销平台包括个性化PUSH，以改善用户体验、推荐系统。用户肖像系统是在标签的基础上定期生成企业和产品线的用户肖像报告。宏观和总结显示用户的主要特征，并可以自行查询单个用户、渠道和产品线的用户肖像。供管理、销售、运营、产品经理日常使用。标签功能是建立一个标签服务平台，最大限度地规范标签系统(大类、中类、小类)、标签的格式、组合方式、调用方式等，可根据标签进行二次加工，发布新标签。自定义标签是根据数据维度和测量量自行生成的新标签。每次发布一个新标签，都意味着增加一个新的数据能力。标签可以直接从外部系统中获取，例如，消费者类型（购物冲动、明确目标、理性分析和犹豫）可以显示在CMR的客户信息页面上。常规CRM功能包括客户管理、潜在客户管理、商机管理、营销活动管理、客户服务记录管理。在大数据的帮助下，这些能力可以扩展到CRM：用户轨迹分析、潜在用户挖掘、用户流失分析、用户流失恢复、用户等级分组、用户价值分析等。在大数据时代，CRM也将同步发展，不再是一个简单的业务流程记录，而是与大数据趋势集成。大数据分析结果直接嵌入CRM，供业务人员即时使用，但数据不会直接写入大数据平台，业务变更数据仍然进入CRM系统，加工后，大数据平台营销平台的传统功能包括营销全过程管理（推广计划、广告、效果、人群定位）、费用审批、渠道管理、短信邮件推送、营销策略、营销执行。营销平台的大数据应用包括：生成种子客户群、消费者特征分析、消费者类型分组（购物冲动、明确目标、理性分析、犹豫）、渠道衡量，营销效果分析。营销平台的大数据应用包括：生成种子客户群、消费者特征分析、消费者类型分组（购物冲动、明确目标、理性分析、犹豫）、渠道测量和营销效果分析。标签库的用户群应能够推送到营销平台，嵌入生产过程中，致力于端到端解决问题，从而真正赋予业务人员权力。CRM、DT时代，营销管理平台既是数据消费者，也是数据生产者，CRM、营销管理平台也在同步发展，大数据应用与业务系统的不断整合对产品架构和技术架构也是一个巨大的挑战。报告系统说，为了促进业务人员经常阅读数据报告，培养数据操作概念，除了报告门户外，报告还应该直接嵌入业务系统，因为业务系统每天登录，这也是数据平台和业务系统集成的性能。个性化PUSH、推荐系统的产品功能比较清晰，这里就不赘述了。（2）梳理数据管理平台的产品模块。数据管理平台是大数据产品系统建设的核心和基础，实现数据管理、数据开发和生产过程管理。根据数据规模和进化阶段，灵活切割这些产品模块并非所有需求。开发管理：SQL开发、Spark开发、操作调度、API管理等数据接口：提供数据访问能力，CRM、营销平台可以直接利用数据平台的数据，在业务系统中实现数据结果。算法平台：解决数据开发挖掘问题，支持分类、聚类、关联、回归等常用数据挖掘算法，实现一些预测标签、用户群、个性化推荐等，如果业务线较多，也可直接使用业务线输出算法能力，避免另一个炉灶。元数据管理：元数据收集、数据字典、影响分析、血缘分析质量管理：质量规则管理、质量规则检查、质量问题管理运行维护管理：资源管理、运行监控指标库：指标库准确定义数据指标的含义、计算方法，如丢失用户、活跃用户如何定义，两个指标不像聚氯乙烯、UV有明确的一般定义，适用于行业定义。在企业内部形成统一的指标口径，避免沟通误差，影响对数据的解读。日志采集系统需要能够支持网站App、收集不同终端的用户行为数据，包括浏览、收集、共享、评论、搜索、加入购物车、登录、注册、购买等，并尽可能收集所有有价值的行为数据。Scribe可以使用Facebook开源，或者Flume、搭建Kibana。公共网络数据采集系统通常被称为网络爬虫，从公共网络上收集微博主题、电子商务评论、行业数据、营销活动数据等。可自行搭建开源软件，也可购买现成的数据爬虫服务。第三方数据对接平台通过API从微信微信官方账号获取文章阅读、用户、用户留言、客服记录等数据，从广告系统获取发布计划和发布结果数据。在这里，我们梳理了通用大数据平台的产品系统，可以看出大数据博大精深，非常复杂。就单个产品而言，工作量已经很大了，不可能一蹴而就，但我们先画一个合理的蓝图，先选择最近的核心需求，然后根据需求不断迭代。