数据体系架构和技术实现案例

摘要:本文是《数据驱动精准营销在公众评论中的实践》一文的读后感，其中斜体是评论。精准营销一直是互联网营销业务在细分市场下快速获取用户、改善转型的利器。如今，随着移动互联网的爆发，数据量呈指数级增长。如何在移动和大数据场景中利用数据驱动进行精准营销，从而提高营销效率，已成为营销业务部门的主要挑战之一，也是大数据应用的重要研究方向。本文通过数据系统架构和技术实现案例，分享了美团公众评论数据应用团队在这个方向上的一些尝试和实践经验。精准营销首先要解决两个问题：1、客户是谁;2、客户与产品的关系。这就是实体商业精准营销的难点。商店可以记录客户的消费记录，并留下VIP客户的个人信息。然而，普通大众和自然流量的肖像无法收集，标签无法分析。在介绍数据系统和框架之前，为了方便您理解，首先简要介绍O2O营销的基本组成：O2O营销由营销渠道（站内、站外）和营销主题业务（流量、交易）两个维度组成，产生各种营销形式，如准确的用户营销活动、DSP准确交付、渠道价值排名和反作弊，在这些环节中，数据分析和挖掘可以起到很大的作用。本文主要阐述了站内准确的用户营销活动。本文主要阐述了站内精准的用户营销活动。站内用户运营活动的生命周期可概括为六个环节：确定目标、选择活动对象、设计活动计划、活动配置和在线、在线精准营销和动态优化、效果监控和评价。如下图所示。在这个周期中，数据具有巨大的发挥空间和价值。项目启动后，我们与业务充分沟通，了解业务痛点，确定一期主要试图帮助运营商和财务同事从数据中解决以下问题：①营销活动前：确定目标，选择活动对象②营销活动：效果监控和跟踪；用户和商家策略的输出③营销活动之后：效果评估和优化建议相对而言，实体商业营销活动可以有效地解决123个问题。想想也很有趣。实体业务正在探索互联网，而互联网正在探索实体业务的旧道路。无论是同样的方式，还是从实体业务开始，从活动对象中寻找目标，商店和品牌是标签，标签是相应的客户。对于①目标确定，以前更多的是拍脑袋决定，缺乏稳定的分析框架和模型。活动对象，包括用户和商家/团单的选择，需要业务和BI学生每次手动运行数据，效率低下。而对②和③，缺乏一套公司的营销监控平台，预算往往超出无法控制。活动结束后，各业务方自行提供效果数据，口径不一致，难以整体评价效果。对于2和3，商场Marketing有一套完善的营销活动策划、实施和后评估方法。我相信互联网行业也应该有，但互联网行业欺诈成本低，信任度差。基于上述业务场景和需求，我们采用分层金字塔架构设计了一套营销数据系统和服务，有效满足业务需求，具有良好的平台可扩展性。底层是我们的数据仓库和模型层，大致可以分为三个主题:肖像、运营和营销、流量。这三个都是运营活动中必不可少的数据组成部分。对于肖像，我们的做法是部分独立建设，整合搜索、广告和风险控制团队开发的肖像标签，形成统一的肖像宽度表。目前，我们的用户标签系统涵盖了180多个标签，包括基本信息、设备信息、消费浏览和特征群体。在标签的实现上，我们也坚持从需求开始逐步迭代的原则，从RFM等最初的统计和基本营销模型，到现在探索潜在用户挖掘和用户偏好中使用机器学习的挖掘方法。这是我们要努力学习的地方，标签设计，模型建立，机器学习。在营销运营市场上，我们与财务和支付系统合作，开发了一套公司预算流水系统。运营商在配置活动时，从财务申请预算流量，并在优惠背景下配置相应的活动。用户享受的每一个优惠订单都将在业务表中进行管理，以实现最细粒度的预算监控。同时，在用户、商品等维度建模后，形成了营销交易评价指标体系：新用户成本、新老用户分布、7天、30天购买保留等。这部分缺乏宏观性，营销活动之间的关系无法很好地反映出来。我一直认为营销的最终目标是品牌价值，收入增长只是次要的，所以全年活动的关键在于它是否能很好地提高品牌价值。每次活动太随机，是否是精确营销活动评价的另一个维度是流量：点击活动页面、转换漏斗、不同渠道来源等指标是运营商始终*的，这部分模型是数据中心数据仓库的核心环节。我们参考了其他公司的做法，建立了自己的PV、UV、Session、路径树转换等模型，能很好地满足操作需要。实体业务真的需要努力学习。相信线上线下营销可以综合借鉴。实体业务的流量是在线流量。相关指标是否能有效量化硬广带来的客流、在线排水引入的客流、小蜜蜂广告的流量应成为仓库评价指标。我们建立了数据服务层，如何将在线指标转化为数据仓库。根据公司高性能RPC框架的统一使用，选择差异化的数据存储和查询引擎进行不同的应用。例如，在肖像服务中，需求是满足在线业务系统的实时访问需求，需要毫秒并发和延迟，因此我们选择Redis作为存储。相比之下，分析产品对并发和延迟的要求相对较低，但对不同维度的数据聚合操作的要求较高。与Kylin相比，、ElasticSearch(以下简称ES)、在Druid之后，我们决定使用ES作为存储和查询引擎，主要有两个原因：一是我们有保留等指标，需要重新刷数据，而对Kylin来说，不能使用其提供的自动增量cube机制，重建数据成本高。同时，ES在相同维度上的空间膨胀比Kylin少近一半；其次，ES的整个系统设计和架构非常简单，操作和维护方案简单，并有专门的工具支持，这是当时没有专职操作和维护的开发团队的捷径。上层是数据产品和应用程序，为上述操作活动的不同阶段提供数据平台和工具：人群分析平台(Hoek)：用户可以通过选择肖像服务提供的不同标签组合快速创建人群包，创建的人群包可以提供给其他不同业务和形式的营销工具，如push、促销工具等。智能代金券发动机(Cord)：运营商可以在没有开发访问的情况下，通过配置后台和Hoek平台，完成定向活动受众和策略的配置。智能代金券发动机(Cord)：运营商可以在没有开发访问的情况下，通过配置后台和Hoek平台，完成目标活动受众和策略的配置。具体细节将在下面的案例分享中详细介绍。云图/星图：完成活动效果数据查询和分析的工具平台，构建基于ES的查询引擎，提供多维实时指标查询。这三部分是核心。如果能够改进，将是营销的利器，但作者应该还在探索如何更好地推动目标客户而不引起厌恶和推动销售。除了系统化建设外，在运营活动的迭代中，我们还与业务合作，进行了20多个大大小小的专题分析，生产了主题模型，包括闪存预算动态分配、闪存预算梯度优化、用户价值评分和免费饮食和娱乐选择。帮助业务提高预算利用率30%，更好地评估新用户价值。整体结构最终是为精准营销服务，下面结合两个案例具体介绍。案例共享外卖潜在用户挖掘精准营销的主要方向之一是潜在客户挖掘，特别是在评论平台上，包括食品、外卖、美容、教育等近20家业务，如何挖掘近1亿活跃用户的垂直渠道潜在用户已成为精准营销的一个非常现实的问题。Facebook和腾讯的广告系统提供类似的Lookalike功能，帮助客户找到类似于交付人群的用户群，其广告的点击率和转化率高于普通受众的广告。目前，常用的潜在用户挖掘方案主要是基于肖像或关系链的挖掘。我们的团队从需求和评论的肖像系统三个算法中探索了相关规则、聚类和分类模型。对比效果如下：未来，除了进一步优化分类和聚类外，我们还计划利用SparkGraphX建立标签传播算法，进一步挖掘高质量的相似用户。微信红包精准优惠券引擎的另一个精准营销案例是智能优惠券发行机构Cord。背景是评论会在微信群/朋友圈用红包发各种优惠券。当朋友来拿优惠券时，如何决定发哪个业务，哪个面值的优惠券更容易转换。Cord引擎本质上是一个简化的推荐问题，我们还参照广告系统的架构进行设计。主要包括分流模块(灰度发布和AB测试)、召回模块(负责从肖像服务和优惠配置系统获取人和优惠券的材料信息)、过滤模块(负责匹配两者)、推荐模块(结果可以根据业务规则或我们挖掘的策略进行排序，并返回给活动系统中最合适的优惠券)。整个系统可以完全服务和配置，外部活动系统可以根据配置的开关启用，也可以在特殊场景中禁用Cord服务；在Cord内部，推荐策略也可以根据配置中心的设置进行动态调整。在数据挖掘方面，除了业务配置规则外，我们还根据肖像中的用户偏好和优惠敏感标签对公司的主流运营模式进行了综合评分，抽象了GMV和新用户的推荐策略。最近分享了大众点评闪惠买单的红包，应该挺有用的。我不知道具体数据是什么。但基于同类标签人群的推广，相信起到了很大的作用。总结精准营销是目前大数据落地的公认场景，但随着移动互联网和O2O的发展，这一领域也会出现新的问题和挑战。结合我们一年多的实践经验，团队还总结了一套数据系统架构的设计原则：从需求出发，建立准确易用的数据底层模型，统一指标系统和口径。在数据服务中，通过分层和SOA的思想，解耦和业务系统的逻辑。同时，根据不同的需求和场景选择合适的技术组件。展望未来，下一步的关键方向是如何快速开发数据挖掘模型，满足架构和产品的更多场景，使数据在营销中发挥更大的价值。后记:能落地的数据分析应用文很少。大部分数据挖掘整天爬一些没用的数据，分析是基于某个群体的，可以参考怀疑。作者从思考到实践，将思想转化为应用值得学习，大副不是这个专业，大致可以理解，如何将书面知识转化为模型，道路漫长！