做流量数据分析体系，监测、诊断数据，促进产品收益

1.什么是流量数据流量数据？当用户访问产品/页面时，从启动到使用产品的一系列过程将产生大量的流量数据。流量数据定义为用户访问产品/页面时产生的数据，需要企业通过数据采集获取数据。2.为什么要做流量数据分析系统？目前市场上客户获取成本居高不下。对于新用户来说，只打开一个应用程序就可能丢失。监控流量数据，诊断数据异常，提高业务逻辑，促进产品收入。当用户访问产品/页面时，3.如何做流量数据分析系统，从启动到使用产品等一系列过程都会产生大量的流量数据。流量数据大多是通过埋点报告产生的，通过数据处理和处理形成高质量、易于分析的数据资产，通过数据分析为决策提供数据支持和洞察力。3.1数据生产3.1数据生产3.1.1.业务需求-埋点数据需求组DA学生收到的业务需求往往是“期望使用此功能”等，如果此时只给出一个功能使用紫外线、pv，这还不够，需要全面了解业务需求，并将其抽象为埋点需求。面对“期望使用此功能”的业务需求，需要了解业务的短、中、长期战略，e.g.中长期战略为用户下沉；为什么要推出这个功能；这个功能可能会影响其他功能。了解后，根据业务背景、需求和目的，将其抽象为“埋点需求”。短、中、长期业务战略，e.g.中长期战略为用户下沉，用户下沉分为城市水平和收入金额；推出此功能的原因：为了提高用户粘度，需要监控使用该功能的用户保留和活跃天数。通过对比分析得到与其他功能的差异； 该功能可能会影响其他功能：获取与该功能可能相互排斥的功能点，监控数据性能，避免“业务预期之外”的侵蚀；获取预期补充的功能点，监控数据性能，避免“意外”。3.1.在2埋点设计埋点需求之前，需要了解事件模型（who、when、where、how、what），基于事件模型各方面的描绘埋点。3.1.WHO2.1埋点元素：也就是说，谁参与了这个事件，唯一的标志(设备/用户id)可以是匿名的设备id（idfa\idfv\android_id\imei\cookie）、也可以是后台生成的账户id（user_id,uid）、也可以是其他【唯一标志】。现在很多公司都有自己唯一的设备id(基于某一策略产生的唯一标识)，e.g.阿里有OneId。埋点时，该参数通常使用业务使用的唯一id；在埋点设计文件中，如果没有特殊处理，则无需特别声明。WHEN：也就是事件发生的实际时间。时间点尽可能准确，有利于行为路径分析行为排序，如神策会精确到毫秒。若公司内有SDK统计，且埋点使用，则无需特别说明。WHERE：也就是事件发生的地方。国家、省、城市可以通过ip地址进行分析；如果你想要更详细的数据，如果你想要住宅、商业区等，你需要额外的地理信息数据库来匹配。地点信息和时间信息一样，是每个行为事件都需要报告的信息，基本上是统计SDK的预设字段，不需要特别说明。HOW：也就是说，用户以某种方式完成事件，也可以理解为事件发生时的状态。这包括更多，可以是进入渠道，跳转到上级页面，网络状态（wifi\4g\3g）、相机信息、屏幕信息(长x宽)等。例如，浏览器/应用程序、版本、操作系统类型、操作系统版本和进入渠道通常设置为“预设字段”，无需特别说明。WHAT：也就是说，用户所做的，结合用户行为/操作和业务所需的数据粒度，需要通过埋点尽可能详细地描述行为，这也是埋点设计文档中最重要的部分。如搜索(搜索关键词，搜索类型)、观看(观看类型、观看时间/进度、观看对象(视频id)、购买(商品名称、商品类型、购买数量、购买金额、付款方式)等。3.2.以“启动”事件、“播放”事件为例，2.2埋点示例设计埋点。3.1.以形式开发埋点，支持代码埋点、可视化埋点、全埋点。代码埋点时，客户端或服务端可以埋点；统计SDK，APPSDK、webSDK、SDK小程序、H5SDK等。可视化埋点和全埋点对应的是统计SDK对“某些事件”的自动报告，可以查看埋点开发的历史文章。统计SDK是埋点开发和提高效率的工具，可以填写需要报告的参数。统计SDK的格式大多是基于事件模型，更常见的事件模型可以参考神策分析。3.1.4埋点试验验收需要从逻辑和数据两个方面进行验收，以确保埋点的正确性、顺序性和完整性。正确性：确认数据是否发布，检查上述数据内容格式是否与需求文档一致；顺序：数据报告顺序正确，间接验证埋点代码的正确性；完整性：测试每个场景，确保不同来源和场景的数据报告。埋点平台通常有针对性的测试模块。例如，在umeng可以注册测试设备后，检查埋点的测试数据。埋点启动后，还需要进一步观察数据是否异常。3.2流量数据处理3.2.数据处理后的埋点数据需要保证数据质量的完整性、准确性、一致性和及时性。完整性:完整性是指数据记录和信息是否完整，数据是否缺失，是数据质量最基本的保证；准确性:指数据中记录的信息和数据是否准确，是否有异常或错误的信息；一致性:指数据在多个数据记录中的一致性；及时性:只有保证数据的及时输出，才能体现数据的价值。3.2.2数据模型有埋点数据，通过数据处理，过程不详细。数据标准化后，通常存在三个表：事件表；用户属性表；目标对象表（三个表通常根据事件过程拆分，以提高查询效率）。基于这三个表的查询模型，可以支持一般数据量级的各种分析模型，在超大数据量下降低查询速度。如果需要提高查询速度，则需要通过存储更改查询，如缓存高频查询结果、设置数据加速等。事件表：每个记录描述用户在某个时间点、某个地方以某种方式完成特定事件；用户属性表：主体为用户，每个用户有记录，包括用户属性（包括平台、网络、服务提供商、手机型号、区域等自然属性；以及用户级别、大V等非自然属性）。目标对象表：主体为目标对象，目标对象通常是业务的主要载体，如短视频APP，目标对象为视频（id），相关事件表可以通过目标对象进行分析。3.3流量数据的应用3.3.常用流量分析3.3.1.1事件分析事件分析的常用语言研究了行为事件对产品价值的影响，并通过研究与事件相关的所有因素分析了用户行为事件变化的原因。在日常工作中，经营、市场、产品、数据分析师等不同角色的商务学生往往根据实际工作情况*不同的事件和相应的指标。例如：上周来自北京的用户拍摄视频的去重用户数是多少？围绕事件表进行事件分析。它描述了用户在某个时间点、某个地方以某种方式完成特定事件。3.3.1.2漏斗分析注重过程，现代营销理念也认为控制过程会控制结果。漏斗分析是一种流程分析，它能反映用户从起点到终点的转换。狭义上，以用户为单位串联步骤，进入后续步骤的用户必须完成漏斗前序步骤。从广义上讲，漏斗分析只是用漏斗的形式来描述，即液体从大口进口，从小口漏出。比如游戏产品用户从激活到购买皮肤:激活app、注册账号，进入游戏，玩游戏，购买皮肤。漏斗分析应用:(1)全过程监控转化过程:对业务流程相对规范、周期长、环节多的流程分析，可以直观发现问题。多维切分发现低转化问题——这里点击广告，所以*“广告曝光”->点击漏斗分析。（2）通过比较不同渠道的漏斗过程，可以找到最好的广告渠道：如下图所示，百度的整体转化率高于所有6点，质量明显高。当然，在实际场景中，需要结合更多的价值测量标准来筛选高质量的渠道。(3)对不同用户群体的漏斗进行比较分析，从不同角度找到优化点。以新用户的关键行为转换过程为例，通过漏斗分析找出用户群体的差异，然后根据差异进行更细粒度的引导。关键行为的转换漏斗如下：“启动应用程序->登录->进入直播间->直播互动->通过对比查看不同国家，发现中国和整体在后两次转型中的差异大于1%，尤其是进入直播间时->直播互动，当然，差异背后可以进一步洞察，更好地利用这一差异。3.3.1.3保留分析保留分析是一种用于分析用户参与的分析模型，可以有效衡量产品对用户的价值，调查有多少用户会采取后续行为进行初始行为。通过保留分析，延长用户的生命周期，增加每个用户的生命周期价值。对于新用户，可以描述从不文明用户到活跃用户、稳定用户、忠实用户的过程。保留分析可以：（1）了解新用户的同期组上周推出了新版本，旨在提高新用户的保留率。通过比较同期组在线前的保留性能，发现新版本并没有明显改善。(2)找到目标用户长期保留的用户是忠实度较高的用户。另一方面，他们可以通过分析用户属性来获得“什么样的”用户，他们可以更好地保留自己。(3)从用户的角度找到同一批用户的核心价值，经过什么样的行为，保留得到了提升。在衡量用户粘度时，还需要结合用户访问天数（在一定周期内）保留相同的工具和内容产品。通常，工具用户访问天数低于内容。3.3.根据用户的使用过程和频率，1.4路径分析app日志可以呈现“清晰”的用户现有路径。通过路径的指标性能，发现路径问题，使用户能够尽可能短地体验产品的核心价值。路径分析可以:(1)在路径分析中，经常会发现产品/运营设计以外的使用路径，尤其是大型产品。产品和操作都知道自己负责的模块，与其他模块的合作过程模糊甚至不清楚。此时的第一反应是“用户的真实操作是这样的吗？怎么会超越我目前对自己产品的认知？基于事件的事序数据显示将能够解决这个问题。(2)找到关键路径上的用户群体进行多维切分:如上所示，A->谁是B路径的用户？它们在相应的时间点是如何使用产品的，在什么样的网络条件下？（3）此外，路径分析还可以用来显示用户流量，有多少用户失去了A行为，有多少用户操作了其他行为，其他行为的比例是多少？3.3.报表流量数据大多以报表的形式显示。清晰显示关键数据，完整描述数据故事，往往对看板制作要求较高。流量数据具有标准的数据结构，通过沉淀常用数据数据分析模型的图表，帮助提高流量数据看板生产效率，快速形成看板。3.3.3 行为标签行为标签数据是用户肖像和用户群的基本数据，流量数据是行为标签的主要数据来源。由于处理方法的不同，行为标签可分为以下几种：事实标签：又称规则标签，是基于用户行为数据和规则的标签，e.g.无效用户-“APP启动后未使用核心功能”；新用户-“7天内新增”；模型标签：是通过数据模型获得的标签，e.g.高消费能力；预测标签：与模型标签一样，也是通过模型获得的，但不同的是，预测标签是对未来的预测，e.g.潜在用户流失。