完整的互联网数据分析能力养成提纲

我会根据大纲增加互联网侧的内容，如网站分析、用户行为序列等。我不想留在表面上，而是系统地讲述。比如什么是产品埋点？获得埋点数据后，如何使用Python/Pandas？shift()函数将其清洗为用户行为session，然后计算用户在每个页面的停留时间，以及如何将其转换为统计宽表，以及如何建立用户标签。以下是每周的学习概述。第一周：Excel学习掌握如果Excel玩得顺滑，你可以跳过这一周。但是我入行的时候也不会vlookup，所以有必要说一下。重点是了解各种函数，包括但不限于sum，count，sumif，countif，find，if，left/right，时间转换等。Excel函数不需要完全学习，学习搜索很重要。也就是说，如何在搜索引擎上清楚地描述遇到的问题。我认为掌握vlookup和数据透视表是最划算的两种技能。学习vlokup，SQL中的join，Python中的merge很容易理解。学习数据透视表，SQL中的group，Python中的pivot_table也是如此。基本上，10万条以内的数据统计并不难，80%的办公室白领都可以秒杀。Excel熟能生巧，多找练习。还需要养成好习惯，不要合并单元格，不要太花哨。根据原始数据(sheet1)表格、加工数据(sheet2)，图表(sheet3)的类型管理。以下是为以后更好的基础而附加的学习任务：了解单元格式，后期的数据类型包括各种timestamp，date，string，int，bigint，char，factor，float等。了解数组，以及如何使用(excel数组很难使用)，Python和R也将涉及list。了解函数和参数，当先进的编程数据分析师时，会让你掌握得更快。了解中文编码、UTF8和ASCII，包括CSV的delimiter等，以后你会回来感谢我。本周的内容将分为函数和技能两部分。这是一个练习，我给你1000个身份证号码，告诉我有多少男女，各省市人口的分布，这些人的年龄和星座。若能完成上述过程，则本周直接跳过。第二周：数据可视化数据分析界有一句经典名言，字不如表，表不如图。数据可视化是数据分析的主要方向之一。除数据挖掘等高级分析外，许多数据分析都是监控数据观察数据。数据分析的最终结论是出售自己的观点和结论。最好的兜售方式就是给老板做一个有清晰观点和详细数据的PPT。如果没有人同意分析结果，那么分析就不会得到改进和优化。未落地的数据分析价值在哪里？首先要了解常用的图表：Excel图表可以100%完成上述图形要求，但这只是基础。编程绘制必然需要后续的高级可视化。为什么？例如，常见的多元分析，你能很容易地用Excel完成吗？但IPython只需要一行代码。第二，掌握BI，下图为微软BI。BI(商业智能)和图表的区别在于BI擅长交互和报告，更擅长解释已经发生和正在发生的数据。将要发生的数据是数据挖掘的方向。BI的优点是在很大程度上解放数据分析师的工作，提升全部门的数据意识，减少其他部门的数据需求(万恶导数据)。BI市场上有很多产品，基本上都是通过维度的联动和钻取，建立仪表盘Dashboard进行可视化分析。最后，我们需要学习制作可视化和信息图。这是安(装)身(逼)立(加)命(薪)的基础。这与数据能力无关，更注重审美、解读、PPT、信息化能力。但是花点时间学习是值得的。数据可视化学习有三个过程：理解数据（图表）集成数据（BI）展示数据(信息化)第三周:本周分析思维的训练很容易，学习理论知识。好的数据分析首先要有结构化的思维，俗称金字塔思维。思维导图是必不可少的工具。然后了解SMARTT、5W2H、SWOT、4P理论，六顶思维帽等框架。这些框架都是大巧不工的经典。分析也有框架和方法论，主要集中在三个关键点：一个业务没有指标，不能增长和分析；好的指标应该是比例或比例；好的分析应该是比较或相关的。举个例子:我告诉你今天一家超市有1000人的客流。你会怎么分析？与附近的其他超市相比，这1000人的数量是多是少？(对比)这1000人的数量比昨天多还是少？(对比)实际购买了多少1000人？(转化率)路过超市，超市外的人流是多少？(转换率)这是一种快速构建分析框架的方法。如果只看1000人，就看不到分析，也看不到任何结果。优秀的数据分析师会折磨别人的数据，他自己的分析经得起折磨，这就是分析思维能力。需要确切理解的是，数据思维不能在一周内锻炼，只能理解。数据思维是不断练习的结果，我只是尽量缩短这个过程。第四周:数据库学习Excel处理10万条以内的数据没有问题，但互联网行业并不缺乏数据。只要产品有一点规模，数据就是百万。此时需要学习数据库。在招聘条件下，越来越多的产品和运营岗位将SQL作为优先加分项。SQL是数据分析的核心技能之一，从Excel到SQL绝对是数据处理效率的一大进步。围绕Select学习。可以跳过增删、约束、索引和数据库范式。主要了解where，groupby，orderby，having，like，count，sum，min，max，distinct，if，join，leftjoin，limit，and和or的逻辑，时间转换函数等。如果你想进一步学习row_number，substr，convert，contact等。此外，不同数据平台的函数也会有所不同，比如Presto和phpmyAdmin。再追求一点，就去了解Explain优化，了解SQL的工作原理，了解数据类型，了解IO。以后可以和技术研发人员谈笑风生。毕竟用“这里有bug”的说话代替“这个数据死锁”，差别很大。SQL的学习主要是多练习，网上找相关练习，刷一遍差不多。第五周：学习统计知识很遗憾，统计知识也是我的弱点，但这是数据分析的基础。我读过很多与产品和运营相关的数据分析文章，没有提到太多的统计知识。这并不严格。比如产品的AB测试，如果产品经理不知道可信度的含义和概念，那么好的效果并不意味着真的好。特别是5%这种非显著的增加。例如，如果操作一个活动，如果操作不理解测试的相关概念，那么如何判断数据中的活动是否有效呢？更别说平均数了。我们来讨论一下经典的概率。如果一个人得了流感，实验结果是阳性的概率是90%；若无流感，实验结果为阳性的概率为9%。现在这个人的测试结果是阳性的，他有多少机会得流感？如果你认为有50%的机会，、60%、70%等等，然后都犯了直觉错误。它还与疾病的基本概率有关。统计知识将教我们从另一个角度看待数据。假如大家都知道统计数据会撒谎，那么就知道很多数据分析的决策并不可靠。我们需要一周的时间来掌握描述性统计数据，包括平均值、中位数、标准差、方差、概率、假设检验、显著性、整体和抽样。我们不需要学习更高层次的统计知识。谁让我们快速成功？只要你不被数据欺骗，就不要犯错误。以Excel分析工具库为例(在网上找到图片)。在初级统计学习中，我们需要理解列1的名词含义，而不是停留在平均值的基础上。第六周:本周需要了解业务知识(用户行为、产品、运营)。对数据分析师来说，对业务的理解比数据方法论更重要。当然，不幸的是，商业学习没有捷径。我举个数据沙龙的例子。一家O2O配送公司发现，在重庆，送货员的送货效率低于其他城市，导致用户好评率下降。总部的数据分析师建立了各种指标来分析原因，但没有发现问题。后来在采访中发现，由于重庆是山城，路面高低落差夸大，很多外卖人员的小电池上不了坡...因此，交货效率较慢。在这种情况下，我们只知道送货员的送货水平距离，即POI数据，不可能知道垂直距离的数据。这就是数据的局限性，也是只看数据的分析师和接地气分析师之间最大的区别。了解业务市场是数据分析在工作经验中最大的优势之一。不同行业的商业知识是不同的，所以我不会献丑。在互联网行业，需要了解几个广泛的业务数据。产品数据分析，通过经典的AAARR框架学习，了解活跃保留的指标和概念(我的历史文章已经涉及到这些内容的一部分)。而且数据分析师需要知道如何用SQL计算。因为在实际的分析过程中，保留只是一个指标，通过userid关联和拆分是常见的分析策略。网站数据分析可以抽象地吃一个哲学问题：用户从哪里来？（SEO／SEM），用户去哪里(访问路径)，用户是谁(用户画像)／用户行为路径)。虽然网站不再是互联网的主流，但现在有很多应用程序 Web的复合框架，朋友圈的传播活动一定要用网页的指标来分析。用户数据分析是数据操作的应用。在产品的早期阶段，转换率可以通过埋点计算，AB测试可以实现快速迭代的目的。在用户数量积累的后期阶段，用埋点分析用户行为，建立用户分层用户肖像。例如，用贝叶斯算法计算用户的性别概率，用K聚类算法划分用户群，用行为数据建立响应模型。但是，快速入门不需要掌握这些，只需要有一个大致的框架概念。除商业知识外，商业层面的沟通也十分重要。当业务线足够长时，我不止一次遇到产品和运营都没有掌握所有的业务要点，特别是涉及跨部门的分析。良好的业务沟通能力是数据分析的基本能力。第七周：Python/R学习终于到了第七周，也是最痛苦的一周。此时，我们应该学习编程技巧。是否具备编程能力是初级数据分析和高级数据分析的风水岭。编程能力(如上面的多元散点图)用于数据挖掘、爬虫和可视化报表。掌握一门优秀的编程语言，可以让数据分析师事半功倍，升职加薪，嫁给白。以最流行的R语言和Python为学习支线，快速学习一个。我刚刚学过两种类型。R的优点是统计学家编写的，缺点也是统计学家编写的。如果是各种统计函数的调用、绘图和分析的前验性论证，R无疑有优势。然而，大数据量的处理是不可能的，学习曲线是陡峭的。Python是一种通用的胶水语言，具有很强的适用性，可以脚本化各种分析过程。Pandas，SKLearn等各包也已追平R。学习R需要了解数据结构（matrix，array，data.frame，list等))、数据读取，图形绘制(ggplot2)、数据操作，统计函数(mean,median,sd,var,scale等。).暂时不需要涉及高级统计，这是后续的学习任务。RStudio是R语言开发环境的建议。学习Python有很多分支，我们专注于数据分析。需要了解调用包、函数、数据类型(list,tuple,dict)，条件判断、迭代等。在有精力的情况下，高级Numpy和Pandas涉及。Anaconda是Python开发环境的建议，可以避免环境变量、包装安装等大多数新手问题。Mac有自己的Python2.7，但是现在Python3已经比几年前成熟了，没有编码问题，不要抱成守旧。第七周对于没有技术基础的运营和产品来说是最困难的，尽管SQL＋Excel足以处理入门级数据分析，但当涉及到循环迭代和多元化图表时，复杂性呈几何形状上升。更不用说数据挖掘这种高级玩法了。我也相信，未来了解数据挖掘的产品和运营将具有很强的竞争力。到这里，正好是七周。假如还需要第八周 ，它是整合和整合上述内容。毕竟，这只是一个目的性很强的速成，一个开始，而不是数据分析的毕业典礼。如果你想进一步提高数据分析能力，或者成为一名优秀的数据分析师，你可以继续学习和掌握每周的内容。事实上，仅仅两周的商业知识和统计知识是非常不稳定的。在以后的学习中，会有很多分支。比如偏策划的数据产品经理，偏统计的机器学习，偏商业的市场分析师，偏工程的大数据工程师。这是后话。