热力图是网站页面分析和质量提升的重要工具。国双热力图以图像形式直观显示用户在页面中的点击分布，以像素为单位真实再现用户与网站页面的交互行为。以不同颜色对点击的重要度进行标示，帮助网站分析师快速了解用户对内容的偏好，并通过特有的异常流量判别机制对流量质量进行检验。

不管是刚毕业的，还是之前从事别的行业想要转到互联网行业的人来说，如果能顺利搞定面试中的案例分析 (case analysis)，基本就成功了一大半。以 Facebook analytics data scientist 的工作要求为例，基本上一半的要求是跟 technical 相关，例如 SQL 等，另一半则主要跟产品相关，考察的是产品思维 (product sense) 和案例分析的能力，此外还有少数的统计、数学、概率等。面试中产品思维、案例分析相关更是占据半壁江山。

数据分析是什么，小伙伴们自行去问度娘哈。为了降低阅读压力，不让篇幅太长，我特意拆成上、下两篇来分享自己这几天学到的知识。 我特别不喜欢只会装逼的产品经理，看文章也一样不喜欢华而不实的。所以督促自己写文章时，把懂的、经历过的能细就写的尽量详细；不懂的就去学，然后把整理的笔记分享出来，数据分析方面我涉入不多，内容由于缺少实战经验，会比较基础和理论，希望同样对你有帮助。

传统的征信系统，其数据来源比较单一，但是这些系统当中记录的都是关于个人和企业比较核心的金融数据，如信贷、保险、税收等，都是“真金白银”，与个人信用关联度比较强。互联网公司积累的数据虽然多，但是这些数据和个人信用关联度比较弱，如何用这些关联度弱的数据，分析出与个人信用的关系，是个难题。 此外，数据来源单一、数据的第三方问题、隐私保护问题等，也是公众和监管层对芝麻信用的担忧和顾虑。

对于从 BAT 等互联网公司出来的，已经经历了数据分析的历练，会有一个做事情看数据的习惯。而对于毕业之后就创业，或者是产品经理或运营专员新手，一般会对构建指标体系比较困惑，不知如何下手。甚至有些在微信公众号后台或者百度统计后台看到的几个指标，就觉得算是有了数据指标体系了，但又会发现与许多实际的工作脱节。我这里给大家介绍两套构建指标体系的方法，第一关键指标法和海盗指标法。

大多数变化起因于从PC端计算向移动端计算的过渡。移动端对数据分析而言仍然是个新领域。变化太快，所有人都在寻找更新、更好、更快的解决方案。 四年来，我们一直在分析数据，从未间断。在帮助企业进行数据分析的时候，我们发现了四个经验教训，希望能和大家分享共勉。这些经验教训事关大局，但有时会在追新求快的过程中被忽视。它们至关重要，如果你想成功地发挥数据的全部潜力，就必须将这四个经验教训牢记心中。

数据科学则是让企业有能力将数据资产转化成场景。描述分析固然也能让人们讲述特定类型的数据场景，但会带有明确的时间视角，每个场景故事回答一个单独的数据问题。而数据科学会让场景贯穿到整条时间线中，进入不同的数据领域，从过去延伸到未来，涉及的问题和答案要多得多。

中美在数据分析上存在较大的差距。数据分析在国内一些特别大的企业，比如 BAT里，才能得到较高的重视;当然这得益于他们的长期积累，对数据和运营结合的比较好。这是我回国以后的总体感受，国内企业对数据本身，以及数据所能提供价值的认识程度，没有美国那边那么深入，并且差异还蛮大的。

相关分析的方法很多，初级的方法可以快速发现数据之间的关系，如正相关，负相关或不相关。中级的方法可以对数据间关系的强弱进行度量，如完全相关，不完全相关等。高级的方法可以将数据间的关系转化为模型，并通过模型对未来的业务发展进行预测。下面我们以一组广告的成本数据和曝光量数据对每一种相关分析方法进行介绍。

在互联网行业，通过各个渠道或者活动把用户吸引过来，但是过一段时间就会有用户流失走掉，当然也会有一部分用户留下来，留下来这部分用户就叫做存留用户。互联网行业的拉新成本现在都很高，要投入广告、投入时间，这些都是成本。如果用户还没有产生什么价值就流失了，那一定是亏了。相反，拉过来的用户，存留的时间越长，产生的价值也就越大，也才能弥补其他流失用户所产生的损失。因此，提高用户的存留时间，也是提高公司收入，为公司创造更多价值的重要一环。

数据分析师手中拥有一座宝藏。作为滴滴出行数据分析团队的负责人，刘普成发现了数据分析师通往卓越的秘诀：视野。数据分析提供了这样一种可能：它不是简单的技术工种，它是最具有潜力的一项工作，背后蕴藏着相当多的机会。 刘普成是中国最懂互联网数据分析的人之一。北大ccer硕士出身，做过公务员，这位业界资深的大牛，曾先后任职于百度、豆瓣、豌豆荚，对产品、设计、运营等互联网业务有着深刻的理解。现在，他担任滴滴出行数据分析团队的负责人，统筹这家体量巨大的公司随时产生的海量数据。

互联网的商业模式千变万化，但其盈利模式目前大抵可以分为以下三种：一是向用户出售商品或服务，其中电商和o2o就属这种模式；二是靠广告来进行盈利，典型的例如google、百度以及其他平台类互联网公司；三是直接向用户收取费用，目前游戏公司大都属于这种模式。不同收入模式也有着不同的数据指标，我们分别对其进行介绍。

复购率衍生与传统用户关系管理CRM中的用户价值模型(RFM模型)中的F(frequency)，意思为最近一段时间购买次数，用于说明用户的忠诚度，反向则说明商品或服务的用户黏性。 复购率可以分为“用户复购率”和“订单复购率”，此外，“用户回购率”意义与复购率相似，也在此范围内。

虽然我从来都秉承着能百度到的东西基本不废话，但是这张图我觉得还是有必要贴出来的。这个图不是我的，原文作者：郭志金。知识产权还是要保护的，大家可以百度一下郭老师关于如何构建用户画像的文章找到更加详细的论述。不多说了。上图。 这里能就是郭老师说的需要准备好的所有的相关用户数据。好的，我觉得这些数据对于大家来说并不那么困难吧。所以收集到了之后呢，就开始真正的处理数据了。

对大部分O2O初创公司来说，客服部门是个很重要又不很重要的部门。说它重要，因为它承担了连接线上与线下的职能，如果没有客服，只有冷冰冰的网页提示与指引，客户体验毫无疑问会大幅下降。说它不重要，因为它更多的是重复性和单调性的活动，客服人员的要求低，流动大，培训容易，招聘简单。大多数初创企业的体系制度可能没有那么完善，因为资源有限，*件软件也是保持最低限度够用就行。规范的，一般用着小型或者免费的CRM。不规范的，可能连CRM都不用直接Excel手动记录用户信息。

业务不相信数据，当一个分析结果与他的设想不同时，首先就是怀疑数据，他所做的分析，仅仅是为了验证自己的观点。 见过数据分析做的比较好的公司，一个是bi经理是产品经理出身，懂业务、懂产品、懂运营，所以他带队做的分析项目自然贴合业务需求。还有一个是公司将数据化运营提升到了很高的高度，培养公司业务具有数据意识，了解数据分析的思路，认同数据分析的价值，知道如何利用分析结果。

关于流失的定义：各公司对流失的定义不同，可能是7天内没有登陆行为，一般一款游戏7天没有再次登陆的基本就可以算是流失了；也可以是几个月之内没有交易行为，电商或者o2o公司的流失周期会比较长，它的流失也没有像游戏或者内容应用那样好判断。那对于一个公司来说，怎样一个沉默周期就算做是流失了呢？可以通过回流率来判断，如果第8天的回流率依然很高，那么7天沉默就算作流失肯定就不合适了。

在信息化几乎为零的小吃行业没办法只能靠老板们的经验做出分析和判断，它们蛮难拿出具体的数据来分析经营情况，通常情况下他们也只能按照人流量的大小来决定店铺的选址。 不过在以数据为最大卖点的互联网行业，所有的工作和用户行为都是可以量化的，大的像阿里这样自称为数据公司做用户行为大数据分析，小的是到网站上的一个banner点击统计，当然今天我们只谈小的这一方：聊聊如何利用数据更好的做运营。

数据是什么或者说我们的生活中到底有哪些数据。同学们早上可能会用手机看一下新闻，平常刷刷微信，下班的时候回去打个车，晚上玩手机的游戏，或者说是看看电子书，这些背后都产生了数据。 还有一个例子。现在用手环的人越来越多，我们睡觉的时候戴着手环，它记录的就是我们深度睡眠的时间，我们运动的时候，它会记录我们运动的步数，跑过的距离，进一步可以计算得到一个卡路里的数据。无论是电脑端的一些数据，还是手机的数据，都是跟我们生活息息相关。

这是一个做垂直电商，核心是做服装品类，和酒仙网的运营模式很类似，所以我们在分析这种企业，首先要看看这个品类做互联网化还有多大的价值？“网购渗透率”是一个很重要的衡量指标，网购渗透率只有23.6%，说明还是很大的发展空间，至少到50%以上。

互联网时代，数据分析的概念已经深入人心，一个APP，一个网站，要精准运营，要数据分析是必不可少。这时候要了解分析用户使用的行为，就要埋点收集数据，这些数据如果不是为了分析的目的，本身是不用生成和搜集，就像一个厨师要做好薯条，就要种出个头和淀粉含量符合要求的土豆，这是数据的农耕时代。

在完成引流的工作后，下一步需要考虑的就是转化了，一个崭新的用户一路走来到完成交易，中间需要经历浏览页面（下载app）->注册成为用户->登陆->添加购物车->下单->付款->完成交易（这段过程，在不同的公司中可能不同，例如家装互联网公司完成交易的过程就会分为交定、签约、开工、竣工等）。每一环节中都会有用户流失，提高各个环节的转化率，一直是互联网公司运营的最核心的工作之一。转化率的提升，意味着更低的成本，更高的利润。

我们应该都听过「数据分析师不是数羊」的故事，如果你通过各种工具和技术计算了羊群里有1000只羊，然后告诉放羊的牧民时，这只是告诉了一个他知道的数字。 如果你告诉他，我们现在羊群有1000只羊，900只是母羊，100只是公羊。然后根据羊的特征不同，有300只是“非常能吃的”、100只是“非常能长的”、400只是“正常生羊崽的”。那么牧民会高兴，高兴的是你告诉了他一些一眼看不出来的信息，而又会有些遗憾，遗憾的是“然并卵！”

网络上关于写产品竞品分析的文章很多，做运营类竞品分析的文章比较少，所以今天抛砖引玉和大家分享一下，我在分析竞品运营中的思考和心得。每天发生在我们APP里各种变化都是值得运营学习的最好材料，尤其是竞品的变化，更是有许多与自己直接相关的经验可以学习。通过观察和分析竞品，能够帮助我们了解动态变化，市场格局，找到细分机会；获取灵感，吸收经验，策划优质活动。当竞品出现杀手级功能或病毒型活动的时候，也能够迅速跟进，被对手验证不成功的活动，我们也可以少走弯路。

任何产品上线运营都会面临这一环节，新增用户量和CPA（cost per action）是这个阶段的主要指标。这两个指标和很多因素有关系，比如产品本身的目标用户群的大小、市场宣传、广告投放、产品是否有IP、产品名字、产品Icon和介绍、安装包大小等等很多因素有关系。现在移动游戏获取用户，主要通过各应用渠道和AppStore获得。

数据的作用主要体现在两方面：解释过去和预测未来。本篇文章介绍如何通过数据解释过去发生的事情。包括过去发生了什么事情这些事情有什么样的规律驱动因素是什么是否有明显的改进或提升等等。在开始之前我们先来介绍下数据的获取来源以及数据的特点和分类。

纽约杂志的 Jesse Singal 在 2015 年安普瓜社区学院枪击案后发表了以下观点：“我们应该考虑是否回避*管制的问题。”他还提出我们应该注重量化枪击案犯的心理健康状况和其可能具有的相关特征。 但这是徒劳无功的。俄勒冈大学的心理学家 Sanjay Srivastava 提出了自己的看法：“即使你拥有很好的检测程序，但是当你讨论罕见事件时，预测模型通常不会按照你的思路进行运转。”即使是预测精度为 99% 的预测模型也没有任何用处。

对数据的解读能力、问“正确”问题的能力以及解答问题时的灵活性，都是衡量一名数据分析人员是否足够称职的关键。 数据分析师Pavel Trejbal持有认知信息学硕士学位，就职于AppAgent（为移动游戏工作室和创业团队提供营销服务的一家企业）。他的学术领域涉及到许多学科，包括经济教育学、心理学、脑科学、语言学、人工智能以及哲学。Pavel表示：“我不敢妄言自己是这些领域的专家，不过对这些领域的广泛认识的确帮助我在面对难题时以出其不意的角度找到解决方法。”

现在关于数据地图的定义还不是很全面。笔者认为，数据地图是一种将地理数据和地理信息有机结合的一种地理数据表达方式。数据地图应用地图来分析和展示与地理位置相关的数据，以图示化的展现形式来呈现信息，使得这种数据表达方式更直观和清晰，更容易发现规律，方便我们挖掘深层信息，更好的辅助决策。

在绘制直方图时，坐标间隔(break)的数量对于有效表达数据信息非常重要，设定的坐标间隔决定了直方图中柱状条的数量。如果break设置合理，那么直方图能够真正体现不同范围数据的频率间的差别，但如果设置过多，会导致分析的困扰。依据我们以往的经验，初始分析可以设置break使得图中有10列，随后可以根据数据的特性调整。

需求洞察最重要的就是要找到合适的用户样本，我们希望找到的用户有需求问题，同时愿意交流并善于交流。需求洞察选择的用户与定量调研不一样，定量调研一般要求随机性抽样，样本应该体现真实分布。而需求洞察则是要发现用户需求，我们希望能够找到那些有强烈需求的用户，虽然这些用户比例很少，但是他们很有可能代表着 未来的需求趋势。

我们将基于球队的比赛统计数据为每支球队的攻防能力建立指数。球队的进攻能力依赖于它的传球和冲球能力，防守能力决定于球队截断对手传球和拦截冲球的表现。通过所建立的攻防指数，我们可以从不同角度分析和比较球队间在赛场上的表现，并且最终指导我们来确定模拟比赛的获胜者和失败方。

每个人都有能力在同一时间思考多方面的问题。但是，数据科学家的特别之处在于他们不仅能思考，还能将思考转化成一种结构化的设想。 结构化思维是在无结构问题上加一个框架。有了思维结构不仅能够帮助分析师从宏观层面了解这个问题，还能帮助他们发现需要进一步了解的细节之处。结构化思维让我们把想法组织成结构化模式，然后我们就可以找到哪些地方需要我们重点投入精力。

分析数据，是要有价值的，什么样的价值？可以提高收入、可以降低成本、可以避免风险。分析订单相关数据，主要还是为了能够提高公司的收入的。那这一块的数据要怎样分析，才能够对提高收入有促进作用呢？这个问题，还要有点耐心，听我慢慢道来，因为平时比较忙，整理文章又是一个费时费力的事情；同时还要有点气度，看到不对的地方，不要砸电脑砸鼠标，从经济学的角度来看，不划算；最好还有点热心，可以与我交流，一起完善这样的话题，顺便还能体现社会主义核心价值观。

约数十年前，如果你的产品想要达到良好的用户体验，你只能祈祷你的直觉有效。但自从我们拥有数据分析的能力后，问题就解决了。我们不用在黑暗中摸索，问自己是否真的有人读了每隔一天寄送出去的广告邮件，以及多少人试用了新发布的产品功能。我们只要通过指标数字就可以得到答案。

​有四种手段可以辅助提高订单额，而对比分析就是其中一种。 对比分析，如果深入研究，还是一种具有历史悠久的、有着广泛应用的分析方法。本文只拿来分析订单而已，所以我们只从两个角度去看，一是分析的维度，二是分析的标准。 所谓的分析维度，可以归结为以下三类。

“流量为王”的理念使得运营人员的职责聚焦在拉新上。但是近几年，流量成本不断攀升，客观上要求我们进行精细化运营，用最少的钱办尽可能多的事。随着市场环境的变化，运营的渠道和方式不断增加，运营有了更加细致的分类。如何用数据分析来解决流量运营、用户运营、产品运营和内容运营中的增长问题，今天我们将和大家分享GrowingIO在数据运营方面的实战心得。

在我们已经完成单场比赛的模拟之后，可以非常方便地进行多场比赛模拟。首先，我们需要通过循环语句实现多场比赛的赛程，并在循环语句内部嵌入单场比赛的模拟;同时，我们需要变量来记录每支球队胜出和失败的数量。下面，我们将一步步展示如何去模拟多场比赛。

欲戴王冠，必承其重。Jenifer 很快就感受到了高职位带来的压力。公司马上派了工作任务给她：充分了解美国市场，给出市场调查报告；了解各个商品品类的市场表现，为采购部门提供选品参考意见 。简单的说就是希望 Jenifer 可以改善选品，从而提高公司在美国区的销售额。我们都知到同样是一个鼠标，有些款式可能销量很好，甚至成为爆款，而有些款式可能长时间都鲜有人问津。

关于收集到了上述数据需要如何操作，《用户画像很重要，那你知道是怎么画出来的吗？》这里我已经写了我当时项目的过程。很多朋友说像是来推销SPSS的，可能是因为我当时的困惑点就在于收集完了上面的数据之后我到底怎么定量出来，没有人告诉我是什么步骤，我省略了上面的一些工作，直接说了我当时最困惑的地方。对给大家带来的困扰，表示抱歉。

关于数据的展现运营效果，可能有过运营经验的朋友都知道，运营都是用一些指标来限定的，比如转化率和复购率，每一个环节都是数据的展现。我们把这些数据逐渐积累下来，展现并在历史记录当中互相比较，横向也会有更多这样的业务，这个就是数据展现的层面。

不管是官方统计局还是民间组织，每次有数据机构发布“平均工资”这种信息的时候，大家都是无比感兴趣的。不过，除了少数土豪之外，想必不少人在看过数据之后，都会感慨自己又拖后腿啦！等等，如果所有人都在拖后腿，这样的评估方法是不是有什么不对？今天我们就来介绍一种条件众数估计法，比平均值更好帮你定位自己~

虽然一个业务看似流程简单清晰，但产生数据的复杂程度往往超过大多数人的想象。对业务逻辑的考察主要通过相关项目经历。如果是典型的学校项目，我会比较关心指标设计选取、代理变量选择、误差分析、因果性解释等。 这里再次奉劝各位不要作死，写在简历上的项目经历起码自己要非常熟悉，对答如流。如果我听你介绍15秒项目后提出的问题(如“你为什么说 北京经济适用房建筑面积与房屋建造年份的乘积 是一个非常重要且有实际意义的解释变量”)就能把你难住的话，那你也会把我难住的——尼玛面试评价表怎么写啊摔!我回去就得把HR批判一番!!!

近来最受*的新闻之一莫过于滴滴和优步中国的合并了。根据相关资料来看，滴滴换股收购优步中国后，新的滴滴出行将占据中国专车市场份额的93.1%，关于垄断的争议已经在各大媒体上发酵。垄断，这个从古至今的现象，究竟是怎么产生的呢？本期我们用马尔可夫矩阵展示一下垄断企业产生的必然趋势。

很多人关心优秀的数据分析师应该具备什么样的素质，普遍回答是偏向技能类、工具类、方法论类的，简称“术”，本文从另一层面“道”来说下，关键是心态和思维。优秀的数据分析师是解决方案提供者！这可以区别你是不是data搬运工！ 数据分析要做的是一个闭环，而非一个开头、或者一个环节，在这个闭环中要有始有终。

数据分析师（数据科学家）、BI等：这部分一般是精进统计学，熟悉业务，机器学习会使用（调参+选模型+优化），取数、ETL、可视化啥的都是基本姿态。 可视化工程师：这部分国内比较少，其实偏重前端，会high charts，d3.js, echarts.js。技术发展路线可以独立，不在这四阶段，可能前端转行更好。 ETL工程师：顾名思义，做ETL的。 大数据工程师：熟悉大数据技术，hadoop系二代。

产品经理不能为了数据分析而分析，而要将落脚点放到产品和用户上。数据分析应该帮助产品经理不断优化产品设计和迭代，驱动产品和用户增长。 当我们上线了一个新的产品(product)或者功能时，需要对其进行数据监控和衡量(measure)。然后从监控中采集到产品的用户行为数据(data)，并对这些数据进行分析和总结(learn)。最后从分析中得出结论和观点(idea)，如果数据证明我们的新产品/功能是优秀的，那么可以大力推广;如果数据说明我们的产品还存在问题，就需要对产品进行新一轮的优化(build)。

有关数据和数据分析的高谈阔论比比皆是。不断有人告诫各大公司要规划恰当战略来收集分析大数据，并警告不这么做可能带来的不良后果。像《华尔街日报》近日就提到公司享有客户数据这样一个大宝藏，却大都不知道该如何利用。本文将探讨其中缘由。有公司尝试从巨大的数据中获取实际可用的信息，通过与他们合作，我们归纳了管理者在数据应用上的四个常规错误。

我们需要的是里面的电影分类，通过查看源代码观察可以分析出我们需要的东西。直接进入主题吧！ 知道我们需要的内容在哪里了，接下来就使用我们python强大的request库先获取网页内容下来吧！获取内容后，再使用一个好用的lxml库来分析网页内容，然后获取我们的内容就可以做下一步操作了。 先贴出使用request库和lxml分析的代码

一图胜千言！产品经理经常使用各式图表来提取或者表达信息 ，其中热图是常见的一种；尤其是在站点管理、界面优化、交互设计等场合，热图更是被产品经理们广泛应用。然而产品经理，你真的懂热图吗？ 热图有哪些类型？背后的原理又是什么？产品经理该如何用好热图呢….. 今天，我们就来一探究竟。

首先通过一些统计指标初步认识和理解本章中所使用的橄榄球比赛数据，并通过比较队伍间的统计指标判定比赛的胜利者。随后，我们可以利用这些指标模拟单场和多场橄榄球比赛。在众多模拟比赛的方式中，虽然我们可以通过收集和利用球队中每个选手参加每场比赛的数据来模拟出非常详实的单场比赛，但是像这样如此细致的模拟仅仅在制作橄榄球电动游戏时是必需的。在本章中，我们会采取比较简单的方式：利用球队粒度的统计数据，就已经可以有效地决定比赛中哪一支队伍应该获得胜利。

数学知识是数据分析师的基础知识。 对于初级数据分析师，了解一些描述统计相关的基础内容，有一定的公式计算能力即可，了解常用统计模型算法则是加分。 对于高级数据分析师，统计模型相关知识是必备能力，线性代数（主要是矩阵计算相关知识）最好也有一定的了解。 而对于数据挖掘工程师，除了统计学以外，各类算法也需要熟练使用，对数学的要求是最高的。

你很难找到符合你企业要求的通用产品，诸如BAT等企业内部的自助取数工具，一般也是自研的，为什么？ 一是自助取数是个极度重视数据处理的工具，不仅需要一张可视化的皮，更需要依据企业现状提供数据解决方案，也就是数据和功能紧耦合，很多功能需要根据数据的特点量身定做。 比如，我这个企业有个上百亿记录的HBASE指标库，自助取数产品需要基于这个引擎进行，如何抉择？ 二是BI产品越往上走越垂直，到达客户操作一层，操控更加难以抽象，报表可视化可能业界已经有些操作的规则，无非是选择维度和指标，但取数到底怎么个取法并没有固定的套路，它又写又读又查询又分析的，一个字：复杂。

对于普罗大众来说，统计学应该会成为每人必备的常识，才能避免被越来越精致的数字陷阱欺骗。起码当你看到各种百分比和收益率，能多出一份警觉，多思考些他们的来源和计算途径。 对于互联网工作者来说，统计知识投射在互联网上，就是数据相关的方法论。举例来讲，现在盛行的 A/B Test 本质上就是控制变量法实验中的一种。不同的是，互联网获取数据更简单，进行对比实验更方便。这将是一个统计学/数据分析的大事件。想象一下 Facebook 内部几千个 A/B Gate，简直称得上一场史无前例的大规模人口社会实验。

近些年，互联网公司对数据分析师岗位的需求越来越多，这不是偶然。 过去十多年，中国互联网行业靠着人口红利和流量红利野蛮生长；而随着流量获取成本不断提高、运营效率的不断下降，这种粗放的经营模式已经不再可行。互联网企业迫切需要通过数据分析来实现精细化运营，降低成本、提高效率；而这对数据分析师也提出了更高的要求。本文将和大家分享数据分析师的演变、数据分析价值体系、数据分析师必备的四大能力、七大常用思路以及实战分析案例。

报表是维持公司正常生产运营的一部分，领导*企业发展，需要业绩的报表，分析师*问题，需要从报表发现异动，财务人员*收入和利润，需要从报表入账，营销人员*业务发展，需要从报表获取执行情况，一线人员*报表，需要了解自己的付出和所得。 因此，报表的价值毋容置疑，它是企业生存的基本要素，不可或缺，而BI其他的内容，则有点像奢侈品，用了也许可能更好，但也可以不用。虽然从10多年前开始，BI专题渐成潮流，但报表在BI中的地位始终稳如磐石，假如BI没有报表，甚至让人怀疑BI存在的价值？

不会数据分析，你还怎么愉快地探索小龙虾火遍中国的秘密~ 不会数据分析，你还怎么准确地在人群中俘获另一半的芳心~ 为了各位幸福河蟹的生活（划掉）掌握更多地业务姿势，PMedia君通过采访、卧底、发调查问卷，在电线杆上贴小广告（大雾——）等各种途径，威逼利诱，扒光了1000+位产品经理的箱底儿。终！于！整理出了这份产品经理必备的数据分析书籍清单。

在阐述分析结果前，我们首先简单科普一下纽约出租车的行业背景。很长一段时间里，作为城市的标志之一，黄色出租车（Yellow Taxi）是纽约唯一可以合法运营的出租车。从2013年夏天开始，为了更好地服务那些不被黄色出租车待见的区域，TLC给数千辆绿色出租车（Green Taxi）颁发了营业许可。从此，纽约人民出行又多了一个选择。这也是为什么TLC发布的数据中，只包含了从2013年8月开始的绿色出租车数据。然而，与黄色出租车能在纽约五大行政区自由载客不同，绿色出租车的上客区域是有一定限制的。下图是TLC公布的绿色出租车的合法营业区域。

「数据分析师」这个职位，不同的公司，不同的行业，对于它的理解，以及它覆盖的工作范围不太一样。在有些传统行业，数据分析师工作重点是「做行业报告」等；在阿里巴巴等大型互联网公司，职位区分比较明确，数据分析师大部分时间只做产品和运营的分析工作，至于「基础数据处理」、「搭建数据产品」等等不涉及；在创业公司等相对小型公司，「数据分析师」要干的活可能要不仅仅是「产品和运营分析」，「基础数据采集和处理」，「数据产品搭建」都属于「数据分析师」的工作范围。

在实际的工作中，数据科学家们不仅要学会如何实用工具，还要懂得如何与同事合作。The Yhat Blog这篇文章探讨了在实际的数据建模和数据处理的过程中数据科学家和数据工程师应该如何处理好关系顺利地完成项目的问题。它引用“摩西十诫”的典故，提出了给数据处理者的五个“诫律”。我们一起来参考一下!

在互联网行业里，通常我们会通过拉新把客户引过来，但是经过一段时间可能就会有一部分客户逐渐流失了。那些留下来的人或者是经常回访我们公司网站 / App 的人就称为用户留存。 在一段时间内，对某个网站 / App 等有过任意行为的用户，称之为这个网站 / App 这段时间的活跃用户，这个任意行为可以是访问网站、打开 App 等等。 现在大家经常会用到所谓的「日活」 （日活跃用户量，DAU）、「周活」 （周活跃用户量，WAU）来监测我们的网站，有的时候会看到我们的「日活」在一段时期内都是逐渐地增加的，以为是非常好的现象，但是如果没有做留存分析的话，这个结果很可能是一个错误。

1945年的7月16号，内华达的沙漠深处，美国人傲骄地试爆了第一颗原子弹，远离爆点的基地里，工程师们紧张地盯着繁忙的仪表，忙得不可开交。一旁的费米，作为“曼哈顿计划”的主要领导者，却闲庭信步，玩起了撕纸片游戏，把纸片撕碎，然后扔向天空，如是几次之后，沉吟片刻，轻描淡写的说道，爆炸当量大概相当于1万吨TNT。而精确计算后的爆炸当量是2万吨TNT，只差1倍。上一刻还在各种忙乱的大家，此刻怀着错愕的心情，转入计算内心的受伤面积，“what the f***, how do you know by…”。费米淡淡一笑，并没有回答，引发了几十年后Quora和果壳上的种种猜测。

在互联网行业精益化运营的背景下，数据分析已成为运营的标配，大家都希望通过精细的分析来提高运营的效率。随着商品秒杀、爆款文章、产品快速迭代等运营手段不断增多，以往小时级的流量监测已经不能满足运营者的需求。我们需要对网站平台上的每一分钟、每一个访客、每一次操作都进行记录，以满足我们实时监测和快速决策的需要。

传统上电子商务信用评价的算法，主要有两种，一为累计法，二为比率法。就淘宝网而言，其最主要的信用评价指标是通过累计法建构的，即三个评价阶：好评、中评、差评；好评加一分、中评不加分；差评则扣一分；当这个分值累积到规定值，就可以升级为一心级到五皇冠级共20级信用度等级。另外，淘宝网也还有一些通过比率法建构的相对次要的信用评价指标，如好评率（好评占所有评价的比率）、动态评分等。但从逻辑和实务上讲，累积法和比率法都有问题。前者的问题在于皇冠级的店几乎都是老店，而店老未必就不欺客。后者的问题则在于当交易次数较少时，得出的好评率数值很可能是以偏概全。

相信很多人在做数据分析时，会经常遇到这几个问题：不知从哪方面入手开展分析；分析的内容和指标常常被质疑是否合理、完整，自己也说不出个所以然来。当然我也一样，处在数据分析的学习阶段，对这些问题常常会感到困惑。 这就是为什么强调数据分析方法论的原因。当方法论结合了实际业务，才能尽量确保数据分析维度的完整性和结果的有效性。 数据分析的三大作用，主要是：现状分析、原因分析和预测分析。什么时候开展什么样的数据分析，需要根据我们的需求和目的来确定。

“我该如何学习数据科学”这个问题是初学者需要迈过的第一个门槛。大家在解决这个问题的时候，通常采用的办法是给自己安排一大串的课程去学习，当然还有一大摞的课本来阅读，线性代数和统计学成为大家必须要打交道的“新朋友”。我们使出了“洪荒之力”拼了命地学习，我们甚至没有编程的学习背景，但是我们相信有有朝一日一定可以具备处理数据的能力。 但这个过程往往充满了头痛，因为我们找到了海量的学习资源，却依旧找不到学习的方法，就像临考前你的老师告诉你书上的“都是重点”一样。我们在学校里按照这样的方法读了这么多年的书，如果数据科学的学习仍要如此循规蹈矩，大概很多人会半途而废吧。

移动互联网时代，母婴产业开始向电商化发展，线上销售形式多样化。国内家庭购买孕婴童产品主要有三个渠道，分别是母婴店(23%)、超市/大卖场(24%)、网络购物(53%)。母婴产品传统渠道被线上平台稀释，众多知名母婴品牌纷纷转战线上领域。线上平台分类主要包括垂直母婴媒体、社区平台以及综合、垂直母婴电商平台。

对于一款产品来说，如何让用户更好地转化，是用户能否留存下来产生价值的关键因素。 对于运营来说，广开源路寻找目标用户，甚至还要选择一些付费渠道（如下图）进行投放，以获得更好的效果。这里就要我们来评估衡量渠道带量的效果，不仅要知道数量，还要知道质量；否则就会产生为什么每天都有用户增长但效益还是不好的问题。

经典的冰淇凌销量和游泳溺水人数成正比的数据，这并不能说明冰淇凌销量的增加会导致更多的人溺水，而只能说明二者相关，比如因为天热所以二者数量都增加了。这个例子比较明显，说起来可能会有人觉得怎么会有人犯这样的错误，然而在实际生活、学习、工作中，时不时的就会有人犯这样的错误。

车品觉老师在其决战大数据一书中，强调的更多的是一种数据思考方式，书中范例介绍的小偷思维、先开枪后瞄准、CEO关注的三个问题等，都属于数据思考方式重构解决问题的过程。 全书从为什么大数据说起来容易做起来难出发，以大数据构建未来商业利器结束，总共花费了11个章节，中间穿插着其在阿里的数据实践经验，本人结合自己的读书体会，特将其总结归纳为以下50条。

在产品曝光给用户之前，想一下怎么才能让产品对用户来说更有“眼缘”呢有“眼缘”之后怎么才能“要到电话”有了电话又怎么才能跟用户有更大的“约会”机会进一步的发展呢 产品运营漏斗的每一步，都存在优化的空间，在有限的投入下获取更大的优化率，是数据驱动产品运营要做的事，此谓产品运营之道。 道是战略，不应该懒惰，术是执行，更要勤勉。 A/B 测试就是数据驱动产品运营中的术。

眼花缭乱的东西很多，真正派上用场的，却不见得是那些看起来炫酷的。很多方法朴实无华，却解决大量的问题。 下面十个方法都是我这么多年做互联网运营分析时一定会用到的最经典的方法。这些方法如果烂熟于心，其实互联网运营分析的最核心部分也就掌握差不多了。真没那么复杂。 我们从第十个方法倒着讲，重要性并无优劣之分，但压轴的，往往是最重要的。

漏斗图在Google Analytics的报告里代表“目标和渠道”，在Web Trends里叫做“场景分析”，在Omniture的SiteCatalyst里被称为“产品转换漏斗”。虽然漏斗图称呼不一样，但它都是用来衡量网站中业务流程表现，并适用于电商等各个行业。漏斗图可以非常直观地看出网站业务流程中的问题所在，从而加以完善。

杜兰特的决定掀起阵阵余波，尤其是威斯布鲁克和雷霆之间孤立的可能性被认为存在更多风险。威斯布鲁克的职业生涯里，针对其球风的批评从未间断，对阵马刺系列赛第三场比赛的表现再次让媒体将这些问题放大：头脑过热、控球欲强、限制杜兰特发挥、阻碍球队流畅进攻——他的高失误率、几乎和杜兰特一样的出手频率之下的低命中率成为这些偏见的佐证。

行业里面，见过太多的人，甚至是研究经理、研究总监，认为神秘顾客检测报告只是贴贴分数、做做排名，再加几张问题图片（有时竟然还发现不了图片上的问题点在哪里）就大功告成了。一份报告写成什么样，直接反映一个研究员的水平如何，也直接反映了一个做神秘顾客检测的企业机构是什么样的水平，这对于企业在神秘顾客业务领域的发展也相当重要。

在大数据时代背景下，从数据科学当中得到的洞察结果是提高用户体验的最佳途径。 数据科学家现在经常使用的各种技术有回归算法、支持向量机（SVM）、神经网络、近邻取样、Naive Bayes、决策树以及集成模型。 这些算法可以有助于决策者确定之前未被识别的模式以及暗含在大量结构化和非结构化数据信息当中的趋势。这些模式可以被用来建立预测模型，这些模型可以预测日后可能发生的各种行为。 这些模型现在已经应用到了很多商业场景当中，比如说预测患者病症发作的风险，帮助银行决定为哪个客户批准贷款，还可以帮助市场营销人员决定对哪些客户群体采取有针对性的营销活动。

任何一个技能的学习，都有从浅到深的过程，数据分析也不例外。因此我把推荐书籍划分成几个段位，更便于大家挑选。适合对数据分析的入门者，对数据分析没有整体概念的人，常见于应届毕业生，经验尚浅的转行者。 《深入浅出数据分析》：HeadFirst 类的书籍，一向浅显易懂形象生动，可以对分析概念有个全面的认知。 《谁说菜鸟不会数据分析》：不仅讲解了一些常见的分析技巧，并附带 Excel 的一些知识以及数据分析在公司中所处的位置，对职场了解亦有一定帮助。

在竞争激烈、产品同质的领域，胜败关键在乎细节。事实证明，用户建模、机器学习、推荐算法、人工推荐，这些听都听吐了的概念，但你不得不为用户而做（或者不得不为VC而做），需要大量产品和运营的试错过程，才有希望一点点接近合理的效果。而其中的关键步骤，在于不断设定用户需求，提出解决方向，用A/B测试的方法，尝试一切可能合理的产品功能。

对于市场和运营的同学而言，刷单是个很让人头疼的问题。我们应该怎样区别流量的好坏，确定投放费用有没有白花呢？事实上，任何刷单、刷流量作弊行为都有一定的规律；通过对用户行为数据的分析，可以识别出哪些才是虚假流量。 一般而言，刷单、刷流量的作弊行为有如下三大特征。

聚类与分类不同，分类的目的是得到可复用的规则，使得训练集以外的个体可以直接分到已知的类别里；聚类属于后验的研究，是对已有个体的辨别。当然聚类可以在一定条件下转化为分类，例如K-means里知道了每类的中心，那么新个体可以依据和每类中心的距离，来判断所属类别。但通常情况下，聚类方法本身仍是用于研究的次数更多。

在现实生活，“数据科学家”这个词可以指代非常广泛的工种，因此它存在很多种形式，考虑到工业界以及商业界各种需求的不同，还有问题中目标与输出角色的不同。因此，在某些方面拥有技能的话比其他要更好一些，这就是为什么通向数据科学的路径是不相同的，可以通过多种领域如统计、计算机科学与其他科学学科来实现。

运营的目标就是尽一切可能延长用户的生命周期，并且在生命周期中尽一切可能产生商业价值。 用户商业价值CLV会不断累加，生命周期CL会不断减少。期间又能划分成新增期、成长期、成熟期、衰退期、流失期等。这里就不深讲，主要讲与运营结合。 为什么要谈用户生命周期和价值？因为做运营不得不接受的事实是，无论你是多么出色的运营，都无法真正制止用户的流失（流失的概念，可以看这篇文章拓展阅读）。你可以延长它，但就是不能阻止它。

舆情，是“舆论情况”的简称，指在一定社会空间内，围绕社会事件的发生、发展和变化，民众对社会管理者、企业、个人及其他各类组织及其政治、社会、道德等方面的取向产生和持有的社会态度。它是较多群众关于社会中各种现象、问题所表达的信念、态度、意见和情绪等等表现的总和。

对于互联网产品来说，UV 与 PV 是两个非常常见的指标，并且通常都是分析的最基础指标。UV 一般来讲，是指使用产品（或产品某个功能）的独立用户数。PV 则来源于网站时代，一般指网站（或网站某个页面）的页面浏览量，在移动互联网时代，则一般会引申表示使用产品（或产品某个功能）的用户行为或者用户操作数量。

我们在从事数据相关的项目过程中，数据梳理、数据整合和数据补全等工作需要占用大量的时间与精力，而进展到数据分析、数据挖掘阶段也对数据的完整性有着苛刻的要求。对于一个统计算法的验证与研究，也同样面临着根据自身业务情景特点，配置数据属性的需求。

当大众都接受开放关系时，那么占据人群大多数的群体总是能有更大概率遇到自己可接受的对象的，而数量本来就不多的高分人群和低分人群在自己所属的群体中寻找可接受的对象，就显得更加举步维艰了。 当然，并不是所有人都能够如此激进地接受开放关系的，那么，既不肯放宽自己的择偶标准，又坚持保持传统婚恋关系的人，还有什么方法可以提高婚恋成功率呢？

数据化管理 ：经常有网友私信我问“如何做一个数据分析师？”，今天正好看见陈丹奕（从传统行业到互联网的全栈数据分析师）的这篇文章，推荐给大家。作者将数据分析师分成初级、高级、数据挖掘工程师三个层次来阐述，大家正好可以对号入座。

数据科学的本质是沟通。你通过数据得到了一些洞察，然后采用有效的方式将其传播给他人，并向其推销你的解决方案。可见使用数据来讲述一个有效的故事，是数据科学家最重要的技能之一。一个有效的故事可以使你的洞察更有说服力，同时能帮助他人理解你的观点。 数据科学中的故事需要围绕着你发现了什么，怎么发现的，意味着什么进行讲述。举个例子，你发现公司利润去年下降了25%。仅仅阐述这个事实是不够的，你必须说明为什么利润会下降，可以通过什么方式来解决。

数据分析本来是一份枯燥的工作，它需要你有较好的逻辑分析能力，熟练的业务能力，敏锐的行业洞察力，最终才能做到用数据驱动商业化决策。 数据分析岗位经常被称为数据运营，我认为这是除了PM和客服之外又一个接触用户的岗位。好的数据运营甚至可以成为一名优秀的产品经理、公司管理层：不仅对用户行为做到心中有“数”，对于活动及效果监控也能做到面面俱到；甚至可以预测到行业发展趋势，对公司重大决策给出决定性建议。

生活中，可能你会遇到一些人，在眼神触碰的那一瞬间，你就认定他/她就是你的destiny。十年前，如果你在咖啡厅或者公交站旁边的报刊亭遇到了心仪类型的男神/女神，你可能会走过去搭讪，然后发展一段友情或者爱情。而今天，在公交站台等候的人们都不再看书了，而是盯着手机屏幕，你基本上看不到他们在看什么，不知道他们是刷微博刷朋友圈呢，还是碰巧在看你最喜欢的书的电子版。人们之间隔着一个智能手机的距离。

SaaS（Sofeware as a Service，软件即服务）行业不同于传统的行业，其资金投入与收益过程具有显著特征。下图是一个SaaS企业客户生命周期内的资金流模型，左下方的黄色柱体表示获取用户的前期巨大投入，包括市场部门推广、销售部门洽谈以及技术支持的成本。上方的蓝色柱体表示从客户来的收入，SaaS行业一般按照时间定期收费。

当前一线和重点二线城市火热，购房需求旺盛，房价攀升。除一些投机性行为催升房价外，房价背后的因素如房子的区域位置、房子所在小区内部环境、房子的紧俏程度等都会成为影响房价高低的因素。然而，购房者在做决策时一般只会以小区周边的区域属性及小区内部微观环境为主要的参考因素。但其实，影响房价的绝不仅仅只是以上这些因素。比如小区房源流动性、小区社交活跃度等因素都是我们平时不纳入考虑的。这些显性因素和隐形因素都不同程度的影响这房价的高低。

开始做bi的时候大家肯定都看过书，那么一定也看过一个经典的案例，就是沃尔玛的啤酒和尿布的案例。这个案例确实很经典，但是一个经典的失败的案例，为什么这么说呢，非常明显，我们跑到沃尔玛去看，却没有发现一个沃尔玛真的把啤酒和尿布放到一起的，为什么当时被奉行为很经典的案例，却没有超市去使用。

基本上，一个静态网站就是一个全是 HTML 文件的文件夹。我们可以搭建一个允许别人链接到这个文件夹并获取文件的服务器。这样做的好处是不需要数据库或者其他动态部分，可以很简单的部署在像 GitHub 之类的网站上。把你的博客做成静态网站是一个好主意，因为维护起来十分简单。建立静态网站的一种方法是手写 HTML，然后上传所有的 HTML 文件到服务器。这种情况下，你至少要写一个 index.html 文件。如果你的网站的 URL 是 thebestblog.com，当访问者浏览http://www.thebestblog.com 时，他们就会看到 index.html 的内容了。

作为产品运营人员，我们都知道运营的最终目标是要和用户之间建立长期有价值的联系。完美的用户界面、强大的功能和明确的价值主张，对于获取用户是强大的保障。但这并不代表用户在需要的时候能够使用他们需要的功能，也不代表用户以后会经常使用你的应用而不是你的竟品，这时候，就需要我们有针对性的市场手段进行运营。

逻辑思维即明白价值链，明白各项数据中的关系; 该方法的关键在于明白其中的关系要求你对这项工作要了解、熟悉，要细致和慎密，要清楚充分性和必要性的关系。 实际上也就是指：你需要那些数据如何获得这些数据数据之间的关系如何

这是一个完完整整的获取数据→处理数据→分析数据→呈现数据的过程，需要用到编程语言，统计工具、数据处理工具、模型、算法、逻辑、业务理解等。当别人问我是干什么的，我通常回复是“写代码”的，而数据分析到底是一种什么样的人生呢规划数据、收集数据、整理数据、日报周报月报、写PPT、打小报告、做模型、端茶送水浇花等，每一只数据分析汪的理解都不一样。Anyway，希望需求方不要不说明白前因后果就提出无理需求。

在未来的系统架构中，我们会在分析应用层完全纳入FineReport和FineBI，包括一些线性回归分析和聚类分析。 在报表方面，我们会向精美报表这个方向进行发展，之后希望能够通过FineBI在应用上面进行整合。我们希望FineBI融合FineReport在今后的发展过程中能够实现前端展示，以及*的动态多维线性分析，达到一个很好的契合，相信在整个数据应用以及展示架构来讲会是一个比较好的平台。

数据挖掘和建模分析，价值很容易说出来，因为它是点对点打出来的，一个付费预测模型，就是有助于运营，降低运营成本并且提高付费转化率；一个商品推荐模型，就是有助于提高商品的销量。但是一个报表或者bi平台，所谓的决策支持平台，他的价值要怎么讲，还真的有点模糊，虽然网上一大堆，但很多都是看起来很有道理，但是很难解释的冠冕堂皇的价值。所以，这里也给自己总结一下。

留存率这个数据指标不记得从何时起变得那么重要，重要到研发上把它作为游戏好坏的一个标准，运营商（平台）作为了一个准入的钥匙，是否值得继续下去。有时候觉得粗暴，甚至无知了有点。因为肤浅的百分比背后隐藏着更多的金子，也可能是垃圾。 以上算是一点吐槽，更多潜在的问题这里不想累述，前几日写过一个关于的留存率是什么的文章，我想肯定很多人看过了，估计也都会用了，今天写的番外篇将从这个数据的统计源头说起，换个角度来看待这个留存率的问题。