数据分析的基本思想是什么？

今天分享一些数据分析的基本思路，我给它起了个名字叫用数据说话。内容是一些个人经历，比较肤浅！如有不足之处，希望大家能理解！废话不说，现在我们正式开始。用数据说话，就是用真实的数据说真话！真理也可以理解为求真务实。那么，数据分析就是一个不断求真、不断务实的过程！用一句话表达就是用数据说话，用真实的数据说话，说实话，说实话，说有效的话。1．数据不会说话，但面对不同的人，它会发出不同的声音。现在我们以《荒岛卖鞋》这个老故事为例，从数据分析的角度来解读，看能不能开新花？为了防止案例疲劳，我试着用一种新的表达方式来罗嗦故事！成吉思汗派郭靖、杨康到美丽的桃花岛进行射雕牌运动鞋市场拓展。郭靖和杨康一上桃花岛，就惊讶地发现这里的居民都是赤脚的，没有一个人穿鞋，无论男女老少，莫不如此。杨康一看，倒吸了一口凉气，说：唉！结束了，没有市场！郭靖不这么认为。他立即拿出新买的IPHONE4G，给铁木真打了一个长途漫游报告电话。面对桃花岛这个空白市场，郭靖在电话里说：“桃花岛人口众多，但信息封闭。现在岛上所有的居民都赤脚。在运动鞋市场上没有竞争对手，广阔的蓝海，市场将为我主宰！可喜，可喜！这时，我们现场做个调查，假如你是成吉思汗，你会怎么选择？(投资Y1人，不投资N1人。）这时杨康听不下去了，马上抢了电话，说：“汗流浃背，别听郭靖瞎叫！虽然市场没有竞争，但不一定是蓝海。在全球竞争的背景下，我们很容易找到蓝海。你觉得有可能吗？阿迪、耐克、彪马、锐步等国际巨头都是棒槌吗？我觉得一定是岛上几百年不穿鞋的生活习惯，短期内无法改变，所以各行各业的英雄只能望而却步！可惜，可惜！听了杨康的讨论，铁木真该如何选择？请举手表态。(愿意投资Y2人，不愿意投资N2人。）姜是老辣！成吉思汗更理性，他只说：“继续研究，用数据说话！挂断电话！一周后，杨康率先向BOSS汇报。然而，他没有选择打电话，而是改发了E—MAIL。原因有三：第一，全球通信费用太高，所以我们应该节省一些开支；第二，杨康有点恶棍。他担心郭靖听了他的话后会抄袭他的想法；第三，他写了一份详细的研究报告，电话里几句话也说不清楚。杨康的调查报告详细记录了他与岛上精心挑选的200名居民的谈话，以及他提取样本时科学合理的筛选条件。最后的结论是，岛上所有的居民（100%）都以钓鱼为生，他们的脚一年四季都泡在水里，根本不需要鞋子！听到这个消息，成吉思汗该怎么办？请继续举手表态！(愿意投资Y3人，不愿意投资N3人。）成吉思汗有自己的想法。这时，他没有做决定，而是继续等待。等什么呢？等郭靖的结论！两天后，郭靖终于打电话了。电话里说了三句话:“这个市场可以做！原因是岛上的居民每周都要上山砍柴，十有八九会被砍脚！更可喜的是，这两天他用美男计泡到了岛主的女儿黄蓉，黄蓉答应给射雕牌运动鞋做形象代言！故事发生在这个阶段，我请你做最后一个声明。(愿意投资Y4人，不愿意投资N4人。）好！数据在变，我们的决策也在变。然而，成吉思汗比我们理性得多。答案还是一句话，但是比第一次多了几个字:“继续深入研究，用详细的数据论证。为什么？这些数据还不够详细吗？是的！因为成吉思汗脑子里还有很多问题。比如:1)竞争对手真的没来过吗？还是对方论证后真的不可行？2)山上不会开伐木厂吗？如果有伐木厂，居民就不会上山砍柴了。到时候送柴上门，鞋子还有屁用！3)为什么一周只上一次山？太阳能不应该主要用吗？4)运动鞋的运输成本、营销成本和销售成本是多少？投资回报率有多高？5)...听了这个案例，我想问你一个问题！从数据分析的角度来看，你受到了什么启发？请注意这里提到的数据分析的角度。如果你得到的启示是:铁木真领导的郭靖和杨康不是老人 两个帅哥的Gourp，而是教练型的Team。所以，对不起！这不是我们今天讨论的范围。好吧，在座的各位谁来表达自己的观点？提示启示包括：面对相同的数据，不同的人会说不同的话。真实的数据并不一定能推断出正确的结论。正确的决策需要有足够的数据来证明。....启示结束后，让我们总结一下这个页面的PPT。本案涉及数据收集、分析、报告和决策的整个过程。在这个过程中，不管细节有什么问题，最终的决定都将是致命的！因此，质量是数据的生命。在数据用于决策的整个过程中，必须真实有效！2．所谓用真实数据说话，就是在说话前先审核数据的真实性！在现实生活中，有错误的数据也可以大言不惭，可以说无处不在。其中有两位杰出的代表：一位是传说中伟大的中国统计局，另一位是总是要封杀这个封杀那个的CCTV。我不是瞎说，因为有数据支持！2010年1月20日，国家统计局公布了2009年全国房地产市场数据，年平均房价上涨813元。够雷人吧！雷声还没过，霹雳又来了！2月25日，国家统计局发布《2009年国民经济社会发展统计公报》，数据显示，70个大中城市房屋销售价格上涨1.5%。真是天雷滚滚！难怪网友把统计局票选成大天堂的娱乐至尊！这句话一出，央视就不答应了！所谓中国统计，娱乐至尊；央视不出来，谁在争锋？然后我们仔细推敲央视的数据。2010年2月15日，央视发布虎年春晚满意度报告，结果显示满意度为83.6%。几乎同一天，新浪公布的调查结果是14.55%；几天后，腾讯还发布了10.48%的满意度数据。数据一出，网友们就不断骂声，一个接一个，一波高于一波。但人家央视就是央视，敌人众多，我自然屹立不倒。更夸张的是，央视不仅可以假装视而不见，充耳不闻，还可以继续在自己家的频道里无耻地炫耀数据，自娱自乐。央视的数据错在哪里？首先，我们来看看央视的调查方法。央视调查结果来自中央电视台-索福瑞媒体研究有限公司。索福瑞声称，他们的电视观众满意度调查样本覆盖了全国30个城市，总抽样框有3万人。央视春晚满意度调查从3万人中随机抽取2122人进行调查。严格来说，所谓83.6%的满意度只能代表3万人的观点。当然，如果我把这个说法和央视理论结合起来，对方肯定能拿出3万代表全国的理论证据。具体来说，先从2000推断3万，再用3万推到30个城市，再从30个城市推到全国所有城市，再推到全国。这里使用了简单的随机抽样、分层抽样和典型抽样。总的来说，它仍然是一个多阶段的抽样。多么宏伟的理论依据啊！但即使每一步都能保证90%的可靠性，理论的可靠性也只有65%。不幸的是，理论上还有一个障碍，最后一步是用城市推广全国，因为我们不知道如何用45%的城市居民代表55%的农村人口？说完代表性问题，我们再来看看调查方法。索福瑞采用电话调查，时间选择在春晚直播的几个小时内。据说调查从晚上8开始：从30开始，一直持续到春晚结束。巨汗！8：似乎90%的节目还没有上演，观众对整个春晚的满意度怎么调查？央视的数据经不起推敲！那么，新浪和腾讯一定对吗？不一定，这两个数据只能代表新浪用户和腾讯用户的春节联欢晚会满意度，最多可以代表4亿网民。恐怕为13亿中国人民表达他们的愿望是不可能的。在欣赏了统计局和闭路电视给我们的两个新年笑话后，我们也应该反思，在我们的日常工作中，从数据收集、提取、整理到分析、发布和使用的一系列过程中，数据是否扭曲？数据自始至终是否完整准确，统计口径与分析目的高度一致？这个问题留在日常工作中供大家思考。3.说实话，拿错数据，肯定得不到正确的结论。那么，面对真实的数据，你能得出正确的结论吗？未必！给大家看个小笑话。问:你只有10平米的蜗居，邻居家从90m2到190m2。你的居住面积增加了吗？答：没有。错了，你们两个家庭的平均居住面积是100m2，你们的居住面积被神不知鬼不觉地增加了！这个神不知鬼不觉是谁？平均无敌！仔细想想，这个平均值错了吗？没有！那么，问题在哪里呢？单一的统计量是片面的，所以要反映数据的真实面貌，就必须使用一系列的统计量。在结构严重失衡的情况下，我再举一个气候例子来说明使用平均值的可怕之处。我们的大中国，960万平方公里，有的同时刮风下雨，有的高温炎热。从去年冬天到今年春天，北方一直下着大雪，南方遭受了百年的干旱；最近，南方的许多省市决堤，沿河两岸，村庄倒塌，而北方是烈日，干旱和炎热。如果我们计算全年或全国降雨量的平均值，结果一定是中国风调雨顺，国泰民安，但实际上中华民族饱经风霜，灾难多！幸运的是，统计学家不仅给了我们平均数，还设计了许多其他统计数据。让我们看看下表。衡量数据的集中趋势，基本上有三个统计量，平均值、中位数和众数。平均值是平均值，容易受到极端值的影响。也就是说，如果数据跨度或极差不大，平均值可以很好地反映真实情况。但是，如果数据有很大的不同，单一使用平均数就会有新的笑话。中位数和众数属于位置平均数，中位数是从小到大排序数据的数量，正好在中间位置，众数是出现频率最高的数量。除了集中的数据，还有离散的趋势。反映离散趋势的统计量主要包括方差、标准差、极差、变异系数等。方差是观测值与平均值差的平方和除以自由度，自由度一般为n或n-1。总数据为n，抽样数据为n-1。标准差是方差的正方根，其意义在于消除量纲的影响。极差是最大值和最小值之间的差异，反映了观测值的跨度范围。另一个重要而常用的是变异系数，它是标准差与平均值之比，目的是消除数量级的影响。此外，还有一些统计数据描述数据分布，如分位数、四分位数、八分位数、十分位数等。第二个分位数是中位数，它们反映了一系列数据中一些关键位置的值。频率分布是数据分组或分类后每组或各类的百分比。偏差是衡量分布的不对称程度或偏差程度的指标，峰值是衡量分布集中度或分布曲线的尖锐程度。如果你想更深入，你会使用相关系数、信心水平、统计指数等。相关系数是反映变量之间线性相关程度的指标。值范围为[-1，1]，大于0为正相关，小于0为负相关，等于0不相关。置信水平是指总参数值落在样本统计值某一区域的概率。统计指数是通过同度量因素的作用，比较一些无法直接比较的指标，如常见的物价指数、上证指数等。有了这些基本的统计，只要我们在实际工作中仔细选择，就能更准确地描述数据的真实情况。4.说有效的话，说有效的话，就是深入分析数据的本质，挖掘数据的内涵，而不是停留在数据的表面，说一些大话、空话或套话。这就要求在数据分析中，首先要明确分析的目的，然后选择合适的方法，最后得出有用的结论。一般来说，说有用的话，就是不说废话，少说废话！4.1明确分析目的这里举个例子。我觉得这个例子正好是7月7日，N年前的那个时候，正好是高考的日子，所以我编造了一个高考的数据。虽然我们班成绩很差，总分800分，平均分只有486分，但是人才辈出，名字越来越响，人气越来越旺。让我们先了解一下，有关东秀才吕轻侯，他读了四本书和五本经典，充满了经验；篮球场上有进攻犀利、防守严密的小飞侠科比；足球场上有优秀的罗纳尔多，无论是边路传中还是抢分射门；有喜欢烟熏妆、蓝丝袜和高跟鞋的伪娘刘琦，还有被亿万网友烧香崇拜的春哥党教主李宇春，还有90后MM曾轶可，她经常拿着吉他哼着羊的声音；还有重庆奇女罗玉凤，她自称冰清玉洁，妩媚性感，擅长爆发性舞蹈动作，不嫁给非清华北大经济学硕士，奥巴马也可以！根据学生的考试成绩，不同的人会关注不同的方面，高考试卷教师会关心试卷的相似性，命题人会测试试卷的信誉和效率，文理专家会计算文理成绩的相关性。根据学生的考试成绩，不同的人会关注不同的方面，高考教师会关心试卷的相似性，命题人会测试试卷的信誉和效率，研究文科和科学专家会计算文科和科学成绩的相关性。但对于普通中学来说，它通常只关心两个方面。一是学生成绩，计算入学率；二是教学水平，给优秀教师奖金。假如高中教学科目在这里研究文理关系就是胡说八道，假如还要把问卷的信效检查也扯出来就是胡说八道。关于学生：吕秀才