数据分析的困境是什么？怎样才能写出优秀报告？

让我们首先想象一个场景。会议室里挤满了人。正在做报告的年轻人穿着笔直的西装，头发书一丝不苟。PPT上摆满了数据和图表。他在论证什么。年轻人说了很多，但一个在台下听报告的大个子有点不耐烦：“你不用说那么多，我会问你几个问题。“老板问了几个问题，年轻人立刻被困住了，所以老板否决了年轻人的整个计划。我们对这个场景并不陌生。这可能是一次数据分析会议，一次与主管的建模计划报告，或者你去看客户报告结果。在一线工作的人花了很多精力专注于各种细节，这在数据分析师和建模师中尤为明显，但大人物往往是写意的——他们可以用几句话找到问题的关键，并做出决定，然后证明大人物是对的。这就导致了一个问题。有些人在数据分析中做了很多家庭作业，花了一周甚至一个月的时间，掌握了丰富的数据和数据。为什么他们的决策水平不如老板在短时间内快速判断的那么好？是不是说多想一个问题不好？其实数学家早就明白了这个问题，可以用建模中的“欠拟合”和“过度拟合”这两个概念来形象比喻。欠拟合实际上很容易理解，是指学习不够，只学习样本数据的一些特征，或者样本变量本身不够，然后得出部分结论，盲人触摸成语最生动的表达欠拟合，老板经常一针见血，因为经验丰富的人在其专业模式识别，知识能力远远超过普通人，这也是许多机器在决策领域的原因之一。过拟合意味着学习太彻底，样本数据的所有特征几乎都学会了，所以机器学习了太多的局部特征，太多的噪声假特征，导致模型“泛化”和识别准确性几乎达到谷，所以你用你的机器识别新样本会发现很少有能够正确识别，太准确和现实往往会失去事物的本质特征。例如，给一群天鹅让机器学习天鹅的特点，经过训练，知道天鹅有翅膀，天鹅的嘴长弯曲，天鹅的脖子长有点弯曲，天鹅的整个体型像一个“2”，略大于鸭子。此时，你的机器基本上可以区分天鹅和其他动物，然后，不幸的是，你的天鹅都是白色的，所以机器学习后，会认为天鹅的羽毛是白色的，以后看到羽毛是黑色的天鹅会认为它不是天鹅，前面的规则是整体特征，所有的天鹅都有特征，是对的。然而，天鹅的羽毛是白色的，只是局部样本的特征。机器不仅学习了整体特征，还学习了局部特征，导致无法识别黑天鹅。然而，天鹅的羽毛是白色的，只是局部样本的特征。在学习整体特征的同时，机器也学习了局部特征，导致无法识别黑天鹅。我经常听数据分析师唠叨很多，陷入细节，无法自拔。是时候提供这张照片了。领导想要的不是你想象中的猫！因此，如果你的数据分析涉及到决策判断和预测未来，那么可能会有这两个根本问题，那么如何避免这两种尴尬的状态呢？对于欠拟合，笔者认为有必要有效利用群体智慧的力量。事实上，作者在最早的微信文章《六脉神剑》中《大数据时代商业分析师的挑战》提到了这种方法：大多数数据分析师（无论是商业分析师、数据分析师还是数据建模师等）都是孤独的。面对新的分析主题，他们总是面临着对新形势的莫名其妙的紧张。加班是很常见的，我觉得分析很难分享和合作。然而，由于每个人的能力和视野有限，分析不拟合现象是非常普遍和正常的。要么你不考虑这个，要么你不考虑那个。然而，如果一份报告想要通过老板的关卡，它通常需要保持安全。当时，三个“臭皮匠”往往是有效的。许多专业公司来企业制定咨询计划，支持团队将非常强大。这不仅仅是一个势头问题。谷歌公司在其谷歌中提出了一个观点。因此，每个人都聚集在公司工作，因为合作可以使创造力更好地爆发，创造力精英聚集在一起，产生巨大的化学反应，这是团队存在的基础，这个概念也适用于分析师团队，即使是1 1>1.5，也可以接受。创新组织，如大数据组织，应该为分析师创造一个新的合作环境，每个分析师都应该以开放的态度接受他人，联系，是新时代的需要，分析这个东西，需要更广泛的视野，更深入的思考，更多的角度，无论个人总是有一个视角，如果企业分析总是局限于个人视野，如何继续竞争力？作者曾多次与团队成员连夜撰写分析报告。有一次，他临时收到了一份过度优惠的分析报告任务，与人才（同事昵称）。下午安排，第二天上午部门提交。我该怎么办？我们将充分发挥合作的力量，充分讨论，直到每个结论都找不到明显的休闲错误，第二天早上，作者将这归因于团队的力量，在这个开放、共享、透明的时代，数据分析师必须有谦逊的态度，敞开心扉迎接他人，个人英雄主义很难有市场。对于拟合，数据分析师除了提高业务能力和同理心能力外，还可以采用多人交叉分析验证的方法来避免个人限制。当然，这个成本有点大，这里有三个执行建议。首先，限制分析时间。写报告的时间越长，边际效益越低。30天写的东西往往和一周差不多。相反，当有时间限制时，你会强迫自己考虑最重要的因素，或者只是先和老板或其他人讨论。第二，限制内容长度，理解电梯对话的本质。如果你的结论在一页上不清楚，你应该考虑你是否掌握了问题的核心。大多数时候，老板没有那么多时间，经常直接看结论，然后看论点，结论不吸引更多的数字是没有意义的。第三，找一个白板讨论，这是别人的建议，用粗马克笔，笔画越粗，对你的思维越有利，越能强迫你考虑整体情况，有一个词叫蜡笔效应。第三，找一块白板讨论。这是别人的建议。你应该使用粗记号笔。笔画越粗，对你的思维就越有利。你越是被迫考虑全局。有一个词叫做蜡笔效应。作者可能不太适合用非拟合和过拟合来表达数据分析中的困境，但原因是这些原因。我希望你能给我一些启示。