数据师分析问题和解决问题的思路

在数据分析之前，我们需要思考数据分析师的思想在整体分析思想甚至分析结果中起着关键作用，就像一场战斗的总指挥影响着整场战斗的胜败一样。2.分析和解决问题的思路定义(重要步骤之一)：1)首先要搞清楚问题的本质，准确、完整、真实地表达问题。2)其次，找出为什么要解决这个问题3)最后，解决这个问题的意义是否必须解决或无关紧要，或者是否需要立即解决这个问题。收集整理信息:收集整理历史资料、类似情况和需要解决问题的现状。例如，当前问题点的数据或一段时间的趋势可以从现有的报告数据中看到；选择分析方法：1）分析涉及的主要维度，为以后提取的数据需求做准备；2）选择的分析软件和分析方法（统计相关方法）;数据提取整理(重要步骤2)：1)根据分析内容和分析方法，提出分析所需的数据需求；2)反馈数据，为了更好地反映要分析的问题，需要进行部分处理；分析结果和结论：1）根据分析结果，得出一些当前问题产生的结论。注意分析方法、维度、结果显示方法等。注意分析方法、维度、结果显示方法等。2)结论需要足够的数据作为支持；实施和建议：1)对当前问题的解决方案进行数据分析结论；2)一方面从业务层面提出建议。另一方面，可以对问题点进行更深入的分析，给出数据挖掘层面的解决方案；实施效果评价和报告整理：1）根据措施实施效果进行评价，完成分析过程、结果和评价整理报告，为未来问题提供经验教训；2）解释未完全解决的问题。5W2H法准确陈述问题：5W：What、When、Where、Who、Why;2H:Howmany、Howmuch;Where——What-why-when-when-when-who-whowmany-发生的次数和数量howmuch-损失是由现状、直接原因和最终原因组成的。对直接原因的称为初步问题分析，对最终原因的称为深度和问题分析。直接原因称为初步问题分析，最终原因称为深度和问题分析。5分析方法统计方法的三个特点，用三句话简要总结：1）实用性：除真相外，数据可以证明一切；2）丰富性：统计披露部分清晰，未披露可能更重要；3）公平性：每个人都应该用数据说话。描述性统计分析“五点法”：最小值，1/4分位数，平均值，3/4分位数，最大值；“两度”：六西格玛：7变量分析方法根据挖掘方法选择8个数据挖掘分析：包括统计方法、机器学习方法、神经网络方法和数据库方法。其中：1）统计方法可分为：识别分析（贝叶斯识别、费谢尔识别、非参数识别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主要成分分析等）。2)机器学习方法可分为:总结学习方法(决策树、规则总结等)。)，基于示例学习、遗传算法等。3)神经网络方法可分为前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)。).4)数据库方法分为多维数据分析和OLAP技术，以及面向属性的归纳方法。相关规则：相关规则反映了一个事物和其他事物之间的相互依赖性和相关性。如果两个或多个事物之间有一定的相关性，其中一个可以通过其他事物来预测。在现实社会中，有大量的“脏数据”来评估分析所需的相关数据10数据质量：不完整性(数据结构设计师、数据采集设备和数据输入人员)：1)缺乏感兴趣的属性2)感兴趣的属性缺乏部分属性值3)只包含聚合数据，没有详细的数据噪声数据(收集数据的设备、数据输入人员、数据传输)：1)数据中包含错误信息2)存在一些偏离期望值的孤立点(数据结构的设计人员和数据输入人员)：1)数据结构的不一致性2)Label的不一致性3)数据值的不一致性数据类型冲突:1)性别:string(Male、Female)、Char(M、F)、Integer(0、1)2)日期：Date、DateTime、Sting数据标签冲突：解决同名异义、同名同义：学生成绩、分数测量单位冲突：1）学生成绩a.百分制：100~0b.五分制：A、B、C、D、Ec.字符表示：优秀、良好、通过、失败的概念不清楚：最近的交易量：前一小时、昨天、本周、本月*冲突：表结构设计11数据清洁处理的主要任务：补充缺乏数据识别孤立点处理不一致的数据处理方法：分箱(Binning)方法：聚类方法：检测和消除异常点线性回归：人机结合联合检测对不符合回归的数据进行平滑处理：计算机检测可疑点，然后用户确认12如何呈现指标分析和政策分析，并重点反映关键问题、实事求是的材料和数据，记住：分析角度：缺乏分析中心思想或主干线文本表达：“一图二表三文本”逻辑结构：论证、论证、论证13分析结果呈现基本原则数据分析结果准备：确定表达主题：使用图形的目的：形象地表达思想和观点，加深读者或听众的印象，必须明确通过图表表达的信息来确定比较关系：不同项目之间的比较时间比较：时间作为项目分类的标准频率比较：项目分类的标准相关性比较：根据项目之间的函数关系作为项目分类的标准：逻辑关系比较（因果关系、时间序列……）选择图：饼图、柱图、线图、雷达图、面积图、点图、气泡图、矩阵图、逻辑图。如何使用图表来表示数据选择图表可以参考我们以前的文章：信息可视化图表设计15常见的分析模式内容决定形式，服务于内容的形式，当形式通过时间测试被普遍接受时，就会固化成一种模式。分析报告模式主要包括：金字塔综合三步曲专题报告报告16分析总结和建议措施建议措施分类：业务水平；数据挖掘17实施效果评价和报告整理1）营销活动效果反馈数据，分析问题解决程度活动历史响应数据积累；活动流程固化；2）业务模型优化改进比较组，显示模型本身的优势；营销活动数据对模型的改进。