十六种常用的数据分析方法

朋友们经常问一个朋友，常用的数据分析分析方法是什么，我需要学习什么等等。今天，数据分析为您整理了16种常用的数据分析方法，供您参考和学习。描述统计描述统计是指利用制表、分类、图形和计筠概括数据来描述数据的集中趋势、离散趋势、偏度和峰度。1、缺失填充:常用方法:去除法、均值法、最小邻居法、比例回归法、决策树法。2、正态检查：许多统计方法要求数值服从或近似服从正态分布，因此以前需要进行正态检查。常用方法：K-量检验非参数检验，P-P图、Q-Q图、W检验，动差法。假设检查1、参数检验参数检验是在已知整体分布的条件下(一股要求整体服从正态分布)对一些主要参数(如平均值、百分比、方差、相关系数等)进行的检验。).1)U检验使用条件:当样本含量n较大时，样本值符合正态分布2)T检验使用条件:当样本含量n较小时，样本值符合正态分布A单样本T检验:推断样本来自总体平均值μ与已知的总体平均值相比μ0(通常是理论值或标准值)是否存在差异；B配对样本T检验:当总体平均值未知时，可配对两个样本，两者在可能影响处理效果的各种条件下都是相似的；C两个独立样本T检验：在各个方面都找不到非常相似的两个样本进行配对比较。2、非参数检验非参数检验不考虑整体分布是否已知，往往不是针对整体参数，而是针对一些整体假设（如整体分布位置是否相同，整体分布是否正常）进行检验。2、非参数检验非参数检验不考虑整体分布是否已知，通常不是针对整体参数，而是针对一些整体假设（如整体分布位置是否相同，整体分布是否正常）进行检验。应用程序：数据类型的顺序数据，这些数据的分布形式通常是未知的。A虽然是连续数据，但整体分布形式尚不清楚或不正常；B体分布正常，数据是连续类型，但样本容量很小，如10以下；主要方法包括：卡方检验、秩序检验、二次检验、旅游检验、K-量检验等。三、信度分析检查测量的可信度，如问卷的真实性。分类：1、外部信度：常用方法重新测量不同时间测量时测量表的一致性、内在信度；每个量表是否测量到一个单一的概念，同时形成两个表的内在体的一致性，常用的方法分为半信度。列联表分析用于分析离散变量或定型变量之间是否存在相关性。对于二维表，可以进行卡方检查，对于三维表，可以进行Mentel-Hanszel分层分析。列联表分析还包括配对计数数据的卡方检验和行列顺序变量的相关检验。五、相关分析研究现象之间是否存在一定的依存关系，探讨具体依存关系的相关方向和程度。1、单相关：两个因素之间的相关关系称为单相关，即研究只涉及一个自变量和一个因变量；2、复相关：三个或三个以上因素的相关关系称为复相关，即研究中涉及两个或两个以上的自变量和因变量；3、偏相关：在某一现象与多种现象有关的情况下，假设其它变量不变时，两个变量之间的相关关系称为偏相关。六、方差分析使用条件：各样本必须是相互独立的随机样本；各样本来自正态分布的整体；各整体方差相等。分类1、单因素方差分析：当一个测试只有一个影响因素，或有多个影响因素时，只分析一个因素与响应变量的关系2、多因素有交互方差分析：一旭实验有多个影响因素，分析多个影响因素与响应变量的关系，并考虑多个影响因素之间的关系3、多因素无交互方差分析：分析多个影响因素与响应变量的关系，但影响因素之间没有影响关系或忽视影响关系4、协方差分祈祷：传统的方差分析存在明显的缺点，无法控制分析中存在的一些随机因素，从而影响分祈结果的准确性。协议差分析主要是消除协议变量的影响，然后对修正后的主要效果进行方差分析。它是一种将线性回归与方差分析相结合的分析方法。7、回归分析分类：1、一元线性回归分析：只有一个自变量X与变量Y有关，X和Y必须是连续变量，因变量Y或其残差必须服从正态分布。2、多线性回归分析的使用条件：分析多个自变量与因变量Y的关系，X和Y必须是连续变量，因变量Y或其残差必须服从正态分布。1)变呈筛选方法:选择最佳回归方程的变里筛选方法包括全横型法(CP法)、逐步回归法，2)横向诊断方法:A残差检查:观测值与估计值的差异要从正态分布B强影响点来判断:寻找方法一般分为标准误差法、Mahalanobis距离法C共线性诊断:诊断方法:容忍度、方差扩大因子法(又称膨胀系数VIF)、特征根判断法，条件指针CI、方差比处理方法：增加样品容量或选择主要成分回归、岭回归等其他回归、Logistic回归分析线性回归模型要求变量是连续的正态分布变量，自变量与因变量呈线性关系，而Logistic回归模型对因变量的分布没有要求，一般用于因变量离散时的情况分类：Logistic回归模型有条件与非条件之分，而Logistic回归模型与非条件logistic回归模型的区别在于参数估计是否使用条件概率。4、其他回归方法包括非线性回归、有序回归、Probit回归和加权回归。8.根据其特点对聚类分析样本的个体或指标变量进行分类，并找到合理的统计量来衡量事物的相似性。1、性质分类：Q型聚类分析：样本分类处理，也称为样本聚类祈祷距离系数作为统计测量相似度，如欧洲距离、极端距离、绝对距离R型聚类分析：指标分类处理，也称为指标聚类分析使用相似系数作为统计测量相似度、相关系数、列联系数等2、方法分类：1)系统聚类法：适用于小样本的样本聚类或指标聚类，一般采用系统聚类法进行聚类指标，又称分层聚类2）渐进聚类法：适用于大样本的样本聚类3）其他聚类法：两步聚类、K平均聚类等9。判别分析1、判断分析：根据已掌握的一批分类明确的样品建立判断函数，使错误判断的案例最少，然后判断给定的新样品来自哪个整体2、区别于聚类分析1)聚类分析可以对样本进行分类，也可以对指标进行分类；判断分析只能是样本2）聚类分析不知道事物的类别，也不知道分类；判断分析必须提前知道事物的类别，也知道分类3）聚类分析不需要分类历史数据，而是直接分类样本；判断分析需要分类历史数据来建立判断函数，然后对样本进行分类3、分类:1)Fisher判断分析方法:以距离为判断标准进行分类，即样本与哪一类的距离最短，适用于两类判断；以概率为判断标准进行分类，即样本属于哪一类的概率最大，适用于多类判断。2)BAYES判别分析法:BAYES判别分析法比FISHER判别分析法更完善、更先进。它不仅可以解决多种判别分析，还可以考虑分析中数据的分布状态，因此通常被广泛使用；10.主要成分分析将一组指标转化为一组独立的新指标变量，并利用较少的新指标变量对原多个指标变量中包含的主要信息进行综合反应。11、因素分析是一种多元化的统计分析方法，旨在找到隐藏在多变量数据中的潜在因素，不能直接观察但影响或控制可测变量，并估计潜在因素对可测变量的影响程度以及潜在因素之间的相关性。与主要成分分析相比：相同：它可以在多个原始变量的内部结构关系中发挥不同的作用：主要成分分析侧重于综合原始变量的信息。因素分析侧重于解释原始变量之间的关系，它是一种比主要成分分析更深入的多元统计方法：1)减少变量数2)通过探测变量间关系，分类原始变量12，时间序列分析动态数据处理，研究随机数据序列的统计规则，解决实际问题；时间序列通常由趋势、季节变化、循环波动和不规则波动四个要素组成。主要方法：移动平均滤波与指数平滑法、ARIMA水平、量ARIMA水平、ARIMAX模型、自回归水平、ARCH模型13、生存分析用于研究生存时间的分布规律和生存时间与相关因素之间的关系、内容：1)描述生存过程，即研究生存时间的分布规律2)比较生存过程，也就是说，研究两组或两组以上生存时间的分布规律，并进行比较3）分析危险因素，即研究危险因素对生存过程的影响4）建立数学模型，用数学模式表示生存时间与相关危险因素之间的依赖关系。2、方法：1)统计描述：包括生存时间分位数、生存期、平均、生存函数估计、生存时间图表判断、无统计推断结论2）非参数检查：检查分组变量对应的生存曲线是否一致，对生存时间分布无要求，检查危险因素对生存时间的影响。A乘积极限法(PL法)B寿命表法(LT法)3)半参数水平回归分析:在特定假设下，建立生存时间随多个危险因素变化的回归方程，代表Cox比例风险回归分析法4)参数模型回归分析:当已知生存时间服从特定参数水平时，拟合相应的参数模型。14.典型的相关分析一般分析两个变量之间的关系，典型的相关分析是分析两组变量（如三个学术能力指标和五个学校绩效指标）之间的相关性的统计分析方法。典型相关分析的基本思想与主要成分分析的基本思想相似。它将一组变量与另一组变量之间的多线性相关性研究转化为几对综合变量之间的简单线性相关性研究，几对变量中包含的线性相关性信息几乎涵盖了原变量组中包含的所有相应信息。R0C分析R0C曲线是基于一系列不同的二分类方法(分界值或决定阈值).以真阳性率(灵敏度)为纵坐标，以假阳性率(1-特异度)为横坐标绘制曲线:1、R0C曲线在任何边界值上都能轻松识别*的识别能力；2、选择最佳的诊断界限值。R0C曲线越靠近左上角，试验的准确性就越高；3、两种或两种以上不同的诊断试验对*识别能力的比较，一种是R0C曲线下诊断系统的准确性。R0C曲线越靠近左上角，试验的准确性就越高；3、两种或两种以上不同诊断试验对*识别能力的比较反映了R0C曲线下诊断系统的准确性。16、其他分析方法包括多重响应分析、距离祈祷、项目祈祷、相应祈祷、决策树分析、神经网络、系统方程、蒙特卡洛模拟等。