数据分析人员称道和接受的数据降维方法

近年来，由于数据记录和属性规模的快速增长，也出现了大数据处理平台和并行数据分析算法。同时，这也促进了数据降维处理的应用。事实上，数据量有时过多。有时在数据分析应用中，大量的数据会产生更糟糕的性能。最新的例子是使用2009KDChalenge大数据集来预测客户流失。数据集维度达到15000维。大多数据挖掘算法直接逐列处理数据，当数据数量较大时，算法越来越慢。这个项目最重要的是减少数据列数，尽可能少地丢失数据信息。以这个项目为例，我们开始讨论数据分析师在当前数据分析领域称赞和接受的数据降维方法。缺失值比率(MissingValuesRatio)该方法是基于包含过多缺失值的数据列，包含有用信息的可能性较小。因此，数据列缺失值大于一定阈值的列可以去除。阈值越高，降维方法越积极，即降维越少。该方法示意图如下：低方差滤波(LowVarianceFilter)类似于上一种方法，假设数据列变化很小的列所包含的信息量较少。因此，所有数据列方差小的列都被删除了。需要注意的是，方差与数据范围有关，因此在采用该方法之前需要对数据进行归一化。算法示意图如下：高相关滤波器(HighCorrelationFilter)高相关滤波器认为，当两列数据变化趋势相似时，也显示了它们所包含的信息。这样，机器学习模型就可以通过使用类似列中的一列来满足。通过计算相关系数来表示数值列之间的相似性，通过计算皮尔逊卡方值来表示名词类列的相关系数。两列相关系数大于一定阈值的列只保留一列。还需要注意的是，相关系数对范围敏感，因此在计算前也需要对数据进行归一化。算法示意图如下：随机森林/组合树(RandomForests)组合决策树通常被用作随机森林，在选择特征和构建有效的分类器时非常有用。一种常用的降维方法是根据每个属性的统计结果，对目标属性产生许多巨大的树木，然后找到信息量最大的特征子集。例如，我们可以将一棵非常大的数据集生成非常浅层的树，每棵树只训练一小部分属性。若属性往往成为最佳分裂属性，则很可能是需要保留的信息特征。与其他属性相比，随机森林数据属性的统计评分将向我们揭示哪个属性是预测能力最好的属性。算法示意图如下：主成分分析(PCA)主要成分分析是一个统计过程，通过正交变换将原始n维数据集转换为新的数据集，称为主要成分。在变换后的结果中，第一个主要成分具有最大的方差，每个后续成分在与上述主要成分正交条件的限制下具有最大的方差。降维时只保存前m(m<n)保持最大数据信息量的主要成分。需要注意的是，主要成分的转换对正交向量的尺度很敏感。变换前需要对数据进行归一化处理。还需要注意的是，新的主要成分不是由实际系统产生的，因此在PCA转换后会失去对数据的解释。如果数据的解释能力对你的分析很重要，那么PCA可能不适用于你。算法示意图如下：消除反向特征(BackwardFeatureElimination)在这种方法中，所有分类算法首先使用n个特征进行训练。每次降维操作，用n-1个特性对分类器进行n次训练，获得新的n个分类器。将新分类器中错分率变化最小的分类器使用的n-1维特征作为降维后的特征集。通过不断迭代这个过程，可以得到降维后的结果。n-k维特征分类器是在第k次迭代过程中获得的。通过选择最大的错误容忍度，我们可以得到在选择分类器时达到指定分类性能的最小特征。算法示意图如下：前向特征结构(ForwardFeatureConstruction)构建前向特征是消除反向特征的反过程。在前向特征的过程中，我们从一个特征开始，每次训练增加一个特征，最大限度地提高分类器的性能。前向特征结构和反向特征消除都非常耗时。它们通常用于输入维数相对较低的数据集。算法示意图如下:我们选择2009KDChanlenge的切割数据集，比较这些降维技术的降维率、精度损失率和计算速度。当然，最终的准确性和损失率也与所选数据分析模型有关。因此，最终降维率和精度的比较是在三种模型中进行的，即决策树、神经网络和简单贝叶斯。通过运行优化循环，最佳循环终止意味着低纬度和高精度取决于七种降维方法和最佳分类模型。通过将训练模型的基准精度与ROC曲线下的面积进行比较，最终最佳模型的性能。以下是对所有比较结果的比较。从上表的比较可以看出，数据降维算法不仅可以提高算法的执行速度，还可以提高分析模型的性能。采用数据集：缺失值降维、低方差滤波、高相关滤波或随机森林降维时，表中的AoC在测试数据集中略有增长。的确，在大数据时代，数据越多越好，似乎已经成为公理。当数据集宝航行过多的数据噪声时，算法的性能会导致算法的性能达不到预期。只有少量甚至无效的信息才能帮助我们构建更具可扩展性和通用性的数据模型。新数据集中的数据模型可能会表现得更好。最近，我们咨询了Linkedin数据分析小组中最常用的数据降维方法。除了本博客中提到的数据降维方法外，它还包括：随机投影(RandomProjections)、非负矩阵分解(N0n-negativeMatrixFactorization),自动编码(Auto-encoders),卡方检测和信息增益(Chi-squareandinformationgain)，多维标定(MultidimensionalScaling),相关性分析(CoorespondenceAnalysis),因子分析(FactorAnalysis)、聚类(Clustering)贝叶斯模型(BayesianModels)。感谢Asteriosstergioudis、RaoulSavos和MichaelWill在Linkedin小组中提供意见。本博客在KNIMEEXAMPLES服务器上描述了“003_”的工作流程Preprocessing/003005_dimensionality_reduction可以在目录中找到。本博客在KNIMEEXAMPLES服务器上描述了“003_”的工作流程Preprocessing/003005_dimensionality_reduction可以在目录中找到。2009KDChalenge大小数据集下载地址：下载。本博文只是对整个项目的简要总结，如果您想了解更多细节，可以阅读相关白皮书，白皮书下载地址：链接本博文原载：dataminingreporting.com#sthash.3vHXD9wv.dpuf翻译后记本文翻译自7machineleningtechniquesfordimensioninityreduction。为了方便解释，白皮书在原有的基础上进行了比较，每种方法的示意图都是从白皮书中添加的，有兴趣的可以直接阅读白皮书。翻译后没有仔细校对。如果有错误，请读者雅正。